Technische Samenvatting: BaTCAVe – Betrouwbare Verklaringen voor Robotgedrag

Probleemstelling

Moderne robotica vertrouwt steeds vaker op diepe neurale netwerken (DNN's), met name voor end-to-end besluitvorming en besturing. De "black-box"-aard van deze modellen vormt echter een aanzienlijke uitdaging voor implementatie in scenario's met hoge inzet in de echte wereld. Belanghebbenden, waaronder ingenieurs en wetgevende instanties, missen inzicht in de besluitvormingsprocessen van deze systemen, wat debugging, certificering en het opbouen van vertrouwen belemmert.

Hoewel Explainable AI (XAI) vooruitgang heeft geboekt in natuurlijke taalverwerking en computervisie, schieten bestaande technieken in de robotica tekort om twee primaire redenen:

1. Gebrek aan Gronding: Veel XAI-methoden (bijv. feature attributie via gradiënten of het highlighten van pixels) identificeren waar een netwerk zich op een input concentreert, maar falen in het verklaren van wat voor hoogwaardige semantische attributen (concepten) specifieke robotacties aansturen. Het highlighten van een auto in een afbeelding verduidelijkt niet of het model reageerde op de kleur, vorm of beweging ervan.
2. Afwezigheid van een Beoordeling van Betrouwbaarheid: Huidige XAI-methoden bieden doorgaans een enkele verklaring zonder de onzekerheid of betrouwbaarheid van die verklaring te kwantificeren. In de veiligheidskritische robotica is een verklaring die potentieel onjuist of ambigu is, even gevaarlijk als helemaal geen verklaring.

Methodologie: BaTCAVe

De auteurs stellen BaTCAVe voor (Bayesian Testing with Concept Activation Vectors), een post-hoc uitlegbare techniek die is ontworpen om robotbeslissingen toe te schrijven aan menselijk interpreteerbare, hoogwaardige concepten, terwijl ook bijbehorende onzekerheidsscores worden geleverd.

Kerncomponenten

1. Actieconcepten ($C_A$): In tegen tegenover statische classificatietaken, omvat robotbesluitvorming sequenties van acties. De methode definieert een "actieconcept" als een specif으로 doelgedrag (bijv. "een kubus grijpen" of "naar rechts sturen") dat uit het traject van de robot wordt geëxtraheerd met behulp van logische regels toegepast op actievectoren over de tijd.
2. Inputconcepten ($C_I$): Dit zijn hoogwaardige, menselijk interpreteerbare attributen van de inputs van de robot (visuele, taal- of proprioceptieve gegevens), zoals "roodheid", "donkerheid", "afstand" of specifieke werkwoorden in een commando. Deze worden gerepresenteerd door collecties representatieve inputs (bijv. een set afbeeldingen die donkere objecten tonen).
3. Bayesiaanse Testen met CAV's:
   • De methode deelt het neurale netwerk op een specifieke laag $l$ op in een encoder $f_{-l}(\cdot)$ en een decoder $f_{+l}(\cdot)$.
   • Het opereert in de activatieruimte van $f_{-l}(\cdot)$.
   • In plaats van een enkele lineaire grens te vinden tussen positieve (concept aanwezig) en negatieve (concept afwezig) activatiesamples, gebruikt BaTCAVe Variational Inference om een probabilistische distributie over de scheidende hypervlakken (Concept Activation Vectors) te leren.
   • Deze aanpak behandelt de richtingvector $v$ als een willekeurige variabele, waardoor het systeem meerdere geldige scheidingsgrenzen kan samplen.

Scoring en Onzekerheid

De methode berekent een score $s$ die de gevoeligheid van een robotbeslissing voor een specifiek inputconcept vertegenwoordigt.

• Gemiddelde Score ($\bar{s}$): Het empirisch gemiddelde van de scores geeft de kracht van de verklaring aan. Een hogere gemiddelde score suggereert dat het concept een significante drijfveer van het gedrag is.
• Onzekerheid (Standaarddeviatie): De empirische standaarddeviatie van de scores weerspiegelt de epistemische onzekerheid.
  • Lage Onzekerheid + Hoge Accuratesse: De verklaring is precies en betrouwbaar (Geval 3).
  • Hoge Onzekerheid + Hoge Accuratesse: Meerdere geldige verklaringen bestaan, of de testdata mist diversiteit (Geval 2).
  • Lage Accuratesse: Het concept slaagt er niet in het gedrag af te bakenen, waardoor de verklaring onbetrouwbaar is (Geval 1).

Belangrijkste Bijdragen

1. Post-hoc Uitlegbare Besluitvorming: Een techniek die specifiek is afgestemd op robots uitgerust met DNN's, die uitlegt waarom specifieke acties zijn ondernomen op basis van hoogwaardige concepten in plaats van ruwe pixels.
2. Betrouwbaarheidsframework: Een nieuw framework dat gebruikmaakt van variational inference om de betrouwbaarheid van verklaringen te evalueren, waarbij onzekerheidsintervallen worden geleverd die belanghebbenden helpen onderscheid te maken tussen robuuste en ambigue inzichten.
3. Conceptontdekking over Modaliteiten: Het vermogen om uitlegbare concepten te ontdekken en te testen over diverse robotica-taken (manipulatie, navigatie, rijden) en inputmodaliteiten (afbeeldingen, proprioceptie, taal).

Experimentele Resultaten

De auteurs valideerden BaTCAVe over vier verschillende experimentele opstellingen:

1. Visie-gebaseerde Mobiele Robotnavigatie (JetBot):

   • Bevinding: Ingenieurs vermoedden aanvankelijk dat de robot had geleerd om "oranje" obstakels te vermijden. BaTCAVe onthulde dat het model eigenlijk vertrouwde op "donkerheid" (helderheid op de HSV-schaal), aangezien de oranje doos slechts een tint van donker was.
   • Nut: De methode identificeerde succesvol dat het finetunen van het volledige netwerk versus de laatste laag de afhankelijkheid van "oranje" versus "donkerheid" veranderde, wat het nut aantoont voor het debuggen van data-augmentatie en trainingsstrategieën.

2. Proprioceptieve Manipulatie (Panda Arm):

   • Taken: Kubus tillen, Pak & Plaats, Moer Assemblage.
   • Bevinding: BaTCAVe-scores met lage onzekerheid bevestigden dat precieze objectinformatie van proprioceptieve sensoren cruciaal was voor taaksucces. Bijvoorbeeld, in de "Lift"-taak waren de verticale positie van de end-effector ($\Delta Z$) en de status van de grijper de dominante concepten.

3. Visie-Taal Manipulatie:

   • Opstelling: Een model dat RGB-afbeeldingen en taalinstructies verwerkt (bijv. "Pak de kubus op").
   • Bevinding: De methode isoleerde dat specifieke werkwoorden in de taalopdracht de primaire drijfveren waren voor tilacties, terwijl beeldconcepten een hogere onzekerheid vertoonden, wat de nadruk legt op de afhankelijkheid van het model van linguïstische aanwijzingen voor specifieke fasen van de taak.

4. Autonoom Rijden (Donkey Simulator):

   • Bevinding: De agent vertrouwde zwaar op "zwarte tinten" (die de weg vertegenwoordigen) voor stuurdecisies.
   • Diagnostisch Nut: Door BaTCAVe toe te passen op verschillende lagen, bepaalden de auteurs dat fouten in het herstel van het sturen voortkwamen uit de policy head (MLP), en niet uit de beeldencoder (CNN), wat gericht hertrainen mogelijk maakte.

Betekenis en Claims

Het artikel positioneert BaTCAVe niet als een vervanging voor inherent interpreteerbare modellen, maar als een noodzakelijke diagnostische tool voor de black-box DNN's die de robotica momenteel domineren.

• Vertrouwen en Veiligheid: Door onzekerheid te kwantificeren, adresseert BaTCAVe de kritieke kloof in huidige XAI waar verklaringen als absolute feiten worden gepresenteerd. Dit stelt ingenieurs en regelgevers in staat om te beoordelen of een verklaring betrouwbaar genoeg is voor beslissingen met hoge inzet (bijv. het certificeren van een autonoom voertuig).
• Iteratieve Verbetering: De auteurs beweren dat de tool roboticists helpt bij het iteratief verbeteren van de robuustheid van modellen door kwetsbaarheden in data-augmentatie, finetuning en domeinverschuivingen te identificeren.
• Menscentrische Debugging: In tegen tegenover pixel-niveau saliency maps biedt BaTCAVe semantische verklaringen (bijv. "donkerheid" of "belang van werkwoord") die aansluiten bij de menselijke intuïtie, waardoor het debuggingproces bruikbaarder wordt voor ingenieurs.

Het werk concludeert dat hoewel fouten in robuuste modellen onvermijdelijk zijn, tools zoals BaTCAVe essentieel zijn om het "waarom" achter robotgedrag te begrijpen, waardoor een veiligere en meer betrouwbare inzet wordt gefaciliteerd.