Model Reconciliation through Explainability and Collaborative Recovery in Assistive Robotics

Technische Samenvatting: Modelreconciliatie door middel van Uitlegbaarheid en Collaboratieve Herstel in Assistive Robotica

Probleemstelling
In assistieve robotica en scenario's met gedeelde controle komt onverwacht robotgedrag vaak voort uit een divergentie tussen het mentale model van de menselijke gebruiker van de wereld en het interne model van de robot. Wanneer een robot er niet in slaagt een taak uit te voeren (bijv. het grijpen van een object), begrijpt de gebruiker mogelijk de redenering van de robot niet, wat leidt tot een breuk in vertrouwen en samenwerking. Bestaande benaderingen voor modelreconciliatie gaan er vaak van uit dat de robot beschikt over een volledig, formeel model van de mentale staat van de mens, wat in dynamische assistieve omgevingen onrealistisch is. Bovendien bieden verklaringen weliswaar inzicht in waarom een fout is opgetreden, maar ze bieden inherent geen mechanisme voor de mens om de foutieve overtuigingen van de robot te corrigeren om het falen te herstellen.

Methodologie
De auteurs stellen een modelreconciliatie-framework voor dat gebruikmaakt van Foundation Models (specifiek Large Language Models [LLM's] en Vision-Language Models [VLM's]) om de kloof tussen de menselijke en de robot-mentale modellen te overbruggen zonder dat een vooraf gedefinieerd formeel model van de gebruiker vereist is. Het framework werkt in drie stadia:

1. Start & Generatie van Verklaringen:

   • Het proces wordt geïnitieerd door een natuurlijke taalvraag van de gebruiker (bijv. "Waarom kun je de groenige beker niet grijpen?").
   • Een LLM-workflow extraheert semantische entiteiten (objecten, acties, bijvoeglijke naamwoorden) uit de vraag.
   • Het systeem voert een zoektocht in vier stappen uit tegen de interne modellen van de robot:
     • Objectdatabase-controle: Controleert of het object bestaat in de statische kennisbank van de robot.
     • Actiemodel-controle (Pass 1): Bepaalt of de actie theoretisch mogelijk is gezien de huidige wereldtoestand.
     • Wereldmodel-controle: Verifieert of de specifieke instantie van het object momenteel wordt waargenomen en gelokaliseerd door de robot.
     • Actiemodel-controle (Pass 2): Identificeert of de actie wordt geblokkeerd door niet-voldane precondities (bijv. een grijper die niet vrij is) of dat de actie simpelweg niet getraind is.
   • Op basis van deze zoektocht voorspelt het systeem het specifieke type modeldivergentie (bijv. de robot weet niet dat het object bestaat versus de robot ziet het object maar kan er niet mee handelen) en genereert het een verklaring in natuurlijke taal.

2. Collaboratieve Herstel:

   • Als de verklaring een discrepantie onthult die de gebruiker kan corrigeren (bijv. de robot heeft een object gemist of heeft een verkeerde staat-overtuiging), geeft de gebruiker een weerlegging (bijv. "Maar de lade is dicht!").
   • VLM Arbitrage: Een Vision-Language Model fungeert als een "orakel" om de claim van de gebruiker te valideren tegen de camerabeelden van de robot.
     • Voor Perceptiefouten (DSO): Als de gebruiker beweert dat een object aanwezig is, probeert de VLM dit in de afbeelding te matchen. Indien succesvol, stelt het systeem robotbewegingen voor (bijv. het bewegen van de rolstoel) om het zicht voor detectie te verbeteren. Als de VLM het niet kan bevestigen maar de gebruiker blijft volhouden, kan het systeem het wereldmodel overschrijven om het object toe te voegen.
     • Voor Staatfouten (DSA): Als de gebruiker een staat corrigeert (bijv. "De magnetron staat open"), mapt het systeem deze correctie in natuurlijke taal naar het symbolische wereldmodel (PDDL) en werkt het de actiegraaf dienovereenkomstig bij.

3. Implementatie:

   • Het framework werd geïmplementeerd op een op een rolstoel gebaseerde mobiele manipulator, ontworpen voor mensen met motorische beperkingen.
   • Het systeem maakt gebruik van een lokale open-weights VLM (Mistral-Small-3.2-24B-Instruct) met Chain of Thought en Few-Shot Prompting technieken om semantische gronding en redenering af te handelen.

Belangrijkste Bijdragen
De paper presenteert bijdragen op drie niveaus:

1. Theoretisch: Een modelreconciliatie-framework voor gedeelde controle in assistieve robotica dat bidirectionele updates omvat: de robot werkt de mens bij via uitleg, en de mens werkt de robot bij via correctie.
2. Methodologisch: De integratie van foundation model-workflows, verrijkt met opgehaalde gegevens uit robotmodules (objectdatabases, wereldmodellen, actiegrafen). Deze benadering elimineert de noodzaak voor de robot om expliciet de volledige mentale staat van de gebruiker te modelleren, terwijl het nog steeds verschillen in kennisbases kan voorspellen.
3. Experimenteel: Een volledige implementatie en evaluatie waarbij gebruik is gemaakt van een echte assistieve robot en zijn digitale tweeling, wat het vermogen van het systeem demonstreert om dagelijkse levensscenario's af te handelen.

Resultaten
De auteurs hebben een pilotstudie uitgevoerd op een echte robot en twee experimenten (B1 en B2) op een digitale tweeling met behulp van een dataset van 40 episodes (totaal 120 output-conversaties).

• Nauwkeurigheid: Het framework behaalde een nauwkeurigheid tussen de 78% en 100% over verschillende eenheidstests. Specifiek bereikte het 100% nauwkeurigheid in het verklaren van fouten in objectlokalisatie, 78,79% in het communiceren van symbolische staatfouten, en 78,12% in het genereren van suggesties voor herstel.
• Vergelijking: In Experiment B1 presteerde de voorgestelde methode aanzienlijk beter dan een "naïeve" VLM-baseline die geen toegang had tot de interne modellen van de robot, wat aantoont dat het vermogen van de LLM om specifieke robotmodulegegevens op te halen en te synthetiseren cruciaal is voor accurate verklaringen.
• Semantische Gronding: Experiment B2 toonde aan dat het verstrekken van een vertaalwoordenboek voor ongebruikelijke robot-specifieke termen (bijv. het mappen van "ikea bagganas" naar "kast") de nauwkeurigheid in actiereconciliatie verhoogde van 78,8% naar 92,4%.
• Beperkingen: De auteurs merken op dat suggesties voor herstelbewegingen (ruimtelijk redeneren) een lagere nauwkeurigheid vertoonden, waarschijnlijk door beperkingen van de specifieke gebruikte VLM. Daarnaast zorgden bijvoeglijke naamwoorden in queries soms voor verwarring, en was de studie beperkt tot een specifieke set scenario's uit het dagelijks leven.

Betekenis
De paper stelt dat dit werk een praktisch workflow biedt voor het verklaren van onverwacht robotgedrag en het mogelijk maken van collaboratief herstel in assistieve robotica. Door gebruik te maken van foundation models om modeldivergenties te voorspellen en te verklaren, stelt het systeem de mens in staat de overtuigingen van de robot te begrijpen en deze actief te corrigeren, waardoor het gedeelde begrip wordt hersteld zonder dat complexe, vooraf gedefinieerde gebruikersmodellering nodig is. De auteurs benadrukken dat hoewel de huidige implementatie bescheiden is en beperkt tot specifieke scenario's, het een levensvatbare pijplijn vestigt voor transparantie en vertrouwen in mens-robotteams, wat de weg vrijmaakt voor toekomstig werk op het gebied van planoptimaliteit, doel-misalignment en meer diverse objectinstanties.