Probing Embodied LLMs: When Higher Observation Fidelity Hurts Problem Solving

Technische Samenvatting: Het Onderzoeken van Geïncorporeerde LLM's: Wanneer Hogere Observatiegetrouwheid Probleemoplossing Schaad

Probleemstelling
Grote Taalmodellen (LLM's) worden steeds vaker ingezet als cognitieve componenten voor robotsystemen die opereren in ongestructureerde omgevingen. Hun ondoorzichtige besluitvormingsprocessen maken het echter moeilijk om onderscheid te maken tussen echte redeneercapaciteiten en toevallig succes bij gesloten-lus taken met een fysieke component. Prestatiemetrics, zoals geaggregeerde succespercentages, geven vaak niet aan of een agent een taak heeft opgelost door coherent redeneren, toevallige exploratie, of een interactie tussen perceptuele fouten en redeneerfouten. Specifiek blijft onduidelijk hoe de getrouwheid van observatie-invoer (van ruwe sensorische data tot perfecte symbolische grondwaarheid) de gedragsmechanismen van geïncorporeerde LLM-agenten beïnvloedt.

Methodologie
De auteurs hanteren een empirische AI-methodologie die is afgestemd op systeemidentificatie, waarbij de LLM-agent wordt behandeld als een ondoorzichtig systeem dat wordt onderzocht via gecontroleerde interventies.

• Taak: De studie maakt gebruik van de "Lockbox", een sequentieel mechanisch raadsel bestaande uit vier gewrichten met verbonden onderlinge afhankelijkheden. Het doel is de doos te openen door de gewrichten in een specifieke volgorde te manipuleren. Deze taak vereist het integreren van observaties in de tijd en het afleiden van latente staat-afhankelijkheden.
• Experimentele Opstelling:
  • Fysieke Opstelling: Een Franka Emika Panda-robotarm met een zachte eindgrijper manipuleert een fysieke Lockbox. Het systeem maakt gebruik van een RGB-D-camera en koppelkrachtsensoren.
  • Simulatie: Een gecontroleerde simulatieomgeving isoleert het redenerprobleem van variabiliteit in fysieke actuatie, waardoor systematische verstoring van het observatiekanaal mogelijk is.
• Interventies: De studie varieert de observatiegetrouwheid die aan de LLM wordt geboden (OpenAI GPT-o1 in fysieke experimenten; GPT-4o in simulatie) over drie modaliteiten:
  1. RGB: Ruwe visuele afbeeldingen.
  2. RGB-D: Visuele afbeeldingen verrijkt met dieptedata.
  3. Grondwaarheid Symbolische Staat: Expliciete tekstuele beschrijvingen van gewrichtstoestanden, waarbij het visuele proces volledig wordt omzeild.
• Onderzoeksmechanisme: In simulatie introduceren de auteurs gecontroleerde observatieruis door de waargenomen uitkomst van acties (staat-flips) willekeurig om te draaien met variërende kansen (0% tot 60%) om de impact van stochasticiteit op de prestaties te testen.

Belangrijkste Resultaten
De studie onthult een tegenintuïtieve relatie tussen observatiegetrouwheid en taakprestaties:

1. Getrouwheid versus Prestaties: In tegenstelling tot de aanname dat nauwkeurigere observaties het redeneren verbeteren, presteerden agenten het beste met ruwe RGB-invoer en het slechtste met perfecte grondwaarheid symbolische staten. De RGB-D-modaliteit leverde tussenresultaten op.
   • GPT-o1 behaalde een succespercentage van 80% met RGB-invoer in 11 stappen, terwijl de grondwaarheid-conditie 15 stappen vereiste om hetzelfde succespercentage te bereiken.
   • Een door de mens geïnspireerde heuristiek behaalde 100% succes in 9 stappen, wat de inefficiëntie van de LLM's benadrukt, ongeacht de invoer.
2. Analyse van Misinterpretaties:
   • Visuele modaliteiten (RGB/RGB-D) vertoonden hoge rates van staat-misinterpretatie (ongeveer 21–27%), wat wijst op inconsistente perceptuele grondlegging.
   • Verrassend vertoonde de grondwaarheid-conditie ook een misinterpretatiepercentage van ongeveer 5%, toegeschreven aan het "hallucineren" van staatveranderingen door het model, ondanks het ontvangen van expliciete, correcte data.
3. Niet-monotoon Ruisrespons: In simulatie leidde het introduceren van matige ruis (willekeurige staat-flips) tot een verbetering van de prestaties ten opzichte van de ruisvrije baseline.
   • Succespercentages piekten bij een staat-flip-kans van 40%, wat een 2,85-voudige toename opleverde ten opzichte van de ruisvrije baseline.
   • De prestaties verslechterden opnieuw bij hogere ruisniveaus (>40%).
4. Mechanisme van Verbetering: De prestatiewinst onder matige ruis is gerelateerd aan een vermindering van repetitieve actie-lussen.
   • Actie-lussen (het herhalen van subreeksen van acties zonder vooruitgang) vertoonden een negatieve correlatie met succes.
   • Perfecte observaties stonden de agent toe om in deze lussen te geraken en daarin te blijven wanneer acties niet de verwachte veranderingen opleverden.
   • Matige perceptuele ruis verbrak deze lussen, waardoor de agent gedwongen werd alternatieve acties te exploreren, waardoor de cyclus van falen werd doorbroken.

Belangrijkste Bijdragen

• Framework voor Gedragsonderzoek: Het paper vestigt een methodologie voor het evalueren van geïncorporeerde LLM's door observatiekanalen te verstoren om onderliggende gedragsmechanismen bloot te leggen, in plaats van uitsluitend te vertrouwen op op uitkomst gebaseerde metrics.
• Tegenintuïtieve Getrouwheidsbevindingen: Het toont aan dat hogere observatiegetrouwheid probleemoplossing bij geïncorporeerde LLM's actief kan belemmeren, wat de standaardaanname uitdaagt dat "betere data" leidt tot "beter redeneren".
• Identificatie van Falingsmodi: De studie identificeert "repetitieve actie-lussen" als een kritieke falingsmodus bij geïncorporeerde LLM's en toont aan dat perceptuele fouten dit probleem per ongeluk kunnen mitigeren door recursieve besluitvormingspatronen te verstoren.

Betekenis en Beweringen
De auteurs beweren dat succespercentages alleen ontoereikend zijn voor het evalueren van geïncorporeerde LLM's. Gemeten prestaties kunnen een "toevallig samenspel" weerspiegelen tussen perceptuele fouten en redeneerfouten in plaats van robuuste probleemoplossingscapaciteiten.

Het paper betoogt dat in gesloten-lus interacties observaties niet louter passieve invoer zijn, maar actief de dynamiek van besluitvorming vormgeven. Bijgevolg mag wat lijkt op superieure prestaties onder lager-getrouwe invoer niet worden geïnterpreteerd als bewijs van sterkere redeneercapaciteiten. In plaats daarvan kan het een neveneffect weerspiegelen waarbij cumulerende perceptuele fouten toevallig specifieke falingsmodi (zoals actie-lussen) verstoren die worden in stand gehouden door accurate feedback.

De auteurs concluderen dat een rigoureuze evaluatie van geïncorporeerde LLM's vereist dat real-world gesloten-lus benchmarks worden gecombineerd met gecontroleerde gedragsinterventies om perceptuele beperkingen te ontkoppelen van redeneercapaciteiten. Zij merken op dat hun bevindingen specifiek zijn voor de geëvalueerde modellen en taken, en roepen op tot toekomstig werk om te bepalen of deze gedragingen generaliseren over verschillende modelarchitecturen en aanbieders.