Budget-Constrained Embodied Perception: Four Resource Walls and a Pre-Registered Evaluation of Access-Structured Perception on Open Models at less than 31B

Stel je een robotassistent voor die in je huis leeft, belast met de taak om je te helpen een specifieke mok te vinden die je vanmorgen hebt gebruikt. Het heeft urenlang rondgelopen door je huis en een continue stroom video opgenomen. Om je vraag te beantwoorden, kan het niet simpelweg naar de laatste paar seconden aan beelden kijken; het moet door honderden minuten aan opgenomen geschiedenis zoeken. Maar de hersenen van de robot hebben een strikte limiet: het kan op het exacte moment dat het een beslissing moet nemen slechts een piepkleine, vaste hoeveelheid informatie verwerken. Het kan niet de volledige video in zijn actieve geheugen opslaan, noch kan het het zich veroorloven om de hele dag opnieuw te bekijken telkens wanneer je een vraag stelt. Dit is de fundamentele flessenhals van belichaamde intelligentie: de kloof tussen een eindeloze stroom observaties en een eindig budget voor het denken.

Jarenlang hoopten onderzoekers dat het simpelweg groter maken van kunstmatige intelligentiemodellen dit probleem zou oplossen. Het heersende idee was dat als een model groot genoeg was, het vanzelf alles zou leren onthouden wat het zag. Maar recente experimenten hebben aangetoond dat zelfs de meest geavanceerde modellen worstelen wanneer ze worden geconfronteerd met lange, continue videostromen. Ze kunnen een kat herkennen in een enkele foto, maar ze falen vaak in het bijhouden waar die kat een uur geleden naartoe ging. Het probleem is niet dat de modellen niet het vermogen hebben om te zien; het is dat ze een strategie missen voor hoe ze moeten weten waar ze naar moeten kijken wanneer de klok tikt en het geheugen vol is.

Een team van onderzoekers zette uit om een andere aanpak te testen. In plaats van te proberen een groter brein te bouwen, vroegen zij zich af of de manier waarop de robot zijn herinneringen raadpleegt belangrijker is dan de omvang van het brein zelf. Zij stelden voor dat een succesvolle agent twee onderscheidende instrumenten nodig heeft die samenwerken: een gecomprimeerde samenvatting van wat er is gebeurd (zoals een lopend dagboek) en een precieze, doorzoekbare archief van elk moment (zoals een bibliotheek met foto's). Cruciaal is dat de agent, gebaseerd op de specifieke vraag die gesteld wordt, moet kunnen kiezen hoeveel van zijn budget hij uitgeeft aan het lezen van het dagboek versus het doorzoeken van de bibliotheek. Ze bouwden een systeem om dit te testen, waarbij ze bestaande robotbreinen voorzagen van een nieuwe laag logica die deze middelen beheerde zonder dat hertraining nodig was.

De onderzoekers testten hun systeem in een synthetische omgeving die ontworpen was om een lange wandeling door een gebouw na te bootsen, waarbij de robot vragen moest beantwoorden over objecten die hij uren eerder had gezien. Ze zetten hun nieuwe systeem af tegen verschillende standaardmethoden, waaronder modellen die simpelweg een willekeurige selectie frames bekeken, modellen die probeerden alles samen te vatten in een korte tekst, en modellen die door een bibliotheek zochten zonder een lopend overzicht bij te houden. Ze voerden deze tests uit op zeven verschillende open-source modellen, variërend van klein tot groot, allemaal onder dezelfde strikte limiet van 4.096 "tokens" (eenheden informatie) per beslissing.

De resultaten waren opvallend, maar genuanceerd. Het nieuwe systeem, dat de aandacht van de robot intelligent routeerde, presteerde aanzienlijk beter dan elke andere methode die de toegang niet conditioneerde op de specifieke vraag. Wanneer gevraagd werd om een specifiek object te vinden dat verborgen zat in een stroom van 300 frames (de episodische ophaaltaak), slaagde het nieuwe systeem in 75–94% van de gevallen, terwijl de beste alternatieve methoden minder dan 20% haalden. De onderzoekers ontdekten dat het vermogen om de juiste vraag te stellen en vervolgens het juiste frame op te halen de doorslaggevende factor was. Sterker nog, het geven van vier keer zoveel geheugen aan een standaardmodel om mee te werken, hielp het bijna niet zo goed als het geven van een slimme manier aan het nieuwe systeem om zijn beperkte geheugen te gebruiken. Het slimme systeem met een klein budget versloeg het domme systeem met een enorm budget.

Echter, het verhaal eindigde niet met een perfecte overwinning. De onderzoekers hadden hun systeem ontworpen met drie onderdelen: de samenvatting, het archief en de slimme router die beslist hoe ze te gebruiken. Wanneer ze elk onderdeel afzonderlijk testten, ontdekten ze een verrassende fout. De slimme router en het archief waren de helden; zij deden het zware werk. Maar de samenvatting, die er oorspronkelijk voor bedoeld was om een lopend overzicht van gebeurtenissen bij te houden, maakte het systeem daadwerkelijk slechter. Wanneer ze de samenvatting verwijderden, verbeterde de prestatie van het systeem op complexe taken aanzienlijk. In feat presteerde het volledige systeem niet beter dan de baseline met alleen het archief op geen van de zeven geteste modellen. De reden was dat het brein van de robot niet goed genoeg was in het bijhouden van een perfect lopend overzicht over honderden stappen; de kleine fouten in de samenvatting stapelden zich op en verwarden het systeem. Een beter presterend systeem dat vertrouwde op een offline tekstindex in plaats van een live samenvatting, versloeg zelfs hun eigen ontwerp.

Dit falen was geen nederlaag voor het hoofdidee, maar een cruciale verfijning. De studie bewees dat onder een strikte tijd- en geheugenlimiet, de structuur van toegang belangrijker is dan de omvang van het model of de hoeveelheid beschikbare geheugen. De robot hoeft niet alles te zien; hij moet precies weten waar hij moet kijken. De onderzoekers concludeerden dat de toekomst van belichaamde agenten niet ligt in het bouwen van grotere breinen, maar in het bouwen van slimmere manieren om informatie te raadplegen. De meest effectieve strategie is om het budget te besteden aan het vinden van het juiste bewijsstuk, in plaats van te proberen de hele wereld tegelijkertijd in het geheugen vast te houden. Hoewel hun specifieke ontwerp voor de lopende samenvatting faalde, bleef het kernprincipe overeind: in een wereld van eindeloze data en beperkte tijd, is weten wat je moet negeren net zo belangrijk als weten wat je moet onthouden.