Personalizing Embodied Multimodal Large Language Model Agents over Long-term User Interactions
Dit artikel introduceert POLAR, een multimodaal, geheugenaugmenteerd raamwerk dat lange-termijn gebruikersinteracties organiseert in een kennisgrafiek om belichaamde agenten in staat te stellen gepersonaliseerde context effectief op te halen voor verbeterde taakuitvoering en redenering in de loop van de tijd.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een zeer slim robotbutler voor. Deze robot is uitstekend in het volgen van instructies zoals: "Haal de rode beker" of "Zoek de schoenen". Hij kan de wereld zien en taal begrijpen. Maar hier zit het probleem: in de echte wereld spreken mensen niet altijd in duidelijke, technische termen.
Als je je robot vraagt: "Breng me mijn schoenen", en je hebt drie verschillende paren schoenen in huis, komt de robot vast te zitten. Hij weet wat een "schoen" is, maar hij weet niet welk paar je bedoelt. Misschien draag je altijd de blauwe sneakers als het regent, of de hoge hakken voor je dinsdagvergaderingen. Zonder kennis van je persoonlijke geschiedenis raadt de robot alleen maar.
Dit artikel introduceert een nieuw systeem genaamd POLAR om dit probleem op te lossen. Denk aan POLAR als het geven van een speciaal, georganiseerd dagboek aan de robot, dat hem helpt je specifieke gewoonten en voorkeuren over een lange periode te onthouden.
Hier is hoe POLAR werkt, opgesplitst in eenvoudige onderdelen:
1. Het probleem: het korte geheugen van de robot
Huidige robots lijken op mensen met een zeer korte aandachtsspanne. Als je hen een vraag stelt gebaseerd op iets wat je weken geleden zei, vergeten ze vaak de details. Ze kunnen het algemene idee onthouden ("Oh, je houdt van schoenen"), maar ze kunnen het specifieke verhaal niet onthouden ("Je kocht die blauwe sneakers op een besneeuwde dag afgelopen winter"). Omdat ze de punten niet kunnen verbinden, grijpen ze vaak het verkeerde item.
2. De oplossing: POLARs "slimme dagboek"
POLAR slaat niet zomaar een video-opname op van elke keer dat de robot zich verplaatste (wat een rommelige, ongeorganiseerde hoop data zou zijn). In plaats daarvan organiseert het je geschiedenis in een gestructureerd geheugengrafiek met twee specifieke soorten notities:
- De "Wie en Wat"-notities (Semantisch geheugen):
Stel je een kaart voor voor elk object in je huis. Op de kaart voor je "blauwe sneakers" schrijft de robot specifieke feiten op: "Aangeschaft afgelopen winter", "Gebruikt op besneeuwde dagen", "Gedragen voor ochtendruns". Dit zijn korte, duidelijke feiten over jou en je relatie met dat object. - De "Hoe ik het vond"-notities (Episodisch geheugen):
Dit is als een reisdagboek. Het onthoudt de eerdere reizen van de robot. Bijvoorbeeld: "De vorige keer dat ik naar deze sneakers zocht, controleerde ik eerst de woonkamer, maar ze waren er niet. Ik vond ze in de garage." Dit helpt de robot te weten waar hij de volgende keer moet kijken, waardoor hij tijd bespaart door niet in de verkeerde kamers te zoeken.
3. Hoe het in het echte leven werkt
Wanneer je een vaag commando geeft zoals: "Breng me mijn schoenen voor besneeuwde dagen", doet POLAR het volgende:
- Het leest de aanwijzingen: Het kijkt naar je nieuwe verzoek en zoekt in zijn georganiseerde dagboek.
- Het vindt de match: Het ziet de notitie op de kaart van de "blauwe sneakers" die zegt "Gebruikt op besneeuwde dagen". Het beseft: "Ah, de gebruiker bedoelt deze schoenen, niet de rode!"
- Het plant de route: Het controleert zijn reisdagboek en herinnert zich: "De vorige keer vond ik ze in de garage, niet in de slaapkamer." Dus slaat hij de slaapkamer over en gaat rechtstreeks naar de garage.
4. Wat de experimenten lieten zien
De onderzoekers testten dit systeem met verschillende robot-"hersenen" (AI-modellen) in een gesimuleerd huis. Ze vergeleken drie benaderingen:
- De "Geen geheugen"-robot: Kijkt alleen naar wat hij nu ziet. (Hij faalt vaak omdat hij niet weet welke schoen je bedoelt).
- De "Rauwe data"-robot: Probeert al zijn eerdere video-logboeken en gesprekken tegelijkertijd te lezen. (Hij raakt in de war door te veel rommelige informatie).
- De POLAR-robot: Gebruikt het georganiseerde dagboek.
De resultaten:
De POLAR-robot was veel beter in het vinden van het exacte item dat je wilde, vooral wanneer er veel vergelijkbare items waren (zoals drie paren schoenen) of wanneer je verzoek erg vaag was. Hij bedacht ook het snelste pad naar het item omdat hij onthield waar hij eerder had gezocht.
De grote conclusie
Het artikel concludeert dat een robot om op lange termijn echt behulpzaam te zijn, niet alleen een "lang geheugen" kan hebben (alles opslaan). Het heeft een slim geheugen nodig (informatie organiseren in bruikbare feiten en ervaringen). POLAR zet rommelige eerdere interacties om in een duidelijke leidraad, waardoor de robot niet alleen begrijpt wat je vraagt, maar ook voor wie je het vraagt.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.