Technische Samenvatting: ASH (Agenten die Zelf Verfijnen via Embodied Learning)

Probleemstelling

Langdurige embodied taken blijven een fundamentele uitdaging in kunstmatige intelligentie. Huidige methoden voor het trainen van agenten in deze omgevingen staan voor aanzienlijke schaalbaarheidsproblemen:

• Behavioral Cloning (BC): Verlaat zich op enorme, hoogwaardige, met acties gelabelde datasets. Het samenstellen van dergelijke data vereist uitgebreide menselijke annotatie en domeinkennis. Bovendien conditioned standaard BC-beleid vaak alleen op kortetermijngeheugen, waardoor het afhankelijkheden over reeksen die uren beslaan, niet kan vastleggen.
• Reinforcement Learning (RL): Hoewel succesvol in complexe omgevingen, is RL doorgaans afhankelijk van dichte, handmatig ontworpen beloningsfuncties. Het ontwerpen van beloningen voor open-ended, meer uur durende taken met diverse subdoelen is broos, arbeidsintensief en vaak onuitvoerbaar voor lange reeksen.
• Foundation Models: Zero-shot benaderingen hallucineren vaak of falen in het aanpassen aan nieuwe visuele contexten en mechanics zonder toegang tot bevoorrechte toestanden of specifieke scaffolding.

Het kernprobleem is het ontbreken van een schaalbare methode voor agenten om lange-horizon beleidslijnen te leren van ongelabelde, ruisende internetvideo zonder menselijke beloningsvorming of expertannotatie.

Methodologie: ASH

De auteurs introduceren ASH, een agentensysteem dat een dynamische zelfverbeteringslus gebruikt om te leren van ongelabelde internetvideo. ASH werkt zonder beloningsvorming, en vertrouwt in plaats daarvan op een bootstrapmechanisme dat wordt geactiveerd wanneer de agent "vastloopt".

Kernarchitectuur

ASH maakt gebruik van een dubbelgeheugensysteem om lange-horizonafhankelijkheden te verwerken:

1. Kortetermijngeheugen: De meest recente $w_s$ waarneming-actieparen (32 seconden context) voor reactieve controle.
2. Langetermijngeheugen: Een buffer van de meest recente $w_l$ "kernmomenten" (opvallende waarnemingen) die context bieden voor beslissingen die uren eerder zijn genomen.

Het beleid $\pi$ is een causale transformer die conditioned op beide geheugentypes om acties te voorspellen.

De Zelfverbeteringslus

ASH volgt een drie-staps cyclus (Algoritme 1):

1. Inferentie:

   • $N$ agenten interageren met de omgeving onder een gedeeld beleid $\pi$.
   • Een kernmomenten-classificator $K$ (gebaseerd op HDBSCAN-clustering) identificeert opvallende waarnemingen in real-time.
   • Als een agent een nieuw kernmoment tegenkomt, wordt dit toegevoegd aan het langetermijngeheugen van de agent en wordt een "vastlooptimer" gereset.
   • Als een agent geen nieuw kernmoment vindt gedurende $\Delta$ stappen (wat aangeeft dat het vastloopt), stopt het systeem de inferentie en start het bootstrappen.

2. Retrieval:

   • Het systeem embedt de trajectorie van de vastgelopen agent met DINOv2.
   • Het haalt de top-$k$ visueel vergelijkbare videosegmenten op uit een grote internetcorpus (YouTube).
   • Een greedy one-to-one matching-algoritme scoort tijdsvensters om een hoge kwaliteit retrieval van relevante gameplaysegmenten te waarborgen.

3. Bootstrapping (Beleidsoptimalisatie):

   • Inverse Dynamics Model (IDM) Update: Het IDM wordt bijgewerkt met de eigen trajectorieën van de agent (waarneming-actieparen) om zijn vermogen om acties te voorspellen op basis van waarnemingen te verbeteren.
   • Kernmomenten Ontdekking: De classificator $K$ wordt bijgewerkt met de nieuw opgehaalde internetvideo's om nieuwe terugkerende patronen te identificeren.
   • Beleidstraining: De opgehaalde internetvideo's (die alleen waarnemingen bevatten) worden gelabeld met pseudo-acties gegenereerd door het bijgewerkte IDM. Deze gelabelde trajectorieën, gecombineerd met het langetermijngeheugen opgebouwd door $K$, vormen een nieuwe trainingsdataset $D_\pi$. Het beleid $\pi$ wordt vervolgens op deze data getraind via supervised learning (cross-entropy loss).

Belangrijkste Bijdragen

1. Dynamisch Bootstrapping: De auteurs stellen een mechanisme voor waarbij agenten hun beleidslijnen en retrievalmodellen alleen updaten wanneer ze op obstakels stuiten, wat continue aanpassing in open-ended omgevingen mogelijk maakt.
2. Langetermijngeheugen uit Internetvideo: In plaats van te vertrouwen op handmatig samengesteld geheugen of vaste contextvensters, ontdekt en behoudt ASH autonoom "kernmomenten" uit grote internetdata, wat meer uur durende planning mogelijk maakt.
3. Schaalbare Recipe voor Embodied Learning: Door experimenten toont het artikel aan dat het combineren van dynamisch bootstrapping met langetermijngeheugen een schaalbare aanpak creëert die fijnmazige motorische controle en aanpassing aan nieuwe visuele contexten mogelijk maakt zonder menselijke annotatie.

Experimentele Resultaten

ASH werd geëvalueerd op twee complementaire lange-horizon omgevingen:

• Pokémon Emerald: Een turn-based RPG die strategische gevechten en open-ended verkenning vereist.
• The Legend of Zelda: The Minish Cap: Een real-time actie-avonturenspel dat puzzels oplossen en fijne motorische controle vereist.

Prestatiemetingen:

• ASH Prestaties: Na een evaluatie van 8 uur bereikte ASH een gemiddelde van 11,2/12 mijlpalen in Pokémon Emerald en 9,9/12 in Legend of Zelda.
• Basislijnprestaties: De sterkste basislijnen (Behavioral Cloning, Retrieval-Augmented en Zero-Shot Foundation Models) bereikten significant eerder een plateau, met gemiddelden van respectievelijk 6,5/12 en 6,0/12 mijlpalen.
• Aanpasbaarheid: Terwijl basislijnen faalden bij het tegenkomen van nieuwe dynamieken (bijvoorbeeld het betreden van het Zelda-kasteel of de Pokémon-gevechtsinterface), slaagde ASH erin zich aan te passen. Bijvoorbeeld, het initiële checkpoint van ASH kon niet vechten; na bootstrapping behaalde het een winpercentage van 87% in Pokémon-gevechten.
• Componenten Ablaatie: Het verwijderen van langetermijngeheugen of dynamisch bootstrapping resulteerde in duidelijke prestatiedalingen, wat bevestigt dat beide componenten essentieel zijn voor aanhoudende vooruitgang.
• Retrieval Kwaliteit: De retrievalmethode van ASH behaalde een relevantiepercentage van 94% voor trainingsdata, wat significant beter presteerde dan willekeurige retrieval (8%) en andere vergelijkingsbaselines.
• Catastrofaal Vergeten: Offline replay-tests toonden aan dat ASH geen catastrofaal vergeten vertoonde; het uiteindelijke beleid kon de omgeving vanaf het begin sneller afspelen dan de online lerende agent.

Betekenis en Claims

Het artikel claimt dat ASH een schaalbare recipe voor lange-horizon embodied learning demonstreert. Door gebruik te maken van ongelabelde internetvideo en een zelfverbeteringslus, overwint ASH de beperkingen van statische trainingscorpora en handmatig ontworpen beloningen.

De auteurs stellen dat deze aanpak agenten in staat stelt om:

• Vooruitgang te boeken over meer uur durende horizons waar vaste beleidslijnen falen.
• Nieuwe vaardigheden (bijvoorbeeld vechten, zwaardvechten) autonoom te verwerven via retrieval en imitatie.
• Zich aan te passen aan distributieveranderingen en nieuwe visuele contexten zonder menselijke ingreep.

Het werk suggereert dat zichzelf verbeterende agenten, die bootstrappen van hun eigen falen en de collectieve kennis van het internet, een haalbare weg bieden naar open-ended, lange-horizon AI die niet afhankelijk is van de onpraktische schaalvergroting van menselijk gelabelde data of beloningsengineering. De auteurs blijven bescheiden en wijzen op beperkingen zoals de afhankelijkheid van de beschikbaarheid van bruikbare internetvideo en de moeilijkheid om acties af te leiden die niet visueel onderscheidend zijn.