Technische Samenvatting: World Action Models maken continue imitatie-leren mogelijk met Recurrent Generative Replays

1. Probleemformulering

Het artikel behandelt de uitdaging van continue imitatie-leren voor robotic-policies, met een specifieke focus op catastrofale vergetelheid (catastrophic forgetting). Naarmate World Action Models (WAMs) opkomen als algemene robot-policies die perceptie, voorspelling en controle verenigen, moeten zij in staat zijn om zich sequentieel aan nieuwe taken aan te passen. Echter, standaard sequentiële fine-tuning zorgt ervoor dat het model eerder geleerde vaardigheden overschrijft.

Traditionele oplossingen vertrouwen op Experience Replay (ER), waarbij grondwaarheid-demonstraties van menselijke experts van eerdere taken worden opgeslagen en afgespeeld. De auteurs stellen dat deze aanpak steeds minder praktisch wordt in de moderne robotica, waar policies vaak getraind worden op grootschalige, propriëtaire datasets die niet publiekelijk beschikbaar worden gesteld, of waar de opslag van eerdere demonstraties onhaalbaar is. Het kernprobleem is: Hoe kan een robot eerder geleerde vaardigheden behouden tijdens continue adaptatie zonder toegang te hebben tot de originele menselijke demonstraties?

2. Methodologie: Recurrent Generative Replay (REGEN)

De auteurs stellen Recurrent Generative Replay (REGEN) voor, een framework dat gebruikmaakt van de intrinsieke generatieve capaciteiten van WAMs om pseudo-replay trajecten te synthetiseren, waardoor de noodzaak voor het opslaan van echte demonstraties wordt geëlimineerd.

Kernmechanisme

WAMs worden gedefinieerd als policies die gezamenlijk toekomstige acties ($\tilde{a}$) en toekomstige visuele observaties ($\tilde{o}$) modelleren, geconditioneerd op taalinstructies ($\ell$) en de huidige observatie ($o$). REGEN maakt hier gebruik van door recursief de WAM te bevragen om "gehallucineerde" trajecten voor eerdere taken te genereren.

Het generatieproces voor een eerdere taak $T_i$ (gegeven enkel de bijbehorende taalinstructie $\ell_i$) verloopt in drie fasen:

1. Initialisatie: De rollout wordt geïnitialiseerd met een echte observatie die gesampled is uit de demonstraties van de huidige taak ($D_k$) om een geldige visuele context te bieden.
2. Recursieve Generatie: Het model voorspelt een 'action chunk' en een toekomstige observatie. Cruciaal is dat de gegenereerde toekomstige observatie ($\tilde{o}_t$) wordt teruggekoppeld als de input-observatie voor de volgende stap, in plaats van het gebruik van echte data. Deze recursieve lus gaat door totdat aan een terminatievoorwaarde is voldaan.
3. Terminatie: De generatie stopt bij een maximaal horizon of wanneer de interne reward-head van het model taakvoltooiing voorspelt (bijv. reward > 0.99 voor opeenvolgende stappen).

Trainingsdoelstelling

De policy wordt bijgewerkt via behavioral cloning op een gecombineerde dataset $D^+_k = D_k \cup R_k$, waarbij $D_k$ de echte demonstraties van de huidige taak zijn en $R_k$ de set gesynthetiseerde pseudo-trajecten voor alle eerdere taken. De loss-functie minimaliseert het verschil tussen de voorspelde acties van de policy en de acties binnen deze pseudo-trajecten, geconditioneerd op de respectieve taakinstructies.

3. Belangrijkste Bijdragen

Het artikel schetst drie primaire bijdragen:

1. REGEN Framework: Het eerste continue imitatie-leer framework dat de WAM zelf gebruikt als een native generatief replay-mechanisme, waarmee trajecten worden gesynthetiseerd zonder het opslaan van echte eerdere demonstraties.
2. Empirische Validatie: De demonstratie dat REGEN catastrofale vergetelheid substantieel vermindert in zowel gesimuleerde (LIBERO benchmarks) als real-world (xArm7 manipulator) omgevingen, terwijl de forward transfer naar nieuwe taken behouden blijft.
3. Limieten-analyse: Identificatie van de specifieke knelpunten die voorkomen dat gegenereerde replay overeenkomt met echte experience replay: (i) visuele degradatie over lange horizonten in recursieve generatie, en (ii) inconsistenties tussen voorspelde toekomstige observaties en de bijbehorende gegenereerde acties.

4. Experimentele Resultaten

Simulatie (LIBERO Benchmarks)

Experimenten werden uitgevoerd op de LIBERO-Spatial, LIBERO-Object en LIBERO-Goal suites.

• Prestaties: REGEN verminderde de Negative Backward Transfer (NBT) met meer dan 50% vergeleken met naïeve Sequential Fine-Tuning (Seq-FT). Bijvoorbeeld, op LIBERO-Goal daalde NBT van 100 (Seq-FT) naar 44.9 (REGEN).
• Vergelijking: Hoewel Experience Replay (ER) met echte data de bovengrens blijft, presteerde REGEN aanzienlijk beter dan andere non-replay baselines (Seq-LoRA, EWC, PackNet) en benaderde de prestaties van geprivilegieerde ER-methoden.
• Representatie-stabiliteit: Analyse van de drift in actie-representatie toonde aan dat REGEN een significant lagere drift (0.12) behield vergeleken met Seq-FT (0.30), waardoor de interne structuur van de policy werd bewaard.

Real-World Manipulatie

Tests werden uitgevoerd met een xArm7 robot bij taken waarbij objecten (wortels, aubergines) in kommen of op borden geplaatst moesten worden.

• Resultaten: REGEN verminderde vergetelheid (NBT) van 96.3 naar 60.5 en verbeterde de Forward Transfer (FWT) van 50 naar 80 vergeleken met Seq-FT.
• Significantie: Dit bevestigt de levensvatbaarheid van de methode buiten simulatie, wat een praktische aanpak biedt voor echte robots waarbij het opnieuw verzamelen van oude data onmogelijk is.

5. Beperkingen en Toekomstige Richtingen

De auteurs merken expliciet op dat REGEN nog geen volledige vervanging is voor echte experience replay. Het prestatieverschil wordt toegeschreven aan twee hoofdfactoren:

1. Degradatie van Visuele Getrouwheid: Terwijl het model recursief observaties genereert, hopen visuele artefacten en wazigheid zich op. Deze degradatie correleert met toegenomen vergetelheid (N�BT), aangezien het supervisiesignaal in de loop der tijd verzwakt.
2. Inconsistentie tussen Actie en Observatie: Er is een mismatch tussen de "verbeelde" succesratio (gebaseerd op gegenereerde visuals) en de "gegronde" succesratio (gebaseerd op de uitvoering van acties). Het model voorspelt vaak visueel plausibele succesvolle uitkomsten terwijl de gegenereerde acties fysiek ontoereikend zijn.

Het artikel concludeert dat het verbeteren van de getrouwheid en consistentie van de WAM-generatie de kritieke toekomstige richting is om het gat tussen pseudo-replay en echte experience replay te dichten.

6. Betekenis

Het artikel stelt dat "Een robot die zijn verleden kan verbeelden, kan zijn toekomst blijven leren." Door WAMs te vestigen als een fundament voor continu leren zonder opgeslagen demonstraties, biedt REGEN een pad naar levenslang robot-leren in scenario's waar gegevensprivacy of opslagbeperkingen het gebruik van traditionele replay buffers verhinderen. Het werk benadrukt dat de generatieve capaciteiten van WAMs kunnen dienen als een effectieve vorm van impliciet geheugen, mits de beperkingen van huidige generatieve modellen worden aangepakt.