Riepilogo Tecnico: ASH (Agenti che si Affinano Autonomamente tramite Apprendimento Embodied)

Enunciato del Problema

I compiti embodied a lungo orizzonte rimangono una sfida fondamentale nell'intelligenza artificiale. I metodi attuali per l'addestramento di agenti in questi ambienti affrontano significativi problemi di scalabilità:

• Clonazione Comportamentale (BC): Si basa su dataset massicci, di alta qualità e etichettati con azioni. Assemblare tali dati richiede un'ampia annotazione umana e conoscenza del dominio. Inoltre, le politiche BC standard spesso condizionano solo la memoria a breve termine, fallendo nel catturare le dipendenze attraverso sequenze che si estendono per ore.
• Apprendimento per Rinforzo (RL): Sebbene efficace in contesti complessi, l'RL dipende tipicamente da funzioni di ricompensa dense e ingegnerizzate a mano. Progettare ricompense per compiti a tempo indeterminato, della durata di ore e con sottobiettivi diversificati, è fragile, laborioso e spesso intrattabile per sequenze lunghe.
• Modelli Fondamentali: Gli approcci zero-shot spesso allucinano o falliscono nell'adattarsi a nuovi contesti visivi e meccaniche senza accesso privilegiato allo stato o a specifiche strutture di supporto.

Il problema centrale è la mancanza di un metodo scalabile per permettere agli agenti di apprendere politiche a lungo orizzonte da video internet non etichettati e rumorosi, senza modellazione della ricompensa umana o annotazione esperta.

Metodologia: ASH

Gli autori introducono ASH, un sistema agenziale che impiega un ciclo dinamico di auto-miglioramento per apprendere da video internet non etichettati. ASH opera senza modellazione della ricompensa, affidandosi invece a un meccanismo di bootstrap attivato quando l'agente rimane "bloccato".

Architettura Core

ASH utilizza un sistema a doppia memoria per gestire le dipendenze a lungo orizzonte:

1. Memoria a Breve Termine: Le più recenti $w_s$ coppie osservazione-azione (32 secondi di contesto) per il controllo reattivo.
2. Memoria a Lungo Termine: Un buffer delle più recenti $w_l$ "momenti chiave" (osservazioni salienti) che forniscono contesto per decisioni prese ore prima.

La politica $\pi$ è un transformer causale che condiziona entrambi i tipi di memoria per prevedere le azioni.

Il Ciclo di Auto-Miglioramento

ASH segue un ciclo in tre fasi (Algoritmo 1):

1. Inferenza:

   • $N$ agenti interagiscono con l'ambiente sotto una politica condivisa $\pi$.
   • Un classificatore di momenti chiave $K$ (basato sul clustering HDBSCAN) identifica osservazioni salienti in tempo reale.
   • Se un agente incontra un nuovo momento chiave, questo viene aggiunto alla memoria a lungo termine dell'agente e un "timer di blocco" viene resettato.
   • Se qualsiasi agente non riesce a trovare un nuovo momento chiave per $\Delta$ passi (indicando che è bloccato), il sistema interrompe l'inferenza e avvia il bootstrap.

2. Recupero:

   • Il sistema codifica la traiettoria dell'agente bloccato utilizzando DINOv2.
   • Recupera i segmenti video visivamente più simili (top-$k$) da un corpus su larga scala di internet (YouTube).
   • Un algoritmo di abbinamento uno-a-uno greedy valuta le finestre temporali per garantire un recupero di alta qualità dei segmenti di gioco rilevanti.

3. Bootstrap (Aggiornamento della Politica):

   • Aggiornamento del Modello di Dinamica Inversa (IDM): L'IDM viene aggiornato utilizzando le proprie traiettorie dell'agente (coppie osservazione-azione) per migliorare la sua capacità di prevedere le azioni dalle osservazioni.
   • Scoperta di Momenti Chiave: Il classificatore $K$ viene aggiornato utilizzando i nuovi video internet recuperati per identificare nuovi pattern ricorrenti.
   • Addestramento della Politica: I video internet recuperati (che contengono solo osservazioni) vengono etichettati con pseudo-azioni generate dall'IDM aggiornato. Queste traiettorie etichettate, combinate con la memoria a lungo termine costruita da $K$, formano un nuovo dataset di addestramento $D_\pi$. La politica $\pi$ viene quindi addestrata su questi dati tramite apprendimento supervisionato (perdita cross-entropia).

Contributi Chiave

1. Bootstrap Dinamico: Gli autori propongono un meccanismo in cui gli agenti aggiornano autonomamente le proprie politiche e i modelli di recupero solo quando incontrano ostacoli, permettendo un adattamento continuo in ambienti a tempo indeterminato.
2. Memoria a Lungo Termine da Video Internet: Invece di affidarsi a memorie curate a mano o finestre di contesto fisse, ASH scopre e mantiene autonomamente "momenti chiave" da dati internet su larga scala, abilitando la pianificazione multi-oraria.
3. Ricetta Scalabile per l'Apprendimento Embodied: Attraverso esperimenti, il documento dimostra che combinare il bootstrap dinamico con la memoria a lungo termine crea un approccio scalabile capace di controllo motorio fine e adattamento a nuovi contesti visivi senza annotazione umana.

Risultati Sperimentali

ASH è stato valutato su due ambienti complementari a lungo orizzonte:

• Pokémon Emerald: Un RPG a turni che richiede combattimenti strategici ed esplorazione a tempo indeterminato.
• The Legend of Zelda: The Minish Cap: Un gioco di avventura e azione in tempo reale che richiede risoluzione di enigmi e controllo motorio fine.

Metriche di Prestazione:

• Prestazioni di ASH: Dopo una valutazione di 8 ore, ASH ha raggiunto una media di 11,2/12 traguardi in Pokémon Emerald e 9,9/12 in Legend of Zelda.
• Prestazioni delle Baseline: Le baseline più forti (Clonazione Comportamentale, Retrieval-Augmented e Modelli Fondamentali Zero-Shot) hanno raggiunto un plateau significativamente prima, ottenendo medie di 6,5/12 e 6,0/12 traguardi, rispettivamente.
• Adattabilità: Mentre le baseline fallivano quando incontravano nuove dinamiche (ad esempio, entrare nel castello di Zelda o nell'interfaccia di battaglia di Pokémon), ASH si è adattato con successo. Ad esempio, il checkpoint iniziale di ASH non poteva combattere; dopo il bootstrap, ha raggiunto un tasso di vittoria dell'87% nelle battaglie Pokémon.
• Ablazione dei Componenti: La rimozione della memoria a lungo termine o del bootstrap dinamico ha comportato chiari cali di prestazioni, confermando che entrambi i componenti sono essenziali per la progressione sostenuta.
• Qualità del Recupero: Il metodo di recupero di ASH ha raggiunto un tasso di rilevanza del 94% per i dati di addestramento, superando significativamente il recupero casuale (8%) e altre baseline di similarità.
• Dimenticanza Catastrofica: I test di replay offline hanno mostrato che ASH non ha manifestato dimenticanza catastrofica; la politica finale è stata in grado di riprodurre l'ambiente dall'inizio più velocemente dell'agente che apprendeva online.

Significato e Affermazioni

Il documento afferma che ASH dimostra una ricetta scalabile per l'apprendimento embodied a lungo orizzonte. Sfruttando video internet non etichettati e un ciclo di auto-miglioramento, ASH supera i limiti dei corpora di addestramento statici e delle ricompense ingegnerizzate a mano.

Gli autori affermano che questo approccio permette agli agenti di:

• Sostenere la progressione su orizzonti multi-orari dove le politiche fisse falliscono.
• Acquisire nuove abilità (ad esempio, combattimento, lotta con la spada) autonomamente tramite recupero e imitazione.
• Adattarsi a cambiamenti di distribuzione e nuovi contesti visivi senza intervento umano.

Il lavoro suggerisce che agenti auto-miglioranti, che fanno bootstrap dai propri fallimenti e dalla conoscenza collettiva di internet, offrono un percorso praticabile verso un'IA a tempo indeterminato e a lungo orizzonte che non dipende dalla scalabilità impraticabile di dati etichettati da umani o dall'ingegneria delle ricompense. Gli autori rimangono modesti, notando limitazioni come la dipendenza dalla disponibilità di video internet utili e la difficoltà di inferire azioni che non sono visivamente distinte.