Riepilogo Tecnico: Ricordati di Essere Curioso

Enunciato del Problema

L'esplorazione è un prerequisito fondamentale per apprendere comportamenti utili in compiti a ricompensa rada e orizzonte temporale lungo all'interno di ambienti 3D. Sebbene l'apprendimento per rinforzo (RL) guidato dalla curiosità offra un meccanismo per generare ricompense intrinseche basate sugli errori di previsione, scalare questo approccio ad ambienti complessi e fotorealistici si è rivelato difficile. Gli approcci esistenti soffrono spesso di un'esplorazione "amnesica", dove gli agenti rimangono intrappolati in loop locali. Ciò si verifica perché:

1. Mancanza di Contesto Episodico: Senza una storia delle osservazioni passate, gli agenti rivisitano ripetutamente gli stessi luoghi, ricevendo ricompense di "novità" fresche per stati che hanno già dimenticato.
2. Mancanza di Persistenza Spaziale: I modelli del mondo appresi standard (ad esempio, moduli di dinamica inversa/avanti) agiscono spesso come prior statistici sull'esperienza piuttosto che come registri persistenti. Di conseguenza, non riescono a mantenere la coerenza della scena, generando errori di previsione spurii nelle aree rivisitate e fornendo segnali di novità falsi.

La sfida principale è consentire ad agenti guidati dalla curiosità di navigare in scene 3D fotorealistiche utilizzando solo input visivi (RGB) al momento del dispiegamento, senza fare affidamento su mappe geometriche esplicite o sensori di profondità, evitando al contempo comportamenti ripetitivi.

Metodologia

Il documento propone un framework end-to-end, Remember to be Curious, che accoppia un modello del mondo persistente con un agente episodico.

1. Modello Avanti 3D Persistente (Modello del Mondo)

Per fornire un segnale di curiosità affidabile, gli autori utilizzano un modello 3D Gaussian Splatting (3DGS) online come proxy per il modello del mondo avanti.

• Meccanismo: Il modello assorbe un flusso di osservazioni privilegiate durante l'addestramento (RGB, profondità, pose della camera) per costruire una rappresentazione 3D persistente ($G_t$) della scena.
• Ricompensa di Curiosità: Ad ogni passo, il modello genera una previsione della prossima osservazione ($\hat{o}_{t+1}$) basata sullo stato corrente del 3DGS e sull'azione dell'agente. La ricompensa di curiosità ($r^{cur}_t$) è derivata dall'errore di previsione visiva tra la vista renderizzata e l'osservazione effettiva ($o_{t+1}$).
• Persistenza: A differenza dei modelli neurali avanti standard, il 3DGS mantiene un registro continuo e aggiornato dell'ambiente. Ciò garantisce che gli errori di previsione sorgano solo da regioni genuinamente nuove, e non dal fatto che il modello "dimentichi" stati precedentemente visitati.
• Formulazione della Ricompensa: L'errore viene filtrato in bassa frequenza e sottocampionato per focalizzarsi sulla novità strutturale significativa piuttosto che sul rumore ad alta frequenza. Viene emessa una ricompensa binaria: $r_{new}$ per le viste non spiegate e una piccola penalità $r_{old}$ per le viste già spiegate dal modello.

2. Architettura dell'Agente Episodico

L'agente è una policy basata su transformer che opera puramente su una sequenza di osservazioni RGB e azioni, mantenendo una memoria episodica interna senza mappatura geometrica esplicita.

• Elaborazione degli Input: Ogni frame RGB di un timestep è accoppiato con l'azione precedente (codificata come immagine di raggio di Plücker). Questi vengono elaborati da un codificatore di immagini e arricchiti con caratteristiche DINOv2.
• Meccanismo di Memoria: L'agente impiega un'architettura di attenzione ibrida:
  • Attenzione Causale a Finestra Scorrevole: Elabora efficientemente il contesto temporale locale.
  • Memoria Globale ad Attenzione Lineare: Ispirata alle architetture TTT e LoGeR, questo modulo mantiene uno stato nascosto in esecuzione ($h_t$) che permette alle informazioni di propagarsi attraverso l'intero episodio, abilitando la pianificazione a lungo orizzonte (ad esempio, tornare indietro per trovare nuovi rami).
• Addestramento: La policy è addestrata tramite PPO utilizzando la ricompensa di curiosità come unico segnale. Per prevenire il collasso in comportamenti ripetitivi quando le ricompense diventano rare, il rollout di addestramento include una miscela della policy appresa e di una policy casuale uniforme (pianificata dal 20% allo 0% durante l'addestramento), insieme alla regolarizzazione dell'entropia.

3. Dispiegamento

Al momento del test, l'agente agisce esclusivamente sul flusso di frame RGB. Il modello avanti 3DGS non viene utilizzato durante il dispiegamento; l'agente si affida interamente alla sua rappresentazione interna appresa del contesto episodico per navigare.

Contributi Chiave

1. Requisito Duale per la Curiosità: Il documento dimostra che una curiosità efficace in ambienti 3D fotorealistici richiede sia un modello del mondo persistente (per evitare la novità falsa derivante da stati dimenticati) sia un agente episodico (per pianificare verso regioni nuove utilizzando il contesto storico).
2. Policy End-to-End Solo RGB: L'agente proposto non richiede mappe geometriche esplicite, sensori di profondità o moduli di localizzazione al momento del dispiegamento. Impara a navigare in scene 3D complesse puramente da input visivi.
3. 3DGS Persistente come Proxy: Il lavoro utilizza lo 3D Gaussian Splatting online per fornire la necessaria persistenza spaziale per i segnali di curiosità, affrontando i limiti dei modelli avanti appresi standard che soffrono di oblio spaziale.
4. Comportamenti a Lungo Orizzonte Emergenti: L'agente impara a traversare regioni già viste (tornando indietro) per scoprire "rami" inesplorati dell'ambiente, un comportamento tipicamente difficile da apprendere in contesti a ricompensa rada senza selezione gerarchica degli obiettivi o apprendimento per imitazione.

Risultati Sperimentali

L'agente è stato addestrato puramente sulla curiosità utilizzando il dataset Habitat Matterport 3D (HM3D).

• Prestazioni di Esplorazione: Su HM3D e sui dataset Gibson, l'agente supera le baseline di mappatura attiva basate su RL all'avanguardia (ANS, OccAnt) in termini di completezza della scena 3D e distanza media dai punti non osservati. Raggiunge una copertura più elevata più velocemente richiedendo solo input RGB, mentre le baseline spesso fanno affidamento su profondità ground-truth o mappe esplicite.
• Studi di Ablazione:
  • Modello del Mondo: Rimuovere la persistenza (utilizzando memoria a breve termine o ICM standard) causa il collasso dell'agente in loop locali o lo fa rimanere bloccato.
  • Memoria dell'Agente: Ridurre la finestra di contesto dell'agente o utilizzare RNN degrada le prestazioni. Una memoria asimmetrica (solo il critico ha contesto) performa peggio della memoria episodica completa, confermando la necessità che la policy mantenga la storia.
• Adattamento a valle: L'agente pre-addestrato è stato fine-tuned per pochi episodi su compiti a valle a ricompensa rada:
  • Raccolta di Mele: Ha superato gli agenti addestrati da zero, in particolare in scenari con ricompense molto rare (meno mele).
  • Navigazione a Obiettivo Immagine: Ha ridiretto con successo le sue capacità generali di esplorazione per raggiungere punti di vista target specifici, superando le baseline addestrate da zero.
• Generalizzazione Zero-Shot: L'agente si è generalizzato a mondi 3D fuori distribuzione generati dall'IA (Hobbit World, Spaceship) senza ulteriore addestramento, navigando corridoi ed evitando collisioni nonostante le differenze nelle pipeline di rendering e nell'estetica.

Significato e Affermazioni

Il documento afferma che accoppiare un modello persistente del mondo con un agente episodico fornisce una via pratica per scalare l'esplorazione guidata dalla curiosità ad ambienti 3D complessi e fotorealistici.

• Affermazioni Modeste sui Modelli del Mondo: Gli autori riconoscono che il loro utilizzo del 3DGS è un proxy per un modello del mondo "senza dinamica", confinando l'agente a scene statiche. Ipotesi che, man mano che i modelli generativi video condizionati dall'azione maturano, potrebbero eventualmente sostituire il 3DGS, a condizione che possano raggiungere una persistenza spaziale simile e aggiornamenti online in ciclo chiuso.
• Insight per Lavori Futuri: Lo studio funge da guida per i futuri modelli del mondo, sottolineando che la persistenza spaziale e la capacità di aggiornare continuamente le rappresentazioni interne sono strettamente richieste per una motivazione intrinseca affidabile.
• Generalizzazione: Il lavoro dimostra che l'esplorazione guidata dalla curiosità, quando fondata su una memoria persistente, può produrre agenti che non sono solo esploratori efficaci, ma anche altamente adattabili a diversi compiti a valle senza la necessità di mappatura esplicita o bootstrapping tramite apprendimento per imitazione.