Sintesi Tecnica: OPINE-World

Problema

Costruire agenti che si adattino a compiti sconosciuti richiede l'apprendimento del comportamento di un ambiente attraverso l'interazione. Sebbene i modelli di mondo basati su reti profonde offrano flessibilità, sono esigenti in termini di dati e si trasferiscono scarsamente oltre la loro distribuzione di addestramento. Al contrario, i modelli di mondo sintetizzati tramite programmi sono efficienti nei dati e riutilizzabili, ma storicamente limitati ad ambienti con stato strutturato e un vocabolario di oggetti predefinito. Una singola ricerca di programmi non scala verso ambienti con rendering a pixel dove la struttura stessa degli oggetti deve essere ipotizzata in modo flessibile a partire dalle osservazioni grezze.

La sfida centrale affrontata da questo lavoro è l'apprendimento online di un modello di mondo programmatico incentrato sugli oggetti tramite interazione in un ambiente in cui:

1. Il vocabolario degli oggetti e la partizione in tipi meccanici sono ignoti.
2. La finalità (goal) e la semantica delle azioni sono trattenute.
3. L'agente deve inferire la struttura degli oggetti, la dinamica e la rilevanza dell'obiettivo unicamente da frame di pixel grezzi e ricompense sparse.

Metodologia: OPINE-World

OPINE-World è un agente LLM che apprende un modello di mondo programmatico incentrato sugli oggetti attraverso un ciclo di ipotesi e test. Accoppia due agenti cooperanti e un critico periodico, operando su un buffer di replay condiviso delle interazioni.

1. Modello Programmatico Incentrato sugli Oggetti

Il modello di mondo è rappresentato come un programma Python fattorizzato per tipo di oggetto. Invece di una funzione di transizione monolitica, il modello detiene una regola di risposta $f_\tau$ per ogni tipo meccanico $\tau$. Questa regola predice lo stato aggiornato di un oggetto basandosi sui suoi attributi attuali, l'azione intrapresa e un contesto locale di sola lettura. Questa fattorizzazione permette a una regola appresa da un oggetto di trasferirsi a tutti gli oggetti dello stesso tipo, a condizione che la partizione dei tipi sia approssimativamente corretta.

2. Due Agenti Cooperanti

Il sistema decupla l'azione dalla modellazione in due agenti LLM specializzati:

• L'Agente d'Azione (Orientato all'Obiettivo): Interagisce con l'ambiente live, propone ipotesi sulla dinamica e sugli obiettivi, e le sonda. Mantiene un modello di mondo in linguaggio naturale e seleziona le azioni basandosi sul modello sintetizzato corrente o sulle necessità di esplorazione.
• L'Agente Sintetizzatore: Legge il buffer di interazione condiviso e le ipotesi dell'agente d'azione. Sintetizza il codice (il modello di mondo) che generalizza le transizioni osservate in regole. Invia programmi candidati a un verificatore.

3. Verifica e Sintesi Guidata da Controesempi (CEGIS)

Un programma candidato viene ammesso solo se riproduce esattamente ogni transizione registrata nel buffer (test di replay esatto).

• Accettazione: Il programma deve predire lo stato successivo attributo per attributo e oggetto per oggetto. Viene inoltre eseguito due volte per garantire il determinismo (rigettando modelli dipendenti da stati nascosti).
• Riparazione: La sintesi è innescata dai controesempi — transizioni in cui il modello live sbaglia la previsione dell'esito osservato. Una finestra di differimento permette ai controesempi di accumularsi prima di una riscrittura, e una guardia di stallo impedisce loop infiniti su errori irrimediabili.
• Riconoscimento dell'Obiettivo: Una volta superato un livello, viene sintetizzato un predicato di obiettivo Booleano e verificato secondo lo stesso standard di replay esatto.

4. Errore di Ontologia e Guida dell'Esplorazione

Poiché la partizione degli oggetti è ignota, OPINE-World impiega un diagnostico bayesiano chiamato errore di ontologia ($\eta_t$) per guidare l'esplorazione.

• Firme di Effetto: Invece di tracciare i delta esatti dei valori, il sistema traccia firme categoriche grossolane degli attributi modificati (es. "x cambiato", "pixel cambiati", "sparito").
• Tabelle di Effetto Locale: Queste tabelle contano le firme per riga (definita da tipo, azione e contesto locale).
• Misure di Incertezza: Il sistema calcola due entropie normalizzate:
  1. Incertezza del Tipo ($U_{type}$): Quanto il sistema è incerto sul tipo meccanico di un oggetto.
  2. Incertezza della Riga ($U_{row}$): Quanto è mista la distribuzione degli effetti per una specifica combinazione tipo-azione-contesto.
• Errore di Ontologia: Il noisy-OR di queste incertezze ($\eta_i = 1 - (1-U_{type})(1-U_{row})$) identifica oggetti e contesti che gli attuali tipi non possono ancora spiegare. L'agente d'azione viene guidato verso regioni ad alto errore, spingendo il sintetizzatore a raffinare i tipi o ad aggiungere feature di contesto.

5. Pianificazione

Una volta che un modello è ammesso e almeno un livello è stato superato, un pianificatore cerca nel modello verificato un percorso verso l'obiettivo. Il piano viene eseguito passo dopo passo nel gioco live. Qualsiasi discrepanza tra lo stato predetto e quello osservato interrompe il piano, registra un controesempio e restituisce il controllo all'agente d'azione.

Contributi Chiave

1. Agente OPINE-World: Un agente LLM che apprende modelli di mondo programmatici incentrati sugli oggetti online tramite un ciclo di ipotesi e test che coinvolge due agenti cooperanti, sintesi guidata da controesempi e pianificazione basata sul modello.
2. Scoperta dell'Ontologia: Un metodo per scoprire l'ontologia degli oggetti (partizionando gli oggetti in tipi meccanici) direttamente dall'interazione, estendendo i modelli di mondo sintetizzati tramite programmi dagli input a stato strutturato agli ambienti renderizzati a pixel con strutture di oggetti ignote.
3. Valutazione su ARC-AGI-3: Una dimostrazione su ARC-AGI-3 (dove il vocabolario degli oggetti, l'obiettivo e la semantica delle azioni sono trattenuti) in cui OPINE-World risolve 20 giochi su 25 senza addestramento per singolo gioco.

Risultati Sperimentali

Il sistema è stato valutato sul set di valutazione pubblica ARC-AGI-3 (25 giochi, 183 livelli).

• Performance: OPINE-World ha risolto 20 giochi su 25 e ha superato 160 livelli su 183 senza addestramento per singolo gioco.
• Efficienza delle Azioni: Ha raggiunto un punteggio di efficienza delle azioni di 78.4 (rispetto a un baseline umano), rispetto a 63.8 per un forte baseline di coding a singolo agente (baseline1) e 63.2 per un agente di visione pre-addestrato sul set di valutazione.
• Confronto con i Baseline:
  • Coding a Singolo Agente (baseline1): Ha risolto 14 giochi. OPINE-World ha risolto tutti i 14 di questi più altri 6 giochi che hanno sconfitto il baseline. Sui 6 giochi in cui il baseline è fallito, OPINE-World li ha superati utilizzando circa il 25% delle azioni spese dal baseline prima del fallimento.
  • Sintesi di Programmi (WorldCoder) e Modelli Latenti Neurali: Questi approcci hanno risolto 0 giochi sotto il budget di azioni del benchmark.
  • Baseline Umano: Sui 20 giochi vinti da OPINE-World, ha utilizzato meno azioni del riferimento umano in 16 casi.

Significato e Rivendicazioni

L'articolo sostiene che OPINE-World dimostra che i modelli di mondo programmatici possono essere appresi online da pixel grezzi senza vocabolari di oggetti o obiettivi predefiniti. Separando l'azione dalla modellazione e utilizzando un ciclo di verifica di replay esatto guidato da un errore di ontologia bayesiano, il sistema raggiunge un'alta efficienza campionaria e trasferibilità.

Gli autori sottolineano che il sistema non si affida a vincoli di ottimismo o a funzioni di ricompensa sintetizzate (a differenza di lavori precedenti come WorldCoder), ma invece si basa sulla coerenza del replay esatto e sui predicati di obiettivo derivati dalle ricompense osservate. I risultati suggeriscono che il fattore dei modelli per tipo di oggetto e la scoperta dinamica dell'ontologia permettono agli agenti di generalizzare tra layout diversi e risolvere compiti complessi di acquisizione di abilità con significativamente meno interazioni rispetto ai modelli latenti neurali o agli approcci di coding a singolo agente.

Limitazioni

Gli autori rilevano diverse limitazioni:

1. Ambito Osservabile-Markoviano: Il test di replay esatto assume una funzione di transizione deterministica sotto una rappresentazione corretta. Lo stato nascosto degrada il segnale temporale.
2. Percezione Inferita: L'accoppiamento degli oggetti e la partizione dei tipi sono inferiti da frame grezzi, il che è più difficile rispetto all'uso di identità di oggetti fornite dal motore.
3. Scala del Pianificatore: Il pianificatore utilizza una ricerca forward limitata, che può fallire in giochi con alti fattori di ramificazione (branching factors).
4. Singolo Run: I risultati si basano su un singolo run per gioco, mancando di stime della varianza.