Riepilogo Tecnico: Apprendimento di Modelli del Mondo POMDP da Osservazioni con Priori di Modelli Linguistici

Enunciato del Problema

Agenti efficaci in ambienti parzialmente osservabili devono apprendere un modello interno di come il mondo risponde alle loro azioni. Sebbene i Processi Decisionali di Markov Parzialmente Osservabili (POMDP) forniscano un formalismo flessibile per tali modelli del mondo, apprenderli esclusivamente da traiettorie di osservazione-azione è notoriamente difficile. Gli approcci classici (stimatori tabulari, metodi spettrali, modelli latenti profondi) richiedono tipicamente un'interazione estesa con l'ambiente, forti assunzioni strutturali o l'accesso agli stati nascosti di verità fondamentale.

I metodi esistenti che sfruttano i Modelli Linguistici su Larga Scala (LLM) per indurre modelli del mondo spesso si basano su un'ipotesi semplificativa critica: l'accesso a stati nascosti privilegiati durante l'addestramento. Anche il precursore più vicino, POMDP Coder, assume l'accesso a posteriori agli stati di verità fondamentale dopo ogni episodio. Questa limitazione rende tali metodi inapplicabili a scenari reali in cui la supervisione degli stati non è disponibile, come robot che operano in spazi disordinati o agenti in giochi a informazione imperfetta. La domanda centrale affrontata da questo lavoro è se i priori degli LLM siano sufficientemente potenti da indurre modelli POMDP eseguibili utilizzando solo traiettorie di osservazione-azione-ricompensa, senza alcun accesso a etichette di stati nascosti.

Metodologia: Pinductor

Gli autori introducono Pinductor (induttore POMDP), un framework che induce modelli del mondo POMDP eseguibili da sole traiettorie di osservazione-azione-ricompensa. Il metodo opera su un ciclo di generazione-valutazione-affinamento-pianificazione, evitando il confronto diretto tra stati previsti e stati nascosti di verità fondamentale.

1. Proposta del Modello

Un LLM viene sollecitato con una descrizione dell'ambiente in linguaggio naturale, un piccolo dataset offline di traiettorie e un'API di codice che definisce gli spazi di stato, azione e osservazione. L'LLM genera un modello eseguibile candidato $m = (\rho_0^m, T^m, O^m, R^m)$, definendo la distribuzione dello stato iniziale, la dinamica di transizione, il modello di osservazione e la funzione di ricompensa.

2. Valutazione del Modello Basata sulla Credenza

Poiché gli stati nascosti non sono osservati, Pinductor valuta i candidati utilizzando un punteggio di verosimiglianza basato sulla credenza.

• Filtraggio a Particelle: Per un modello candidato, un insieme di particelle viene campionato dalla distribuzione dello stato iniziale proposta e propagato attraverso il modello di transizione $T^m$ utilizzando le azioni osservate.
• Verosimiglianza Morbida dell'Osservazione: Il modello di osservazione generato dall'LLM $O_{LLM}^m$ è spesso deterministico. Per gestire le discrepanze e fornire un segnale simile a un gradiente, il metodo impiega un kernel di distanza. La distanza $d_{obs}$ tra un'osservazione prevista e l'osservazione realizzata viene convertita in una verosimiglianza morbida:
  $$O^m(o_{t+1} | s_{t+1}, a_t) \propto \exp(-d_{obs}(o_{t+1}^{pred}, o_{t+1}^{real}) / \kappa)$$
• Assegnazione del Punteggio: Il modello viene valutato in base alla verosimiglianza logaritmica attesa della traiettoria osservata sotto la distribuzione di credenza indotta dal filtro a particelle:
  $$L(P^m; \mathcal{D}) = \sum_{\tau \in \mathcal{D}} \sum_{t=0}^{H-1} \mathbb{E}_{s_{t+1} \sim Q_{t+1}^m} [\log O^m(o_{t+1} | s_{t+1}, a_t)]$$
  Questo punteggio valuta quanto bene le dinamiche di filtraggio proprie del modello possono spiegare il flusso di osservazioni, senza accesso privilegiato agli stati.

3. Feedback e Affinamento

Il metodo affina i modelli in modo iterativo utilizzando feedback strutturato di debug:

• Punteggio Globale: Il punteggio di verosimiglianza scalare indica l'adattamento complessivo.
• Diagnostica Locale: Il sistema identifica modalità di fallimento specifiche, come errori di esecuzione, segmenti di traiettoria con alta distanza di osservazione o discrepanze di ricompensa.
• Segnali di Disaccordo: Un "comitato" di modelli di transizione precedentemente generati viene utilizzato per calcolare l'entropia del voto. I contesti ad alta entropia (dove i modelli candidati non concordano sullo stato successivo) vengono evidenziati all'LLM, guidandolo a risolvere le ambiguità nelle dinamiche.
• Strategia di Affinamento: Pinductor utilizza un processo di affinamento strutturato ad albero (selezione UCB1) piuttosto che una singola catena di modifiche, esplorando multiple famiglie di candidati prima di selezionare un modello vicino al migliore.

4. Pianificazione

Il modello selezionato viene utilizzato per la pianificazione nello spazio delle credenze (ad esempio, tramite pianificatori di tipo A*) durante l'interazione online. Le nuove traiettorie vengono aggiunte al dataset, innescando ulteriori round di affinamento.

Contributi Chiave

1. Induzione POMDP Solo-Osservazione: Il documento dimostra che i priori degli LLM sono sufficienti per indurre modelli del mondo POMDP eseguibili da sole traiettorie di osservazione-azione-ricompensa, eliminando la necessità di supervisione dello stato latente di verità fondamentale durante l'addestramento o l'inferenza.
2. Valutazione del Modello Basata sulla Credenza: Gli autori introducono un obiettivo di verosimiglianza basato su kernel che valuta i programmi candidati sotto le loro distribuzioni di credenza filtrate. Ciò fornisce un segnale di riparazione per passo calcolabile esclusivamente da osservazioni parziali.
3. Validazione End-to-End: Il metodo è validato su cinque task MiniGrid parzialmente osservabili. Pinductor corrisponde alle prestazioni e all'efficienza campionaria di una baseline LLM con stato privilegiato (POMDP Coder), superando significativamente le baseline non-LLM (inclusi POMDP tabulari a cui è stato concesso l'accesso agli stati privilegiati).

Risultati

• Prestazioni: Negli ambienti MiniGrid (Empty, Corners, Lava, Unlock, Four Rooms), Pinductor ottiene ricompense medie per episodio e tassi di vittoria comparabili alla baseline con stato privilegiato, nonostante utilizzi informazioni rigorosamente inferiori.
• Efficienza Campionaria: Pinductor raggiunge prestazioni elevate con pochissime traiettorie offline (da 2 a 10), eguagliando l'efficienza campionaria dei metodi con accesso agli stati.
• Qualità della Credenza: Durante la pianificazione, gli stati di credenza di Pinductor diventano sempre più concentrati sul vero stato nascosto man mano che le osservazioni si accumulano, dimostrando che i modelli appresi supportano aggiornamenti posteriori informativi.
• Ablazioni:
  • Capacità dell'LLM: Le prestazioni scalano con la capacità dell'LLM; modelli più deboli non riescono a sintetizzare modelli del mondo utilizzabili, mentre modelli più potenti (Qwen 3.6 Plus, Claude Opus 4.7) raggiungono alte prestazioni.
  • Informazione Semantica: L'omissione delle descrizioni semantiche dell'ambiente degrada le prestazioni, indicando che il metodo si basa su priori degli LLM radicati in informazioni testuali.
  • Stocasticità: Il metodo rimane efficace nelle varianti stocastiche degli ambienti, sebbene le prestazioni diminuiscano rispetto agli scenari deterministici.

Significato e Limitazioni

Il documento posiziona i priori dei modelli linguistici come uno strumento pratico per l'apprendimento di modelli del mondo efficiente in termini di campioni sotto osservabilità parziale. Rimuovendo il requisito di accesso agli stati privilegiati, Pinductor estende la portata dell'induzione di modelli guidata da LLM a scenari caratteristici di implementazioni reali (ad esempio, robotica, giochi a informazione imperfetta).

Gli autori notano modestamente diverse limitazioni:

• Ambito: La valutazione è limitata agli ambienti MiniGrid; il trasferimento ad altri domini o scenari reali complessi rimane non testato.
• Componenti Fissi: La funzione di distanza di osservazione, il pianificatore e il buffer di dimostrazione sono attualmente fissi e non ottimizzati dall'LLM.
• Varianza: La dipendenza dalle chiamate API LLM introduce un'alta varianza nel tempo di esecuzione e nei risultati.
• Raccolta Dati: I dataset offline sono raccolti manualmente; l'impatto delle strategie di raccolta dati automatizzate non è esplorato.

Il lavoro rappresenta un passo verso agenti generalisti capaci di apprendere modelli del mondo interni dall'esperienza in prima persona in ambienti parzialmente osservabili.