Riassunto Tecnico: Stati di Credenza Testuali per Modelli del Mondo

Definizione del Probleamento

In ambienti con osservazione parziale, i modelli del mondo devono mantenere una rappresentazione latente che riassuma la cronologia delle interazioni per abilitare la predizione, la pianificazione e il ragionamento. Una sfida critica nelle moderne architetture basate su Large Language Model (LLM) è il problema dell'identificabilità. In molti design esistenti, lo stato latente coesiste con altre fonti di informazione (come la cronologia completa delle osservazioni) che possono sostituirlo. Di conseguenza, un modello può raggiungere un'elevata accuratezza predittiva "aggirando" lo stato latente e facendo affidamento direttamente sulla cronologia. Ciò rende lo stato latente non identificabile; la performance predittiva non vincola più né riflette la qualità della rappresentazione appresa.

Mentre i classici modelli del mondo impongono una mediazione rigorosa dello stato latente — richiedendo che tutte le predizioni dipendano solo dallo stato latente e dall'azione corrente — l'applicazione di questo principio agli ambiti testuali è difficile. Gli stati latenti testuali sono discreti e non differenziabili, precludendo la standard ottimizzazione variazionale (ad es. ELBO). Inoltre, decoder LLM espressivi addestrati con tali obiettivi tendono a ignorare il collo di bottiglia, portando al collasso del posterior. Il paper affronta la sfida di imporre una mediazione rigorosa nel dominio testuale per garantire che la qualità della rappresentazione sia empiricamente testabile e che lo stato latente agisca come uno statistico sufficiente per la cronologia.

Metodologia

1. Stati Latenti Testuali

Gli autori propongono di rappresentare gli stati latenti come stringhe testuali discrete, interpretabili e di lunghezza variabile (specificamente liste di predicati-argomenti in formato JSON) piuttosto che come vettori continui. Questo approccio offre quattro vantaggi:

• Allineamento: Si adatta al backbone dell'LLM, evitando conversioni di modalità con perdita di informazioni.
• Collo di bottiglia adattivo: La capacità scala con il contenuto anziché con dimensioni fisse.
• Interpretabilità: Gli stati sono direttamente ispezionabili e possono essere valutati rispetto a fatti reali (ground-truth).
• Corrispondenza di Modalità: Le osservazioni sono testi semantici, quindi gli stati testuali preservano l'integrità strutturale.

2. Architettura del Modello

Il sistema utilizza un singolo modello linguistico autoregressivo pre-addestrato con parametri condivisi $\theta$ che opera in tre fasi distinte, definite da prompt:

1. Codifica (Encoding): $\hat{s}_t \sim p_\theta(\cdot | h_t)$, genera uno stato latente dalla cronologia $h_t$.
2. Transizione (Dinamica): $\hat{s}_{t+1} \sim p_\theta(\cdot | \hat{s}_t, a_t)$, predice il prossimo stato basandosi solo sullo stato latente corrente e l'azione.
3. Decodifica (Decoding): $\hat{o}_{t+1} \sim p_\theta(\cdot | \hat{s}_{t+1}, a_t)$, genera l'osservazione successiva a partire dal nuovo stato latente.

Fondamentalmente, una volta generato $\hat{s}_t$, le fasi di transizione e decodifica non hanno accesso alla cronologia originale $h_t$. Questo impone la mediazione rigorosa.

3. Addestramento tramite fGRPO (Factorized GRPO)

Poiché gli stati testuali sono non differenziabili, l'ottimizzazione tramite gradiente attraverso lo spazio latente è impossibile. Gli autori trattano ogni fase di generazione come una policy stocastica e ottimizzano utilizzando l'Apprendimento per Rinforzo (RL).

• Limitazione del GRPO Standard: Il GRPO (Group Relative Policy Optimization) standard opera su una singola continuazione autoregressiva, il che permetterebbe al modello di accedere alla cronologia attraverso il contesto condiviso del prompt, violando la mediazione rigorosa.
• Soluzione fGRPO: Gli autori introducono il fGRPO (Factorized GRPO), un'estensione strutturata ad albero. Per una data cronologia, il modello campiona $A$ candidati stati latenti, poi $B$ candidati stati successivi per ogni codifica, e $C$ candidati osservazioni per ogni transizione. Questo forma un albero dove i reward sono calcolati alle foglie (confrontando le osservazioni predette con quelle reali) e propagati verso l'alto. Questa struttura assicura che i passaggi di transizione e decodifica siano condizionati rigorosamente agli stati latenti campionati, non alla cronologia originale.

4. Design del Reward

Il segnale di reward combina l'accuratezza predittiva con la regolarizzazione strutturale per incoraggiare stati compatti e sufficienti:

• Accuratezza dell'Osservazione ($R_{obs}$): Punteggio F1 a livello di fatto tra i fatti estratti dalle osservazioni predette e da quelle reali.
• Validità del Formato ($R_{fmt}$): Un controllo binario per garantire che lo stato latente sia una struttura JSON valida.
• Reward Ausiliari:
  • Supporto ($R_{sup}$): Incoraggia la coerenza tra l'osservazione predetta e i fatti dello stato sottostante.
  • Dedubplicazione ($R_{dedup}$): Penalizza i fatti semanticamente ridondanti.
  • Ablazione ($R_{abl}$): Misura la frazione di fatti la cui rimozione degrada la predizione, incoraggiando la ritenzione solo delle informazioni necessarie.

Contributi Chiave

1. Formalizzazione della Mediazione Rigorosa: Il paper dimostra che, sotto mediazione rigorosa, l'accuratezza predittiva ottimale implica che lo stato latente sia uno statistico sufficiente della cronologia (Proposizione 1). Al contrario, in architetture "leaky" (con perdite) dove è permesso il bypass della cronologia, l'accuratezza ottimale può essere raggiunta con uno stato latente non informativo (Proposizione 2).
2. Garanzie Teoriche sul Rollout: La mediazione rigorosa allinea strutturalmente le condizioni di addestramento e inferenza. Gli autori mostrano che questo previene la crescita geometrica dell'errore osservata nei rollout basati sulla cronologia o "leaky", consentendo una propagazione dell'errore limitata sotto ipotesi di contrazione (Proposizione 3).
3. Algoritmo fGRPO: L'introduzione del fGRPO, che consente l'addestramento di stati latenti testuali discreti e non differenziabili sotto vincoli di mediazione rigorosa senza obiettivi variazionali.
4. Validazione Empirica: Gli esperimenti su TextWorld e ScienceWorld dimostrano che la mediazione rigorosa produce rappresentazioni che sono sia predittive che identificabili.

Risultati Sperimentali

Gli autori hanno valutato il loro approccio contro tre baseline:

• Stateless (Senza stato): Predice direttamente dalla cronologia (limite superiore di accuratezza, nessun esplicito rappresentazione).
• LeakyState (Stato con perdite): Utilizza uno stato latente testuale ma permette il bypass della cronologia durante la predizione.
• StrictState-Emb (Stato rigoroso con embedding): Utilizza la mediazione rigorosa ma con embedding continui (addestramento variazionale).

Risultati Principali:

• Accuratezza Predittiva: StrictState-Text eguaglia l'accuratezza della predizione a un passo (obs.F1) delle baseline LeakyState e Stateless, confermando che la mediazione rigorosa non sacrifica le performance.
• Qualità della Rappresentazione: A parità di accuratezza predittiva, StrictState-Text ottiene un F1 a livello di stato significativamente più alto (guadagni fino al 57% in ScienceWorld e al 30% in TextWorld per compiti complessi) rispetto a LeakyState. Ciò conferma che i modelli "leaky" apprendono stati non informativi che si affidano al bypass della cronologia.
• Stabilità del Rollout: La mediazione rigorosa migliora significativamente le performance dei rollout multi-step. I guadagni in F1 a livello di stato aumentano con l'orizzonte di predizione, raggiungendo un miglioramento del 98% all'orizzonte 9 su TextWorld. Ciò valida la tesi teorica secondo cui la mediazione rigorosa mitiga la propagazione dell'errore cumulativo.
• Ablation (Ablazione): La rimozione dei reward ausiliari (deduplicazione, ablazione, supporto) degrada le performance a lungo termine, indicando che questi componenti sono critici per apprendere stati compatti e sufficienti.

Significato e Rivendicazioni

Il paper sostiene che la mediazione rigorosa dello stato latente è una condizione necessaria per rendere la qualità della rappresentazione empiricamente testabile nei modelli del mondo. Senza di essa, l'accuratezza predittiva è un cattivo indicatore della qualità della rappresentazione perché il modello può "barare" accedendo direttamente alla cronologia.

Dimostrando con successo l'imposizione della mediazione rigorosa nel dominio testuale tramite fGRPO, gli autori dimostrano che:

1. L'identificabilità è raggiungibile: È possibile apprendere stati latenti discreti e interpretabili dove la qualità della rappresentazione è direttamente diagnosticabile dalla performance predittiva.
2. Gli stati testuali sono efficaci: Gli stati testuali a lunghezza variabile fornisiscono un collo di bottiglia più flessibile e interpretabile rispetto agli embedding a dimensione fissa per fatti compositivi e discreti.
3. La stabilità è migliorata: La mediazione rigorosa allinea l'addestramento e l'inferenza, prevenendo l'accumulo di errori che affligge i rollout a lungo termine nelle architetture leaky o stateless.

Gli autori notano che la loro valutazione si concentra sulla qualità della rappresentazione piuttosto che sul controllo o la pianificazione a valle, e che gli esperimenti sono limitati ad ambienti sintetici e strumentati (TextWorld e ScienceWorld). Riconoscono limitazioni strutturali, come l'onere della compressione che ricade interamente su un encoder single-shot e la dipendenza dall'estrazione di fatti strutturati per i reward ausiliari. Tuttavia, il lavoro stabilisce una base metodologica per la costruzione di modelli del mondo affidabili e interpretabili in contesti basati sul testo.