Riepilogo Tecnico: Quando la Ricompensa Insegna lo Stato? Uno Strumento a Automa Nascosto e il Confine tra Gruppo e Linguaggio

1. Definizione del Problema

Gli agenti di apprendimento per rinforzo (RL) spesso raggiungono punteggi di ricompensa elevati senza necessariamente apprendere lo stato latente sottostante del proprio compito. Inveve, possono apprendere "scorciatoie correlate alla ricompensa" (reward-correlated shortcuts) o euristiche che hanno successo sotto specifiche distribuzioni di addestramento, ma che falliscono nel generalizzare quando la struttura del compito cambia (ad esempio, orizzonti temporali più lunghi, rumore o shift della distribuzione). Questo fenomeno, noto come goal misgeneralization (errata generalizzazione dell'obiettivo), è difficile da diagnosticare perché il "vero stato" di un compito è tipicamente indefinito o non osservabile nei benchmark standard.

La domanda centrale affrontata è: un agente con un'alta ricompensa sta rappresentando lo stato latente del compito, o sta semplicemente sfruttando una scorciatoia? Per rispondere, il paper propone un framework in cui lo stato latente è un oggetto esattamente noto e misurabile, permettendo ai ricercatori di disaccoppiare il "successo della ricompensa" dall' "apprendimento dello stato".

2. Metodologia: Lo Strumento dell'Automa Nascosto

Gli autori introduiscono uno strumento sperimentale "white-box" basato su Automi a Stati Finiti Deterministici (DFA) Nascosti sotto Controllo Parziale.

L'Ambiente (PartialControlDFAEnv)

• Definizione del Compito: Il compito è definito da un DFA $M = (Q, \Sigma, \delta, q_0, F)$.
• Controllo Parziale: In un episodio di lunghezza $T$, ad ogni passo, l'agente sceglie il simbolo successivo con probabilità $p_{control}$; altrimenti, l'ambiente campiona il simbolo uniformemente.
• Osservazioni: L'agente osserva il flusso di simboli emessi, se il passo era controllabile e il tempo rimanente. Crucialmente, l'agente non osserva mai lo stato nascosto $q_t$.
• Ricompensa: Sparsa e terminale. L'agente riceve $r=1$ se lo stato finale $q_T \in F$ (stato di accettazione), e $0$ altrimenti.

L'Oracolo e le Sonde (Probes)

Poiché l'automa è noto allo sperimentatore, sono disponibili due capacità critiche "gratuitamente":

1. Oracolo Esatto: Il rendimento ottimale raggiungibile $V(q, r)$ è computato tramite induzione a ritroso. Ciò consente di normalizzare le ricompense grezze in un punteggio interpretabile (da 0.0 a 1.0) confrontabile tra diversi compiti.
2. Sonda dello Stato Latente Esatto: Lo vero stato $q_t$ ad ogni passo è noto. I ricercatori possono adattare un classificatore lineare sulle feature interne dell'agente per misurare quanto bene l'agente rappresenti lo stato vero (il "gap della sonda").

Assi Diagnostici

Lo strumento misura l'accoppiamento tra il successo della ricompensa e l'apprendimento dello stato lungo tre assi controllabili:

1. Forza dell'Ottimizzatore: Confronto tra ottimizzatori deboli (A2C) e più forti (PPO+GAE).
2. Struttura del Compito: Nello specifico, se l'automa esibisce una struttura di linguaggio di gruppo (permutazione), dove ogni simbolo induce una biiezione sugli stati raggiungibili (nessuna fusione di stati).
3. Informatività delle Osservazioni: Il grado in cui le osservazioni rivelano lo stato latente, controllato tramite un parametro $\beta$ (colorazione dello stato).

3. Contributi Chiave

1. Metodologia di Misurazione: Una ricetta per esprimere qualsiasi compito approssimabile da FSM come un DFA a controllo parziale nascosto. Ciò fornisce un oracolo esatto per la normalizzazione, una sonda dello stato latente esatta per la probing lineare e un limite di capacità supervisionata off-policy.
2. Benchmark Instance (PartialControlDFAEnv): Una tassonomia che separa gli automi diagnostici (dove il tracciamento dello stato è necessario) da quelli triviali.
3. Accoppiamento Dipendente dall'Ottimizzatore: Evidenza che il legame tra successo della ricompensa e apprendimento dello stato è governato dalla forza dell'ottimizzatore. Gli ottimizzatori deboli (A2C) spesso falliscono nell'installare rappresentazioni dello stato latente nonostante ottengano la ricompensa, mentre ottimizzatori più forti (PPO) migliorano questo accoppiamento, sebbene il recupero sia spesso parziale e ad alta varianza.
4. Distinzione dei Modi di Fallimento: Lo strumento distingue tra:
   • Perception Gap (Gap di Percezione): L'agente non riesce a recuperare lo stato latente (la sonda è al livello del caso), anche se esso è rappresentabile.
   • Planning Gap (Gap di Pianificazione): L'agente rappresenta lo stato (alta sonda) ma fallisce nell'usarlo per massimizzare la ricompensa.
5. Segnale di Avvertimento Strutturale: Identificazione della struttura di permutazione (linguaggio di gruppo) come un segnale di avvertimento pre-addestramento ad alta precisione per il gap di percezione. Questo è computabile dalla funzione di transizione $\delta$ da sola, prima di qualsiasi addestramento.

4. Risultati Chiave

Forza dell'Ottimizzatore e Recupero dello Stato

• Sotto un RL on-policy debole (A2C), la sonda dello stato rimane a livelli casuali per tutte le architetture, anche quelle (come le GRU) provate avere la capacità rappresentativa per risolvere il compito.
• Passare a PPO+GAE migliora significativamente sia la ricompensa che il recupero dello stato. Tuttavia, il recupero è spesso parziale (ad esempio, gap della sonda di ~0.20 rispetto a un limite di capacità supervisionata di ~0.48–0.60) ed esibisce un'alta varianza tra i seed.
• Conclusione: La ricompensa sparsa da sola è insufficiente a garantire l'apprendimento dello stato; la forza dell'ottimizzatore è il driver dominante del accoppiamento ricompensa-stato.

Il Perception Gap e i Linguaggi di Gruppo

• Automi di Permutazione: I compiti in cui l'automa è una permutazione (linguaggio di gruppo) richiedono che l'agente "accumuli" lo stato senza dimenticare (nessuna fusione di stati). Questi compiti sono significativamente più difficili per l'RL a ricompensa sparsa.
• Potere Predittivo: Un predittore basato sulla congiunzione di struttura di permutazione e basso leverage di controllo (quanto l'agente può influenzare lo stato) classifica perfettamente la difficoltà in-sample.
• Validazione su Dati Non Visti: Su un set di 153 nuovi DFA casuali, la struttura di permutazione predice il perception gap con una precisione di 0.86 (89 su 103 automi di permutazione esibivano il gap).
• Mining del Mondo Reale: Gli autori hanno estratto DFA nascosti da logica reale (checksum) e log di processo.
  • I checksum reali (ad esempio, divisibilità per 7) esibivano la struttura di permutazione e il perception gap.
  • I log di processo reali (ad esempio, workflow di approvvigionamento, clinici) erano non-permutazione e apprendibili, suggerendo che il perception gap è presente nella logica reale ma non è il caso universale per i workflow.

Segnali Ausiliari e Informatività delle Osservazioni

• Ausiliari Senza Etichette (Label-Free): Predire il simbolo successivo è vacuo se le osservazioni non portano informazioni sullo stato ($\beta=0$). Tuttavia, non appena le osservazioni rivelano qualsiasi informazione sullo stato ($\beta \ge 0.10$), un ausiliario label-free recupera lo stato latente e salva la performance della ricompensa.
• Ausiliari Privilegiati: Fornire lo stato vero come ausiliario è quasi inerte quando il learner base (PPO) ha già recuperato lo stato, ma fornisce guadagni significativi quando il learner base fallisce (ottimizzatori deboli o alta complessità).

Planning Gap vs. Perception Gap

Lo studio identifica una distinzione critica invisibile alla valutazione basata solo sulla ricompensa:

• Planning Gap: Un agente (ad esempio, su ends_with_1000) ha un alto punteggio della sonda dello stato ma una bassa ricompensa, indicando che conosce lo stato ma non riesce ad agire su di esso.
• Perception Gap: Un agente (ad esempio, su mined_ean) ha una bassa ricompensa e una sonda al livello del caso, indicando che non ha mai appreso lo stato.
• Le metriche comportamentali (gap di ricompensa) sono quasi incorrelate con lo stato recuperabile, provando che un'alta ricompensa non implica comprensione del compito.

5. Significato e Rivendicazioni

Il paper sostiene che il successo della ricompensa non è prova della comprensione del compito. La capacità di un agente (o di un ausiliario economico) di recuperare lo stato latente è prevedibile in anticipo in base alla struttura dell'automa.

• Il "Perception Gap": Il paper stabilisce che per gli automi di permutazione (linguaggio di gruppo), l'RL a ricompensa sparsa spesso fallisce nell'installare la rappresentazione dello stato latente, anche quando l'architettura è capace di farlo. Questo è un "perception gap" guidato dalle difficoltà di assegnazione del credito in spazi di stato non-merging.
• Il "Planning Gap": Al contrario, gli agenti possono apprendere lo stato ma fallire nell'utilizzarlo, un modo di fallimento distinto dalla percezione.
• Audit Azionabile: Il contributo primario è lo strumento stesso. Permette ai ricercatori di auditare qualsiasi compito di un agente convertendolo in un FSM nascosto, fornendo un oracolo esatto e una sonda dello stato. Ciò consente un audit "white-box" per determinare se un agente ha imparato il compito o solo una scorciatoia.
• Riparazioni Causali: Il paper dimostra che il perception gap può essere chiuso causalmente rendendo lo stato latente osservabile (aggiungendo emissioni che rivelano lo stato) o latchable (aggiungendo azioni di mantenimento controllabili), senza la necessità di un perfetto predittore a priori.

Gli autori notano che, sebbene il predittore strutturale sia ad alta precisione per il perception gap, non è una garanzia di sicurezza per i compiti non-group (che sono eterogenei). Inoltre, le scoperte sono attualmente limitate a piccoli automi sintetici e a un port preliminare verso agenti LLM, che hanno riprodotto gli assi ma non hanno ancora prodotto un perception gap pulito su larga scala. Lo strumento viene rilasciato per facilitare ulteriori investigazioni sulla affidabilità degli agenti con stato.