Sintesi Tecnica: LatentGym

Definizione del Problema

Gli attuali framework di addestramento e valutazione per gli agenti basati su Large Language Model (LLM) mancano della capacità di studiare rigorosamente l'apprendimento esperienziale cross-task: la capacità di un agente di migliorare attraverso una sequenza di task correlati inferendo e utilizzando strutture latenti condivise. I benchmark esistenti spesso trattano i task in modo indipendente o si affidano a strutture implicite che non sono controllabili dall'esperimentatore. Di conseguenza, è difficile diagnosticare il perché un agente fallisca nell'adattarsi (ad esempio, se abbia fallito nel rilevare la struttura, nel inferirla o nell'agire su di essa) o confrontare metodi che mirano a instillare questa capacità.

Metodologia: LatentGym

Gli autori introducono LatentGym, un testbed controllabile progettato per isolare e misurare l'adattamento cross-task. Il framework si basa su tre componenti principali:

1. Ambienti Controllabili

LatentGym organizza gli ambienti attorno a una variabile latente esplicita e di ground-truth ($z$) che governa la regolarità condivisa attraverso una sequenza di $N$ task. Il framework fattorizza ogni ambiente lungo cinque assi ortogonali:

• Dinamiche Core: Il problema decisionale all'interno del task (es. indovinare un numero, bandit, word ladder).
• Latente: La struttura di ground-truth condivisa attraverso la sequenza (es. un set fisso di numeri target, un braccio ottimale rotante nei bandit).
• Tipo di Prompt: Controlla la disponibilità di informazioni riguardo al latente (Nessuna informazione, Suggerimento vago, o Informazione completa).
• Tipo di Feedback: Determina l'informazione post-task (Standard: solo successo/fallimento; Informazione: esito di ground-truth rivelato).
• Orizzonte ($N$): Il numero di task nella sequenza.
  La suite include sette ambienti costruiti su giochi testuali (Number Guessing, Bandits, Secretary, Mastermind, Word Ladder, Wordle, Hangman), ciascuno con molteplici configurazioni latenti.

2. Diagnostica: Esplorazione vs. Sfruttamento

Per andare oltre le metriche di reward aggregate, LatentGym introduce un meccanismo controfattuale di scambio di agenti (agent-switching). In un punto di switch $K$, la cronologia raccolta da un agente "esploratore" viene passata a un agente "sfruttatore". Ciò consente la separazione di due capacità distinte:

• Efficienza di Esplorazione: Se le azioni dell'agente nei primi task raccolgono prove informative sul latente.
• Efficienza di Sfruttamento: Se l'agente utilizza efficacemente tali prove per migliorare le prestazioni nei task successivi.
  Le metriche includono il reward cumulativo ($R$), il guadagno cross-task ($r_N - r_1$) e il reward dell'ultimo task ($r_N$).

3. Pipeline RL Integrata

Il framework si integra con SkyRL, supportando algoritmi standard (SFT, PPO, GRPO). Permette il Cross-Task RL, dove la policy viene affinata end-to-end su intere sequenze di task correlati utilizzando un obiettivo di reward cumulativo ($\sum r_i$). Questo contrasta con il Single-Task RL, che ottimizza per task isolati.

Contributi Chiave e Risultati

1. Modalità di Fallimento dei Modelli Frontier

Valutando i modelli frontier (GPT-4o, Claude Sonnet 4.6, Gemini 2.5 Flash) su LatentGym, emerge che spesso falliscono l'adattamento anche sotto semplici strutture latenti. Gli autori identificano tre modalità di fallimento ricorrenti:

• Negligenza dell'Adattamento (Adaptation Neglect): I modelli riavviano ripetutamente le strategie (es. ricerca binaria) per ogni task, ignorando le evidenze cross-task anche quando vengono forniti suggerimenti.
• Rottura dell'Adattamento (Adaptation Breakdown): I modelli riconoscono i pattern ma non riescono ad agire su di essi in modo affidabile, o agiscono in modi che degradano le prestazioni (es. overfitting su un pattern).
• Miscalibrazione dell'Adattamento (Adaptation Miscalibration): Fornire informazioni esplicite sul latente può paradossalmente degradare le prestazioni, poiché i modelli possono condizionarsi eccessivamente sulla regola fornita e violare i vincoli operativi.

2. Il Cross-Task RL induce un Adattamento Generale

Gli autori dimostrano che il Cross-Task RL (fine-tuning su intere sequenze) instilla con successo capacità di adattamento cross-task che il Single-Task RL non riesce a raggiungere.

• Guadagni di Prestazione: Il Cross-Task RL supera significativamente sia i modelli base che il Single-Task RL in termini di reward cumulativo, guadagno cross-task e reward dell'ultimo task in tutti gli ambienti testati.
• Generalizzazione: Le strategie di adattamento apprese si generalizzano a latenti non visti (OOD-1) e ambienti non visti (OOD-2), suggerendo l'acquisizione di una meta-strategia generale piuttosto che di indizi specifici dell'ambiente.
• Meccanismo: L'analisi tramite scambio di agenti mostra che il Cross-Task RL migliora sia l'efficienza di esplorazione che quella di sfruttamento, sebbene il fattore dominante vari per ambiente (es. lo sfruttamento domina in Number Guessing, mentre l'esplorazione domina in Hangman).

3. Impatto delle Scelte di Design durante l'Addestramento

Lo studio investiga come le condizioni di addestramento influenzino la generalizzazione:

• Densità del Feedback: Controintuitivamente, l'addestramento con feedback standard (sparso) si trasferisce in modo più robusto alle condizioni di deployment rispetto all'addestramento con feedback ricco di informazioni. I modelli addestrati con informazioni complete subiscono cali di prestazione significativi quando valutati sotto feedback standard.
• Ricchezza dei Prompt: L'addestramento con suggerimenti vaghi ("alcune informazioni") produce modelli che sono più uniformemente trasferibili tra le diverse condizioni di prompt rispetto ai modelli addestrati con informazioni complete, i quali mostrano un forte vantaggio in-distribution ma una scarsa capacità di trasferimento cross-prompt.

Significato

Il paper posiziona LatentGym come uno strumento fondamentale per lo studio principato dell'apprendimento esperienziale cross-task negli agenti LLM. Fornendo un laboratorio condiviso e controllabile con latenti di ground-truth, esso permette di:

1. Diagnosi: Isolare specifiche modalità di fallimento (negligenza, rottura, miscalibrazione) che i benchmark aggregati oscurano.
2. Sviluppo di Algoritmi: Testare se l'addestramento su sequenze induca strategie di adattamento generali.
3. Insight di Design: Rivelare che "meno è meglio" nei dati di addestramento (feedback sparso) per una generalizzazione robusta.

Gli autori concludono che LatentGym offre una base controllata per progettare agenti che si adattino in modo più affidabile in contesti sequenziali, personalizzati e interattivi, andando oltre l'attuale limite di trattare i task in isolamento.