Sintesi Tecnica: CAST (Credit Assignment from Solver Teachers)

Definizione del Problema

L'addestramento di Large Language Models (LLM) per agire come agenti generalisti in ambienti a lungo orizzonte, come i giochi classici (Sokoban, Minesweeper, Rush Hour), affronta un collo di bottiglia critico: segnali di ricompensa sparsi. Sebbene il Reinforcement Learning con Verifiable Rewards (RLVR) abbia avuto successo in compiti a turno singolo, esso si basa su ricompense di esito finale (vittoria/sconfitta) che non forniscono informazioni su quali decisioni intermedie specifiche abbiano portato al successo o al fallimento. Ciò crea un problema fondamentale di assegnazione del credito (credit-assignment), in cui ogni token in una traiettoria riceve lo stesso feedback grossolano, ostacolando la capacità del modello di apprendere la pianificazione a lungo orizzonte, l'esplorazione orientata all'obiettivo e il recupero dagli errori. I tentativi esistenti di densificare questi segnali tramite ricerca costosa, modelli di ricompensa di processo appresi o confronti tra traiettorie spesso soffrono di compromessi tra costo computazionale, qualità della supervisione e affidabilità del segnale.

Metodologia: CAST

Gli autori propongono CAST (Credit Assignment from Solver Teachers), un framework che sfrutta solver di gioco specifici del dominio per fornire una supervisione fine-grained a livello di turno per gli agenti LLM.

Meccanismo Core

1. Il Solver come Insegnante a Livello di Turno: Invece di usare un solver solo per generare traiettorie esperte (il che limita l'apprendimento agli stati visitati dall'esperto), CAST utilizza il solver per valutare le azioni on-policy dell'LLM in tempo reale.
2. Costruzione del Vantaggio del Solver (Solver Advantage):
   • Il solver calcola un valore di cost-to-go, $N(s)$, che rappresenta il numero minimo di passi necessari per vincere dallo stato $s$.
   • Per un'azione $a_t$ intrapresa dall'LLM che transita da $s_t$ a $s_{t+1}$, il metodo calcola la variazione del cost-to-go.
   • Un vantaggio del solver traslato è definito come:
     $$\tilde{A}^{\pi_{Solver}}(s_t, a_t) = N(s_t) - \mathbb{E}[N(s_{t+1})]$$
   • Questo valore è positivo se l'azione riduce la distanza verso l'obiettivo (progresso), zero se neutra, e negativo se aumenta la distanza o conduce a un vicolo cieco.
3. Modellazione del Segnale (Signal Shaping): Per prevenire l'instabilità dell'addestramento causata da valori a coda pesante (ad esempio, grandi penalità per i vicoli ciechi) e dalle differenze di scala tra i giochi, CAST applica due trasformazioni:
   • Compressione Asinh: $g(x) = \text{asinh}(x)$, che preserva linearmente i valori piccoli e comprime i valori estremi in modo logaritmico.
   • Normalizzazione RMS a livello di Batch: Riscala il segnale tramite la sua magnitudo root-mean-square all'interno di un batch per garantire scale coerenti, senza sottrarre la media (per preservare il significato semantico di zero come "nessun progresso").
4. Integrazione con RLVR: Il vantaggio del solver modellato viene aggiunto al vantaggio di esito standard della traiettoria (ad esempio, da GRPO) per formare un segnale di vantaggio combinato:
   $$\hat{A}_{i,t} = \hat{A}^{outcome}_i + \alpha \cdot h(\tilde{A}^{\pi_{Solver}}_{i,t})$$
   Questo segnale combinato viene utilizzato nell'obiettivo surrogato clippato per aggiornare la policy.

Intuizione Teorica: Distillazione On-Policy Logit-Free

Il documento stabilisce un'equivalenza teorica tra la massimizzazione del vantaggio del solver e la distillazione on-policy (OPD) da un insegnante soft-ottimale.

• Sotto l'ipotesi che un forte solver agisca come una policy soft-ottimale dove le probabilità delle azioni sono proporzionali a $\exp(Q/\tau)$, il vantaggio del solver è matematicamente proporzionale alla log-probabilità dell'azione sotto la policy del solver.
• Contributo Chiave: Ciò implica che il vantaggio scalare del solver codifica intrinsecamente la distribuzione di preferenza dell'insegnante. Di conseguenza, CAST realizza la distillazione senza richiedere i logit del docente (la distribuzione completa delle azioni), affidandosi solo a valori scalari. Questo permette all'LLM studente di apprendere dalla funzione di valore del solver in modo efficiente.

Contributi Chiave

1. Credito Derivato dal Solver: L'introduzione di un metodo per convertire le variazioni del valore di stato dei solver di gioco in vantaggi fine-grained a livello di turno per l'addestramento degli LLM.
2. Distillazione Logit-Free: Una prova teorica che la massimizzazione dei vantaggi del solver è equivalente alla distillazione on-policy senza logit, consentendo un addestramento efficiente utilizzando solo valori scalari anziché intere distribuzioni di azione.
3. Signal Shaping Stabile: L'uso della trasformazione asinh e della normalizzazione RMS a livello di batch per gestire valori estremi e variazioni di scala tra i domini, garantendo una stabile integrazione in RLVR.
4. Praticità: Dimostrazione che i solver esatti aggiungono un overhead trascurabile e che le reti di valore apprese (ad esempio, DQN) possono fungere da efficaci approssimazioni quando i solver esatti non sono disponibili.

Risultati Sperimentali

Il metodo è stato valutato su Sokoban, Minesweeper e Rush Hour, con trasferimento zero-shot a ALFWorld e WebShop.

• Performance In-Domain: CAST ha superato tutti i baseline addestrati (GRPO, GSPO, DAPO, GiGPO) e i metodi di prompting senza addestramento (inclusi forti modelli closed-source come Claude-Opus-4.6) in tutti e tre i giochi sia nelle impostazioni in-domain che in quelle di difficoltà non vista.
  • In media, CAST ha raggiunto un tasso di successo del 62,1% (Avg@4) sui compiti in-domain e del 28,4% sulle difficoltà non viste, superando significativamente il backbone DAPO (44,7% ID, 18,7% Unseen).
• Efficienza del Campionamento: CAST ha raggiunto la performance di picco di validazione di DAPO in 1,7× - 2,0× meno step di addestramento attraverso i tre giochi.
• Generalizzazione Zero-Shot: Senza ulteriore fine-tuning, gli agenti CAST si sono trasferiti a ALFWorld e WebShop, ottenendo la più alta performance media zero-shot (30,3% complessivo) tra tutti i metodi, superando il secondo miglior baseline di 5,6 punti.
• Studi di Ablazione:
  • Il peso del vantaggio del solver ($\alpha$) è critico; $\alpha=0,1$ ha fornito il miglior equilibrio tra guida di processo e obiettivi di esito.
  • Sia la compressione asinh che la normalizzazione RMS erano essenziali; rimuoverle degradava le prestazioni, con la rimozione di asinh che causava il calo più significativo a causa dell'instabilità del gradiente dovuta ai valori estremi.
• Solver Appresi: Sostituire il solver esatto con una rete di valore DQN appresa ha mantenuto la maggior parte dei benefici di performance, dimostrando l'applicabilità del metodo oltre i giochi con solver esatti.

Significato e Rivendicazioni

Il documento afferma che CAST affronta la sfida fondamentale dell'assegnazione del credito nel RLVR a lungo orizzonte fornendo un segnale fine-grained e scalabile derivato dai solver di dominio. Provando l'equivalenza con la distillazione on-policy senza logit, il metodo offre una via pratica per allineare gli LLM con le funzioni di valore degli esperti senza l'onere computazionale di generare intere distribuzioni di azione. I risultati suggeriscono che una valutazione dello stato affidabile — sia tramite solver esatti che tramite funzioni di valore apprese — fornisce una via robusta dai risultati sparsi a un feedback denso e azionabile, consentendo agli LLM di padroneggiare compiti decisionali complessi a più fasi in modo più efficiente rispetto agli approcci basati solo sull'esito.