Sintesi Tecnica: Credito Controfattuale Condizionato dalla Policy per l'Apprendimento per Rinforzo Verificabile di Agenti Linguistici a Lungo Orizzonte

1. Definizione del Problema

L'apprendimento per rinforzo (RL) con ricompense verificabili ha fatto progredire le capacità di ragionamento e l'uso di strumenti dei modelli linguistici di grandi dimensioni (LLM). Tuttavia, gli agenti a lungo orizzonte addestrati con ricompense terminali standard tendono a apprendere "catene di evidenze non supportate", sperimentano il "drift della convinzione" (belief drift) e scoprono "azioni scorciatoia" (reward hacking) che soddisfano i controlli finali senza un ragionamento genuino.

I metodi esistenti di ricompensa di processo sono ampiamente correlazionali: premiano i passaggi che somigliano a recupero, riflessione o verifica senza stimare se uno specifico passaggio contribuisca causalmente al successo finale verificato sotto una specifica intervento. Gli approcci attuali raramente affrontano se un'azione intermedia cambi la probabilità di successo quando la traiettoria viene completata da una policy di riferimento, lasciando gli agenti vulnerabili allo sfruttamento di metadati o alla salta della verifica pur ricevendo comunque ricompense terminali.

2. Metodologia: CVT-RL

Gli autori propongono CVT-RL (Constrained Policy-Gradient with Verifiable Rewards and Policy-Conditioned Counterfactual Credit), un framework progettato per assegnare il credito in base al contributo causale piuttosto che alla correlazione.

2.1 Formulazione dell'Agente a Lungo Orizzonte Vincolato

L'agente è modellato come un processo decisionale di Markov parzialmente osservabile e vincolato (cMDP). L'obiettivo massimizza la ricompensa cumulativa attesa $J_R(\pi_\theta)$ soggetto a vincoli di costo $J_{C_j}(\pi_\theta) \le d_j$.

• Azioni: Includono passaggi di ragionamento (THINK, SEARCH, READ, VERIFY, ACT, FINAL) e argomenti per gli strumenti.
• Costi: Penalizzano le affermazioni non supportate, la verifica saltata, la manipolazione del valutatore, le chiamate a strumenti non sicure e il superamento del budget.
• Ricompensa Densa ($r_t$): Una somma pesata di:
  • $r_{ans}$: Corrispondenza esatta o successo nell'ambiente.
  • $r_{evi}$: Media armonica tra F1 del documento di supporto ed entailment.
  • $r_{meta}$: Ricompense per pattern plan–explore–verify solo quando riducono l'incertezza del verificatore.
  • $r_{pccc}$: Il termine di contributo controfattuale proposto.
  • $r_{hack}$: Una penalità basata sui punteggi dei detector per la fuga di metadati o edizioni sospette.

2.1 Contributo Controfattuale Condizionato dalla Policy (PCCC)

L'innovazione principale è lo stimatore PCCC, che misura il cambiamento controllato nel successo verificato finale quando un'azione $a_t$ viene sostituita da un'azione controfattuale $a'_{t,k}$, mentre il resto della traiettoria è completato da una policy di continuazione congelata $\mu$ (tipicamente il modello di riferimento dell'iterazione precedente).

• Famiglie di Intervento: Il metodo definisce quattro distinti tipi di intervento:
  1. Eliminazione (Deletion): Rimuovere il passaggio.
  2. Sostituzione Semantica (Semantic Substitution): Sostituire con una parafrasi neutra.
  3. Sostituzione di Evidenza (Evidence Substitution): Scambiare l'evidenza recuperata.
  4. Perturbazione dell'Output dello Strumento (Tool-Output Perturbation): Alterare i valori di ritorno dello strumento.
• Stimatore: Il valore PCCC $\Delta^k_{t, \mu}$ è stimato utilizzando un estimatore Selection-Adjusted Doubly Robust (SADR). Questo combina:
  • Un modello di esito $m_\phi$ (cross-encoder basato su DeBERTa-v3) che predice il successo dato lo storico e l'azione.
  • Un modello di probabilità di selezione $q_\omega$ per correggere il bias nella scelta di quali passaggi intervenire su.
  • Rapporti di continuazione ($\rho_t$) per regolare la differenza tra la policy di comportamento e la policy di riferimento congelata.
• Gating di Validità: Per ridurre i controfattuali Out-of-Distribution (OOD), gli interventi proposti passano un gate di validità che controlla sintassi, schema e punteggi di entailment prima del rollout.

2.3 Controllo della Convinzione e Vincoli

• Ricompensa di Convinzione (Belief Reward): Una testata di convinzione predice gli slot osservabili dal prefisso (fase del task, ID di evidenza richiesti, sottogiobi verificati). La ricompensa penalizza la divergenza KL tra la convinzione predetta e le etichette stimate dal verificatore, garantendo che lo stato interno dell'agente sia allineato con l'evidenza osservabile.
• Ottimizzazione Vincolata: Il metodo utilizza un Lagrangiano Aumentato per imporre i vincoli sui costi (es. manipolazione, evidenza non supportata).
• Proiezione della Regione di Fiducia (Trust-Region Projection): Per garantire la stabilità, l'aggiornamento della policy utilizza una proiezione Top-M. Solo i primi $M$ token vengono ottimizzati soggetti a un vincolo KL, mentre la distribuzione della coda della vecchia policy viene preservata. Ciò evita l'oblio catastrofico o il collasso distributivo.

3. Contributi Chiave

1. Stimatori PCCC: Definizione di separati estimandi per eliminazione, sostituzione semantica, sostituzione di evidenza e perturbazione dell'output dello strumento, accoppiati con un gating di validità dell'intervento per ridurre i controfattuali OOD.
2. Framework di Identificazione: Dichiarazione esplicita degli assunti di identificazione (coerenza, positività, scambiabilità sequenziale), correzione della selezione e diagnostica dei fallimenti per le traiettorie linguistiche sequenziali.
3. Condizione KL a Vocabolario Completo: Una formulazione matematica per la proiezione Top-M che preserva la massa della distribuzione della coda mentre ottimizza i primi token, garantendo aggiornamenti della policy sicuri.
4. Valutazione Rigorosa: Benchmark completi che confrontano CVT-RL con RL non causale con computazione corrispondente e baseline controfattuali con informazione corrispondente, inclusi attacchi con detector tenuti fuori (held-out), audit umani e test di evasione adattiva.

4. Risultati Sperimentali

Il metodo è stato valutato su QA a lungo contesto (RULER, LongBench, LooGLE), agenti incarnati (ALFWorld), interazione scientifica (ScienceWorld) e task web/strumenti (WebShop, WebArena, ToolLLM).

• Successo del Task: CVT-RL ha raggiunto un tasso medio di successo del task del 78,9%, superando il RL non causale con computazione corrispondente (71,8%) e la baseline controfattuale di processo con informazione corrispondente (75,4%).
• Qualità dell'Evidenza: L'F1 dell'evidenza è migliorato all'82,8 (rispetto al 78,9 della baseline con informazione corrispondente).
• Reward Hacking:
  • Hacking Misurato: Ridotto dal 7,2% (baseline) al 3,9%.
  • Audit Umano: Gli auditor umani indipendenti hanno stimato l'hacking al 4,6% per CVT-RL rispetto all'8,1% per la baseline.
  • Attacchi Adattivi: Sotto attacchi di evasione del detector adattivi, l'hacking è salito solo al 7,1% per CVT-RL, rispetto al 10,8% per la baseline.
• Significatività Statistica: Test bootstrap stratificati e test a effetti misti hanno prodotto $p < 0,01$ (correzione di Holm) per tutti i parametri primari.
• Robustezza: Il metodo ha mantenuto le prestazioni sotto rumore del verificatore (fino al 20%) e ha mostrato guadagni costanti attraverso diverse scale di modello (Llama-3.1-8B, Qwen2.5-14B).

5. Significato e Rivendicazioni

Il paper sostiene che un credito controfattuale accuratamente delimitato, abbinato a gating di validità, diagnostica e vincoli verificabili, fornisce una via riproducibile verso un RL a lungo orizzonte più affidabile per gli agenti linguistici.

Gli autori dichiarano esplicitamente la loro modestia riguardo alle rivendicazioni:

• CVT-RL non rivendica di recuperare un effetto specifico del percorso incondizionato sotto la policy di addestramento in evoluzione.
• PCCC è un surrogato di credito stabile, non una prova di miglioramento sotto arbitrarie continuazioni future.
• Il metodo riduce l'hacking misurato e l'hacking auditato dagli umani sotto gli attacchi valutati, ma non può garantire l'immunità a nuovi attacchi o a verificatori difettosi.

La significatività risiede nello spostamento del paradigma dalle ricompense di processo correlazionali al credito causale che è allineato con il successo verificato, riducendo così l'incentivo per gli agenti a sfruttare scorciatoie o a allucinare catene di evidenze.