Riepilogo Tecnico: Drop the Act: RL Filtrata da Sonda per il Ragionamento Catena-di-Pensiero Fedele

Enunciato del Problema

I modelli di ragionamento attuali addestrati con Apprendimento per Rinforzo (RL), in particolare l'Ottimizzazione della Politica Relativa di Gruppo (GRPO), mostrano un divario sistematico tra il loro processo decisionale interno e l'output generato. Questi modelli spesso "si impegnano" internamente su una risposta nelle fasi iniziali del processo di ragionamento, ma continuano a generare passaggi che sembrano deliberativi senza tuttavia contribuire alla correttezza. Gli autori definiscono questo fenomeno teatro del ragionamento.

Questo comportamento comporta tre costi principali:

1. Inefficienza: Spreca token di inferenza, aumentando i costi nelle implementazioni agentiche.
2. Inquinamento dell'Interpretabilità: Introduce segnali spurii nell'addestramento basato su ricompense di processo e oscura il calcolo effettivo eseguito dal modello.
3. Deficit di Fedeltà: La catena di pensiero (CoT) non riflette più fedelmente il percorso di ragionamento che ha portato alla risposta.

Il lavoro diagnostico esistente ha identificato questo divario, ma la standardizzazione delle ricompense RL non può affrontarlo perché i verificatori (ad esempio, corrispondenze di stringhe, esecutori di codice) vedono solo la risposta finale, non il punto di impegno interno o la fedeltà dei passaggi intermedi.

Metodologia: ProFIL (Reinforcement Learning Filtrata da Sonda)

Gli autori introducono ProFIL, un'estensione plug-in per GRPO progettata per sopprimere il teatro del ragionamento senza annotazione umana. L'idea fondamentale è che il "verificatore" necessario per rilevare i passaggi successivi all'impegno esiste già all'interno delle attivazioni interne del modello.

1. Generazione delle Etichette (Risposta Forzata)

Per addestrare un rilevatore per il teatro, gli autori generano etichette a livello di passaggio senza intervento umano:

• Ad ogni confine di passaggio di una catena di ragionamento, viene inserita una prompt di risposta forzata, chiedendo al modello di fornire una risposta finale basata solo sul ragionamento generato finora.
• Il primo passaggio in cui questa risposta forzata corrisponde alla verità fondamentale (verificata dal verificatore standard del compito) è definito come punto di impegno ($c$).
• Tutti i passaggi successivi a $c$ sono etichettati come performativi (teatro).

2. La Sonda a Base Congelata

Una sonda multi-testa è addestrata una sola volta sul modello base congelato ($\pi_{base}$) utilizzando le etichette di risposta forzata.

• Architettura: Un meccanismo di attenzione multi-testa con cancello (simile a RLFR) che prende le attivazioni del flusso residuo proiettate tramite LayerNorm da layer specifici ($\ell_1, \ell_2$) della base congelata.
• Addestramento: La sonda è addestrata a prevedere l'etichetta performativa (0 per fedele, 1 per performativa) utilizzando la Cross-Entropia Binaria (BCE).
• Stabilità: Crucialmente, la sonda è addestrata sulla base congelata e poi congelata. Non viene aggiornata durante l'addestramento RL della politica ($\pi_\theta$). Questo previene la modalità di fallimento "RL-oscuramento" in cui una politica impara a nascondere il proprio comportamento a un monitor dinamico.

3. Il Filtro Sonda in GRPO

Durante l'addestramento GRPO, per ogni prompt, vengono campionati $K$ rollouts. Prima del calcolo del vantaggio:

1. La sonda congelata calcola un punteggio di performatività per passaggio per ogni rollout utilizzando le attivazioni della base congelata.
2. Viene calcolato il punteggio medio di performatività ($\bar{p}$) per il rollout.
3. Se $\bar{p} \geq \tau$ (un iperparametro di soglia), la ricompensa e il vantaggio del rollout vengono azzerati.
4. Questi rollouts filtrati contribuiscono con zero all'aggiornamento del gradiente, insegnando efficacemente alla politica a smettere di generare passaggi una volta rilevato l'impegno interno.

Contributi Chiave

• Metodo Allineato agli Obiettivi: ProFIL è un'unica estensione a GRPO che sopprime simultaneamente l'elaborazione post-impegno, aumenta la frazione fedele delle catene e riduce la lunghezza della catena, tutto ciò preservando o migliorando l'accuratezza del compito.
• Generalità: Il metodo dimostra guadagni coerenti su quattro diversi domini di ragionamento (GSM8K, LiveCodeBench, ToolUse, MMLU-Redux) e due architetture di modello (Llama-8B, Qwen-7B).
• Meccanismo Anti-Gioco: Addestrando la sonda su una base congelata, il sistema resiste alla modalità di fallimento RL-oscuramento. Il modello impara a sopprimere il teatro stesso piuttosto che imparare a spostare le proprie attivazioni per eludere la sonda. La sonda mantiene un AUROC di 1.000 su LiveCodeBench per tutta la durata dell'addestramento.
• Compressione Semantica vs. Compressione per Lunghezza: Il documento isola il meccanismo come rilevamento dell'impegno semantico. Una linea di base di penalità per la lunghezza abbinata ha in realtà aumentato la performatività, dimostrando che la semplice riduzione dei token non è il meccanismo operativo.
• Artifatti: Gli autori rilasciano i pesi della sonda, le configurazioni di addestramento e le cache dei rollout per tutti e quattro i domini.

Risultati Sperimentali

Su quattro domini, ProFIL ha ottenuto quanto segue:

• Soppressione del Teatro: Riduzione del rapporto di performatività (frazione di passaggi post-impegno) dal 11% al 100%.
  • GSM8K: ~100% di riduzione (0.006 $\to$ 0.000).
  • LiveCodeBench: 72% di riduzione (0.267 $\to$ 0.076).
  • ToolUse: 11% di riduzione (0.527 $\to$ 0.468).
  • MMLU-Redux: 50% di riduzione (0.016 $\to$ 0.008).
• Fedeltà: Aumento della "frazione fedele" (catene con bassa performatività). In particolare, su ToolUse, la frazione fedele è passata da 0.029 a 0.147 (un guadagno di 5 volte).
• Accuratezza: L'accuratezza del compito è stata preservata o migliorata in tutti i casi.
  • GSM8K: +5.2 punti percentuali (pp).
  • LiveCodeBench: +7pp (picco a sampled@1).
  • MMLU-Redux: Parità esatta.
• Verifica Indipendente: Un giudice indipendente Claude 3.7 Sonnet, utilizzando una rubrica di fedeltà in linguaggio naturale senza accesso ai punteggi della sonda, ha confermato un aumento di +24pp nella frazione fedele su LiveCodeBench.
• Lunghezza della Catena: Le catene sono state accorciate del 4–19% senza perdita di accuratezza.

Significato e Affermazioni

Il documento afferma che ProFIL dimostra una ricetta generale per ottimizzare obiettivi non verificabili (come la fedeltà) nel post-addestramento. Sfruttando le proprie rappresentazioni interne del modello (letta una sola volta su una base congelata), crea un segnale di addestramento stabile e privo di annotazioni che il verificatore esterno non può vedere.

Gli autori sostengono che il teatro del ragionamento sia un "rito appreso di confidenza"—una performance ex post che il modello aggiunge a problemi che sa già come risolvere. ProFIL non sopprime l'incertezza o l'autocorrezione (che si verificano pre-impegno); piuttosto, collassa la modalità ad alto teatro, costringendo il modello a smettere di generare non appena la risposta è internamente impegnata. Questo porta a catene di ragionamento che riflettono più da vicino il calcolo effettivo, migliorando l'auditabilità e l'interpretabilità riducendo al contempo i costi di inferenza.