Riepilogo Tecnico: Quando Pensare, Quando Parlare: Apprendimento di Politiche di Divulgazione per il Ragionamento degli LLM

Formulazione del Problema

I moderni Large Language Models (LLM) autoregressivi a singolo flusso affrontano una limitazione strutturale: l'accoppiamento degli aggiornamenti dello stato interno con la divulgazione pubblica. Nelle interfacce standard, ogni token generato aggiorna simultaneamente lo stato nascosto del modello e diventa un impegno pubblico irreversibile. Ciò crea una "tassa sul silenzio" in cui gli utenti devono attendere il completamento dell'intero processo di ragionamento prima di vedere contenuti rilevanti per il compito, o, al contrario, rischiano "impegni prematuri" se il modello trasmette dati anticipatamente, potenzialmente pregiudicando le generazioni successive con affermazioni non supportate.

Sebbene il prompting Chain-of-Thought (CoT) migliori l'accuratezza stimolando il ragionamento intermedio, esacerba questa tensione manifestando la deliberazione come lunghi preamboli visibili all'utente. Le soluzioni esistenti si affidano o a modelli fissi/euristiche per la divulgazione o incentivano un output più precoce in modi che incoraggiano riempitivi a bassa informazione. Il problema centrale affrontato è come rendere il tempismo della divulgazione una variabile decisionale apprendibile all'interno della decodifica autoregressiva standard, garantendo che il testo visibile precoce sia strettamente supportato dal ragionamento prodotto fino a quel punto.

Metodologia: Ragionamento Intercalato Side-by-Side (SxS)

Gli autori propongono il Ragionamento Intercalato Side-by-Side (SxS), un framework che tratta la visibilità come un attributo controllabile all'interno di un singolo flusso di token. Il modello sceglie tra due azioni ad ogni passo:

1. Pensa (R): Deliberazione privata (non divulgata).
2. Parla (A): Divulgazione rivolta all'utente.

Entrambe le azioni avvengono all'interno dello stesso contesto autoregressivo; i token "Parla" formano un prefisso della risposta finale che il modello sceglie di rivelare prima, mentre i token "Pensa" consentono un affinamento privato continuo senza contraddire gli impegni precedenti.

Pipeline di Addestramento

L'approccio impiega un processo di addestramento in due fasi per apprendere il ritmo senza incentivare riempitivi:

1. Fine-Tuning Supervisionato Allineato all'Inferenza (SFT):

   • Costruzione dei Dati: Le triple standard $(x, r, a)$ (input, ragionamento, risposta) sono trasformate in traiettorie intercalate.
   • Allineamento: Un controllore di inferenza (implementato tramite un grande LLM) determina il prefisso di risposta più ampio supportato da un dato prefisso di ragionamento.
   • Intercalazione: Il modello viene addestrato a emettere blocchi di risposta solo quando il confine di inferenza avanza. Ciò garantisce che una divulgazione "più precoce" sia sinonimo di divulgazione "supportata".
   • Ragionamento Finale: Se la risposta completa è supportata prima della fine della sequenza di ragionamento, il ragionamento rimanente viene aggiunto come blocco finale per preservare i comportamenti post-soluzione (ad esempio, auto-verifiche).

2. Apprendimento per Rinforzo (RL):

   • Obiettivo: L'SFT insegna la semantica delle azioni duali, ma il formato intercalato induce uno spostamento di distribuzione che può degradare l'accuratezza del compito finale. Il RL viene utilizzato per recuperare le prestazioni di ragionamento sotto il nuovo formato.
   • Algoritmo: Viene utilizzata l'Ottimizzazione della Politica Relativa di Gruppo (GRPO) con una ricompensa basata solo sull'esito (correttezza della risposta finale).
   • Controllo della Granularità: Gli autori esplorano un meccanismo facoltativo di modellazione della ricompensa utilizzando un programma quadratico per incoraggiare blocchi di ragionamento più brevi (maggiore granularità) preservando rigorosamente il segnale di correttezza (separando i roll-out corretti da quelli errati).

Contributi Chiave

1. Divulgazione come Controllo: Il documento formalizza il tempismo della divulgazione come un problema di decisione sequenziale (pensa vs. parla) all'interno della decodifica autoregressiva standard, trasformando la visibilità in un attributo controllabile senza richiedere modifiche architetturali o modelli separati.
2. Divulgazione Precoce Giustificata: Costruendo traiettorie intercalate allineate all'inferenza, il metodo garantisce che le divulgazioni precoci siano sicure da mostrare, evitando impegni prematuri e riempitivi.
3. Apprendimento dei Trade-off di Pareto: La combinazione di SFT e RL dimostra trade-off migliorati tra accuratezza e latenza su diverse architetture di modelli (MoE vs. dense), scale e domini.

Risultati Sperimentali

Gli autori hanno valutato SxS su due architetture Qwen3 (MoE Qwen3-30B-A3B e dense Qwen3-4B) attraverso benchmark in dominio (AIME25) e fuori dominio (GPQA-Diamond, LiveCodeBench, KOR-Bench).

• Rottura della Tassa sul Silenzio: SxS riduce significativamente l'Attesa Media tra le Risposte (AIRW), un proxy a livello di token per il tempo di attesa dell'utente. Ad esempio, su Qwen3-4B, l'AIRW è sceso da ~21.316 token (CoT Standard) a ~8.519 token (SxS), indicando divulgazioni parziali più frequenti.
• Recupero dell'Accuratezza: L'SFT inizialmente causa un calo dell'accuratezza (ad esempio, Qwen3-30B-A3B è sceso dal 76,9% al 50,8% post-SFT) a causa dello spostamento di distribuzione. Tuttavia, la fase successiva di RL recupera con successo l'accuratezza (ripristinandola al 79,2%) mantenendo la struttura intercalata.
• Robustezza Fuori Dominio: SxS mitiga l'oblio catastrofico sui compiti fuori dominio. Su GPQA-Diamond, il CoT Standard dopo un RL focalizzato sulla matematica ha visto un calo significativo (ad esempio, Qwen3-4B dal 55,9% al 19,0%), mentre SxS ha mantenuto un'accuratezza sostanzialmente più alta (49,3%).
• Stabilità della Granularità: Il comportamento intercalato rimane robusto anche sotto RL basato solo sull'esito. Sebbene il RL tenda a ridurre leggermente la frequenza dell'intercalazione, non collassa in un singolo blocco di ragionamento monolitico. La granularità può essere attivamente controllata tramite modellazione della ricompensa se desiderato.

Significato e Affermazioni

Il documento posiziona il ritmo di risposta come una dimensione di controllo pratica e poco esplorata per i modelli di ragionamento. Gli autori affermano che SxS migliora il trade-off di Pareto accuratezza-contenuto-latenza senza modifiche architetturali. Rendendo la divulgazione una politica di impegno appresa legata a una condizione di supporto concreta (inferenza), il metodo permette ai modelli di rivelare progressi parziali più precocemente mantenendo l'affidabilità.

I risultati suggeriscono che il trade-off percepito tra deliberazione e reattività è in gran parte plasmato dalla convenzione di divulgazione a singolo flusso. SxS dimostra che il ritmo può essere appreso come una politica comportamentale stabile piuttosto che imposto da euristiche, abilitando un'"interazione in qualsiasi momento" in cui il modello divulga progressi parziali giustificati precocemente e continua la deliberazione in privato. Gli autori notano che, sebbene i guadagni assoluti di accuratezza siano talvolta modesti, la riduzione costante del ritardo tra aggiornamenti visibili significativi rappresenta un miglioramento significativo nella reattività percepita dall'utente.