Riepilogo Tecnico: Auto-Consistenza tramite Affinamento Marginale

Enunciato del Problema

I modelli linguistici moderni risolvono sempre più compiti complessi generando tracce di ragionamento intermedie (ad esempio, derivazioni, schizzi di codice, bozze di dimostrazione) prima di emettere una risposta finale. Sebbene i metodi di inferenza standard come il prompting Chain-of-Thought eliciti questo comportamento, spesso si basano sul campionamento di una singola traiettoria o sull'uso del voto a maggioranza post-hoc (auto-consistenza) per selezionare la risposta finale.

Gli autori identificano una limitazione fondamentale nei metodi esistenti di affinamento al momento dell'inferenza, in particolare il power sampling. Il power sampling affina la distribuzione sulle sequenze generate complete (la distribuzione congiunta della traccia di ragionamento $z$ e della risposta $a$). Il paper sostiene che questo sia il livello di astrazione errato per il ragionamento:

1. Intreccio delle Variabili Latenti: Una traccia di ragionamento è un calcolo latente. Molte tracce distinte possono portare alla stessa risposta corretta.
2. Competizione vs. Supporto: L'affinamento a livello di sequenza tratta le derivazioni o le implementazioni alternative della stessa soluzione come competitori, concentrando la probabilità su trascrizioni complete specifiche piuttosto che sulla risposta stessa.
3. Fragilità del Voto: L'auto-consistenza standard (voto a maggioranza) richiede una corrispondenza esatta delle stringhe. In domini strutturati come il codice o le dimostrazioni, la stessa soluzione sottostante può manifestarsi in molte forme superficiali (nomi di variabili diversi, flussi di controllo o ordini dei lemmi diversi), causando al voto di frammentare il supporto tra le varie forme valide.

Il problema centrale è come sfruttare molteplici tracce di ragionamento per amplificare la probabilità della risposta corretta senza richiedere un accordo esatto sulle stringhe o sostenere il costo computazionale della ricerca su traiettorie complete.

Metodologia: Affinamento Marginale

Gli autori propongono l'Affinamento Marginale, un obiettivo al momento dell'inferenza che sposta il bersaglio dalla distribuzione congiunta $\pi(z, a | x)$ alla marginalizzata affinata della risposta $p_{\alpha}^{marg}(a | x)$.

Quadro Teorico

1. Decomposizione: Il completamento del modello $y$ viene analizzato in una traccia di ragionamento $z$ e in un segmento finale di risposta $a$. Il modello induce una naturale marginalizzata della risposta $m(a | x) = \sum_z \pi(z, a | x)$.
2. Distribuzione Bersaglio: Invece di affinare la distribuzione congiunta, il metodo definisce una distribuzione di potenza sulla marginalizzata della risposta:
   $$p_{\alpha}^{marg}(a | x) = \frac{m(a | x)^\alpha}{\sum_{a'} m(a' | x)^\alpha}$$
   dove $\alpha > 1$ è la forza di affinamento. Quando $\alpha \to \infty$, questa converge alla risposta con il massimo supporto marginale (il bersaglio ideale dell'auto-consistenza).
3. Rappresentazione a Potenza Interi: Per una forza di affinamento intera $K$, gli autori derivano una decomposizione esatta utilizzando $K$ tracce di ragionamento indipendenti. La distribuzione bersaglio può essere espressa come un'attesa su $K$ tracce campionate indipendentemente $z_{1:K}$:
   $$p_{K}^{marg}(a | x) \propto \mathbb{E}_{z_{1:K}} \left[ \prod_{i=1}^K \pi(a | x, z_i) \right]$$
   Questa formulazione collega l'auto-consistenza al campionamento da una distribuzione bersaglio a livello di risposta.

Algoritmo: Decodifica Autoregressiva Parallela

Il campionamento diretto dalla distribuzione derivata è intrattabile perché richiede la somma su tutte le possibili continuazioni future (il "normalizzatore di continuazione"). Gli autori propongono un algoritmo leggero di decodifica autoregressiva parallela (Algoritmo 1) che approssima questo bersaglio:

1. Generazione delle Tracce: Generare $M = K \times S$ tracce di ragionamento, raggruppate in $S$ insiemi di $K$ tracce ciascuno.
2. Approssimazione a Livello di Token: Invece di calcolare la probabilità dell'intera sequenza, l'algoritmo decodifica la risposta token per token. Ad ogni passo $t$, calcola una distribuzione ponderata sul vocabolario:
   $$q_t^{(S)}(v | x, a_{<t}) \propto \sum_{s=1}^S w_s(a_{<t}) \exp\left( \sum_{i=1}^K \log \pi(v | x, z_i^{(s)}, a_{<t}) \right)$$
   • Pesi del Prefisso ($w_s$): Questi pesi tracciano la probabilità del prefisso della risposta già generato sotto ciascun gruppo di $K$ tracce. Vengono aggiornati online man mano che i token vengono campionati.
   • Approssimazione Locale: L'algoritmo ignora il "normalizzatore di continuazione" intrattabile (la probabilità dei token futuri), trattandolo come un fattore comune che si annulla durante la normalizzazione locale.
3. Campionamento: L'algoritmo campiona il token successivo da questa distribuzione, aggiorna i pesi del prefisso e ripete fino alla terminazione della risposta.

Questo approccio permette al modello di generare una singola risposta che è "supportata" da molteplici percorsi di ragionamento, eseguendo efficacemente un'auto-consistenza morbida durante la generazione piuttosto che come un passo di voto post-hoc.

Contributi Chiave

1. Formulazione dell'Affinamento Marginale: Il paper definisce un obiettivo al momento dell'inferenza che tratta le tracce di ragionamento come variabili latenti e affina la distribuzione della risposta indotta, piuttosto che la distribuzione congiunta di tracce e risposte.
2. Decomposizione Multi-Traccia: Gli autori dimostrano che per forze di affinamento intere, la marginalizzata affinata della risposta ammette una decomposizione in un'attesa su $K$ tracce di ragionamento indipendenti, collegando teoricamente l'auto-consistenza al campionamento a livello di risposta.
3. Algoritmo di Decodifica Efficiente: Propongono un algoritmo autoregressivo parallelo che campiona approssimativamente da questa distribuzione affinata. È puramente autoregressivo, non richiede canonicalizzatori esterni ed evita il costo quadratico di generazione dei token del power sampling a livello di sequenza.
4. Validazione Empirica: Il metodo è valutato su benchmark di ragionamento matematico (MATH-500) e generazione di codice (HumanEval+, LiveCodeBench).

Risultati

Gli esperimenti utilizzano modelli della famiglia Qwen (1.7B, 4B, 8B) su tre benchmark.

• Prestazioni vs. Power Sampling: L'affinamento marginale supera significativamente il power sampling standard sui benchmark di generazione di codice (HumanEval+ e LiveCodeBench). Su MATH-500, si comporta in modo comparabile o leggermente inferiore al voto a maggioranza (che è una baseline forte per la matematica a causa degli spazi di risposta piccoli e della verifica simbolica).
• Efficienza: Il metodo è ordini di grandezza più veloce del power sampling per generazioni lunghe. Per $L=8192$, l'affinamento marginale è stato 38 volte più veloce del power sampling sul benchmark HumanEval+ raggiungendo al contempo una maggiore accuratezza. Il power sampling richiede una generazione di token $O(L^2)$ dovuta al ricampionamento, mentre l'affinamento marginale richiede $O(L)$.
• Iperparametri:
  • Forza di Affinamento ($K$): Aumentare $K$ migliora generalmente le prestazioni concentrando la probabilità sulle risposte supportate da molteplici tracce, sebbene aumenti il calcolo.
  • Conteggio dei Campioni ($S$): Aumentare $S$ (il numero di gruppi di tracce) migliora la qualità dell'approssimazione a livello di token, producendo guadagni costanti, in particolare con budget di generazione più bassi.
  • Allocazione del Budget: Sotto un budget computazionale totale fisso ($K \times S = \text{costante}$), diverse allocazioni tra forza di affinamento e conteggio dei campioni producono risultati comparabili, suggerendo un compromesso in cui un affinamento aggressivo e una migliore qualità di approssimazione si compensano ampiamente a vicenda.

Significato e Affermazioni

Il paper afferma che l'auto-consistenza dovrebbe essere intesa come un principio di inferenza a livello di risposta piuttosto che come un euristica di voto post-hoc.

• Cambiamento di Focalizzazione: Colpendo la marginalizzata della risposta, il metodo aggrega correttamente il supporto attraverso percorsi di ragionamento diversi (ad esempio, diverse implementazioni di codice o strategie di dimostrazione) che i metodi a livello di sequenza trattano come output distinti e competitivi.
• Scalabilità: L'algoritmo proposto abilita i benefici dell'auto-consistenza in domini con grandi spazi di output strutturati (come il codice) dove la corrispondenza esatta delle stringhe fallisce, senza il costo computazionale proibitivo della ricerca completa sulla traiettoria o del ricampionamento.
• Praticità: Il metodo è una versione "morbida" dell'auto-consistenza che può essere implementata con modelli autoregressivi standard e decodifica parallela, rendendolo un'alternativa pratica al campionamento a temperatura e al power sampling per compiti di ragionamento.

Gli autori concludono che il calcolo al momento del test è speso più efficacemente nel raffinare la credenza sulla risposta indotta dal ragionamento latente piuttosto che nella selezione dell'unica trascrizione completa più probabile.