Sintesi Tecnica: Segnali Eteroschedastici nella Verifica di LLM con Budget

1. Formulazione del Problema

Il documento affronta il problema dell'allocazione delle risorse con budget nei sistemi basati su Large Language Models (LLM). In scenari quali la verifica, lo scaling del tempo di esecuzione (test-time scaling) e l'esecuzione di strumenti, i sistemi devono decidere quali input elaborare utilizzando meccanismi di feedback costosi (ad esempio, unit test, dimostratori di teoremi) dato un budget computazionale limitato.

Le attuali policy si affidano tipicamente a segnali di incertezza (ad esempio, probabilità dei token, margini dei logit) per classificare gli input. Queste policy operano sotto un'implicita assunzione di comparabilità globale del segnale: che un determinato punteggio di incertezza porti lo stesso valore decisionale (potere predittivo riguardo l'errore) attraverso tutti gli input, indipendentemente dal costo o dalla complessità dell'input stesso.

Gli autori ipotizzano che questa assunzione fallisca nella pratica. Nello specifico, identificano una eterogeneità strutturale (eteroschedasticità) in cui la qualità del segnale di incertezza varia significativamente tra diversi strati di costo. In alcuni regimi ad alto costo o alta complessità, i segnali di incertezza possono diventare quasi casuali, eppure queste regioni spesso contengono un'alta densità di errori. Un ottimizzatore globale che aggrega questi segnali incomparabili può produrre allocazioni strutturalmente inefficienti, anche se il segnale è predittivo in media.

2. Metodologia

Per diagnosticare se i limiti di prestazione derivino da segnali deboli, instabilità dell'ottimizzazione o eterogeneità strutturale, gli autori propongono una gerarchia di interventi controllati utilizzando la verifica di LLM con budget come setting diagnostico.

2.1 Setup del Problema

• Input: Un insieme di $N$ campioni con etichette di errore binarie $y_i$, vettori di segnale proxy $h_i$ e costi di verifica $c_i$.
• Vincolo di Budget: Il costo totale delle verifiche selezionate non deve superare una frazione $\beta$ del costo potenziale totale.
• Metrica: La prestazione è misurata tramite l'Hit Rate (la proporzione di campioni verificati che sono effettivamente errori).
• Segnali: Il sistema utilizza tre proxy di incertezza a livello di token: incertezza media, confidenza del token peggiore e dispersione del margine.

2.2 Gerarchia di Intervento

Gli autori confrontano quattro policy per isolare la fonte della subottimalità:

1. Threshold (Globale Statica): Una baseline che utilizza una funzione di scoring fissa e una soglia di quantile corrente sul rapporto segnale-costo. Questa funge da riferimento globale statico.
2. MP-Adapt (Apprendimento Online Globale): Un apprenditore globale più forte che utilizza un algoritmo mirror-prox con aggiornamenti di gradiente esponenziale. Ottimizza congiuntamente i parametri di scoring e un moltiplicatore di budget duale. Questo testa se un'ottimizzazione globale "più forte" possa superare il problema.
3. MP-Strat (Stratificazione Parziale): Mantiene variabili duali indipendenti per gli strati di costo e utilizza un EMA (Exponential Moving Average) teacher-student per ridurre il rumore di ottimizzazione. Questo testa se l'instabilità dell'ottimizzazione sia il collo di bottiglia primario.
4. CST (Soglia Stratificata per Costo): Un intervento deliberatamente debole. Partiziona i campioni in $K=4$ strati basati sul costo ex-ante e applica soglie di quantile correnti indipendenti a ciascuno strato. Fondamentalmente, utilizza lo stesso scoring fisso della Threshold statica e non esegue alcun apprendimento online (nessun aggiornamento del gradiente).
   • Scopo: Eliminando completamente l'apprendimento, CST isola l'effetto dell'allineamento strutturale (far corrispondere la policy di allocazione al regime di feedback) dall'impegno dell'ottimizzatore.

2.3 Analisi Teorica

Gli autori derivano un limite sulla distorsione di allocazione causata dalla discriminabilità eterogenea. Sotto un modello di posizione gaussiano locale, mostrano che la differenza nel valore di scoperta dell'errore tra una policy stratificata e una globale è limitata dalla dispersione della discriminabilità del segnale tra gli strati ($\delta_k$). Ciò suggerisce che, anche con una conoscenza perfetta della distribuzione dello score, un singolo quantile globale non può correggere l'eteroschedasticità strutturale nella affidabilità del segnale.

3. Risultati Sperimentali

Gli esperimenti sono stati condotti sui dataset MBPP (programmazione) e MATH (matematica) utilizzando Qwen3-8B, LLaMA3-8B e GPT-4o-mini.

3.1 Risultati Principali

• Fallimento dell'Adattamento Globale: MP-Adapt (apprendimento globale forte) frequentemente non è riuscito a superare la Threshold statica e, in alcuni casi, ha performato peggio. Ciò indica che semplicemente aumentare la forza dell'ottimizzatore non ripara la misspecificazione strutturale.
• L'Allineamento Strutturale Vince: L'intervento CST, nonostante la mancanza di capacità di apprendimento, ha ottenuto i guadagni più significativi in contesti eterogenei.
  • Su MBPP, CST ha migliorato l'hit rate di +3.4 a +17.0 punti percentuali rispetto alla Threshold statica attraverso diversi modelli e budget.
  • Ad esempio, su MBPP con LLaMA3-8B al $\beta=20\%$, CST ha ottenuto un guadagno di +15.1pp.
• Guadagni Condizionali: Su MATH, dove l'eterogeneità del segnale era più debole o meno allineata con il costo, i guadagni di CST erano minori o negativi (ad esempio, -7.6pp per Qwen3-MATH). Ciò conferma che la stratificazione è vantaggiosa solo quando la partizione si allinea con i regimi di feedback consequenziali.
• Diagnosi dei Collo di Bottiglia:
  • MP-Strat ha fornito un recupero parziale (+2.8pp), confermando che il rumore di ottimizzazione esiste ma è secondario.
  • Analisi del Segnale: Negli strati ad alto costo (ad esempio, Q4 di MBPP Qwen3), la qualità del segnale ($\rho$) è scesa a livelli quasi casuali (0.157) mentre i tassi di errore rimanevano alti (0.714). Le policy globali sottoselezionavano queste regioni ad alto errore e basso segnale. CST ha corretto questo aspetto aumentando la copertura dell'audit in questi strati, scambiando la precisione con la recall per catturare più errori totali.

3.2 Studi di Ablazione

• Criteri di Partizione: La stratificazione per costo ex-ante (CST) ha migliorato le prestazioni, mentre partizioni casuali o partizioni basate sulla forza del segnale hanno degradato le prestazioni. Ciò valida il fatto che il costo è un proxy valido per l'eterogeneità sottostante.
• Segnale Oracle: Sostituire i segnali proxy con le etichette reali ha prodotto hit rate perfetti, confermando che il framework di ottimizzazione è sufficiente data la presenza di segnali affidabili.

4. Contributi Chiave

1. Identificazione del Limite Strutturale: Il documento identifica il fallimento dell'assunzione di comparabilità globale del segnale come un collo di bottiglia strutturale primario nell'allocazione delle risorse degli LLM, distinto dai segnali deboli o dalla debolezza dell'ottimizzatore.
2. Gerarchia di Intervento Controllata: Lo sviluppo di una gerarchia (Threshold $\to$ MP-Adapt $\to$ MP-Strat $\to$ CST) che isola con successo la forza dell'ottimizzatore, il rumore di ottimizzazione e l'allineamento strutturale. CST è evidenziato come un intervento deliberatamente debole che dimostra come l'allineamento strutturale sia il driver principale dei guadagni.
3. Limite Teorico: Un limite teorico che collega la distorsione dell'allocazione globale alla dispersione della discriminabilità tra gli strati, spiegando perché l'adattamento globale più forte non riesca a risolvere il problema.
4. Protocollo Diagnostico: Un protocollo pratico per i professionisti: prima di aumentare la complessità dell'ottimizzatore, si dovrebbe misurare la qualità del segnale condizionale attraverso gli strati osservabili. Se la qualità del segnale varia, una semplice partizione allineata (come CST) dovrebbe essere testata contro le policy globali.

5. Significato e Rivendicazioni

Il documento sostiene che una struttura di feedback disallineata non può essere sempre riparata da un'ottimizzazione più forte. Il contributo primario è un principio diagnostico: nei sistemi di verifica con budget, l'assunzione che "punteggi uguali implichino un valore decisionale uguale" è spesso strutturalmente invalida a causa di segnali eteroschedastici.

Gli autori sostengono che i modi di fallimento osservati nella verifica con budget non sono dovuti semplicemente a un addestramento insufficiente o a cattivi iperparametri, ma piuttosto a una misspecificazione fondamentale del problema di allocazione. Decoupling (disaccoppiando) la struttura decisionale dal regime di feedback (tramite la stratificazione), è possibile ottenere guadagni di prestazione significativi anche senza meccanismi di apprendimento complessi. Ciò sfida la tendenza prevalente di fare affidamento esclusivamente su ottimizzatori globali più sofisticati per l'allocazione delle risorse negli LLM.

Limitazioni: Gli autori notano che CST dipende da un'eterogeneità sufficiente e allineata al costo, e potrebbe performare peggio quando tale eterogeneità è debole (come visto in alcuni setting MATH). La partizione fissa è uno strumento diagnostico; l'apprendimento di partizioni ottimali è lasciato al lavoro futuro. I risultati sono validati specificamente per la verifica con budget e potrebbero non trasferirsi direttamente a tutte le impostazioni di allocazione delle risorse senza ulteriori studi.