Riepilogo Tecnico: Stima della Confidenza Zero-Shot per Piccoli LLM

Enunciato del Problema

Il dispiegamento affidabile di modelli linguistici di piccole dimensioni (SLM, 7–8B parametri) per il routing locale-nuvola dipende da una stima accurata della confidenza. L'obiettivo è instradare le query semplici a un modello locale economico e scalare quelle difficili a un modello cloud costoso. L'approccio dominante prevede l'addestramento di un classificatore supervisionato (ad es. RouteLLM) su dati etichettati per prevedere il successo del modello basandosi sugli embedding delle query. Tuttavia, questo approccio soffre di fragilità: gli stimatori supervisionati apprendono proprietà della specifica distribuzione delle query (regioni di embedding corrispondenti a domande "semplici") piuttosto che la capacità interna del modello. Di conseguenza, questi stimatori non riescono a trasferirsi quando le distribuzioni delle query cambiano, vengono introdotti nuovi domini o in scenari di avvio a freddo in cui non esistono dati etichettati.

Metodologia

Il documento valuta i segnali di confidenza zero-shot rispetto a baseline supervisionate su tre famiglie di modelli da 7–8B (Qwen-2.5-7B, Llama-3.1-8B-Instruct, Mistral-7B-Instruct) e due dataset (MMLU-Pro e TriviaQA).

Segnali Valutati

1. Segnali Zero-Shot (Nessun dato di addestramento):

   • Log-probabilità (logprob): La media per-token della log-probabilità della risposta generata, mappata su [0, 1]. Questo misura la sorpresa a livello di token del modello.
   • Auto-valutazione (GSA): Una sonda a singolo token che chiede "Sei sicuro?", dove il punteggio è la probabilità normalizzata del token "SÌ".
   • Auto-valutazione condizionata al recupero (GSA v3): Un segnale pre-generazione innovativo che inietta conoscenza recuperata solo quando i punteggi di similarità superano una soglia ($\tau=0.70$). Se non vengono trovati riscontri forti, il prompt rimane byte-identico al prompt nudo per impedire che il modello venga indirizzato verso "NO" a causa dell'assenza di contesto.
   • Auto-consistenza (SC): Similarità di Jaccard tra due generazioni indipendenti.
   • Similarità della conoscenza (KS): Similarità coseno tra la query e le voci della base di conoscenza recuperata.

2. Baseline Supervisionate:

   • RouteLLM-nm: Regressione logistica addestrata sugli embedding delle query per prevedere la sufficienza locale.
   • RouteLLM-pks: Regressione logistica addestrata sugli embedding delle query concatenati con la similarità della conoscenza.
   • L'addestramento è stato eseguito su 1.000 esempi etichettati per modello.

Configurazione Sperimentale

• Dataset: MMLU-Pro (MCQ a 10 opzioni, ~950 query/modello) e TriviaQA (a risposta aperta, 500 query/modello).
• Valutazione: Area sotto la curva caratteristica operativa del ricevitore (AUROC) con intervalli di confidenza bootstrap su 1.000 campioni.
• Giudice: Claude Opus 4.5 utilizzato per l'etichettatura, con tassi di fallback monitorati.

Risultati Chiave

1. Prestazioni In-Distribution

Su MMLU-Pro, la log-probabilità è emersa come il singolo segnale zero-shot migliore, raggiungendo AUROC di 0,714 (Qwen), 0,650 (Llama) e 0,678 (Mistral). Ha eguagliato o superato le baseline supervisionate (RouteLLM-nm/pks), che variavano da 0,644 a 0,676. È notevole il fatto che una baseline supervisionata addestrata su 1.000 esempi non abbia mai superato in modo coerente il segnale zero-shot della log-probabilità.

2. Trasferimento Out-of-Distribution (Cross-Dataset)

La scoperta più significativa è la divergenza nella trasferibilità:

• Collasso delle Baseline Supervisionate: Quando i modelli addestrati su MMLU-Pro sono stati testati su TriviaQA, le prestazioni di RouteLLM sono scese a livelli casuali (AUROC 0,512–0,564).
• Miglioramento dei Segnali Zero-Shot: Le prestazioni della log-probabilità sono aumentate su TriviaQA, raggiungendo AUROC di 0,828 (Qwen), 0,800 (Llama) e 0,717 (Mistral).
• Spiegazione: I segnali supervisionati apprendono proprietà lato query (regioni di embedding) specifiche della distribuzione di addestramento. I segnali zero-shot misurano proprietà lato generazione (sorpresa a livello di token), che sono intrinseche al modello e indipendenti dalla distribuzione di input.

3. Curve di Apprendimento e Latenza

• Curva di Apprendimento: Il routing supervisionato è instabile a piccoli campioni (N=25) e converge intorno a N=250–500, ma anche a N=1.000 non supera la baseline zero-shot.
• Latenza: La log-probabilità richiede una generazione completa (1,5–4,8s). GSA v3 agisce come filtro pre-generazione con latenza significativamente inferiore (0,5–0,8s), offrendo un'accelerazione di 3–10 volte rispetto alla log-probabilità mentre migliora l'auto-valutazione nuda fino a +0,069 AUROC.

4. Fusione dei Segnali

La fusione ingenua (media semplice) di più segnali ha generalmente degradato le prestazioni, trascinando segnali forti (log-probabilità) verso quelli più deboli (ad es. Similarità della Conoscenza, che era costantemente invertita).

Significato e Affermazioni

Il documento afferma che la log-probabilità media per token è un'alternativa robusta e a costo zero al routing supervisionato per compiti di QA fattuale. Il suo significato principale risiede nel dimostrare che:

1. I segnali lato generazione si trasferiscono; i segnali lato query no: La distinzione meccanica tra misurare il processo di generazione del modello rispetto alla distribuzione delle query spiega perché il routing supervisionato fallisce sotto lo spostamento della distribuzione.
2. La supervisione è spesso inutile: Per modelli da 7–8B su compiti fattuali, l'addestramento di un classificatore su 1.000 esempi etichettati non offre alcun vantaggio rispetto a un semplice controllo zero-shot della log-probabilità e fallisce completamente quando il dominio cambia.
3. Auto-valutazione condizionata al recupero: Questo segnale pre-generazione innovativo offre un'alternativa a bassa latenza che fonda selettivamente i giudizi di confidenza senza introdurre effetti di priming negativo.

Limitazioni

Gli autori notano esplicitamente che l'ambito è limitato a:

• Due dataset di QA fattuale (MMLU-Pro, TriviaQA); ragionamento, creatività e compiti multi-turno non sono stati testati.
• Tre modelli di scala simile (7–8B); l'ipotesi che la log-probabilità migliori con la scala non è stata testata.
• Basi di conoscenza statiche; ambienti di produzione con KB in crescita non sono stati simulati.
• Rumore nelle etichette (~13% di disaccordo tra giudici), sebbene i confronti differenziali rimangano robusti.

Il documento conclude che per i professionisti che implementano il routing locale-nuvola su QA fattuale, la log-probabilità dovrebbe essere il punto di partenza predefinito, con GSA v3 come pre-filtro a bassa latenza, riservando l'addestramento supervisionato solo a scenari con distribuzioni stabili e note dove il routing pre-generazione è strettamente richiesto.