Second Guess: Detecting Uncertainty Through Abstention and Answer Stability in Small Language Models

Sintesi Tecnica: Second Guess: Rilevare l'Incertezza attraverso l'Astensione e la Stabilità delle Risposte nei Modelli Linguistici Piccoli

Enunciato del Problema
I Modelli Linguistici di grandi dimensioni (LLM) generano frequentemente risposte sicure ma errate invece di astenersi quando sono incerti. Questo problema è particolarmente acuto per i Modelli Linguistici Piccoli (SLM), definiti qui come modelli generativi basati su transformer con meno di 10 miliardi di parametri. Gli SLM sono sempre più distribuiti in ambienti edge e mobili, dove i vincoli computazionali e il funzionamento autonomo (spesso senza supervisione umana immediata) rendono necessaria un'affidabile rilevazione dell'incertezza. I metodi esistenti per abilitare l'astensione presentano limitazioni significative: gli approcci basati sull'addestramento richiedono l'accesso ai pesi del modello e un nuovo addestramento; i metodi basati sul prompt che si affidano all'autoriferimento della fiducia spesso falliscono poiché i modelli non valutano accuratamente se stessi; e i metodi basati sul consenso tramite campionamento comportano un sovraccarico computazionale proibitivo, inadatto agli SLM con risorse limitate.

Metodologia: Second Guess
Il paper propone "Second Guess", una tecnica di prompting leggera e priva di parametri progettata per la risposta a domande a scelta multipla (MCQA) che non richiede l'accesso agli stati interni o ai parametri del modello. Il metodo si basa sull'osservazione empirica che i modelli con conoscenze stabili forniscono risposte coerenti indipendentemente dalle opzioni disponibili, mentre i modelli incerti mostrano un comportamento instabile quando viene introdotta un'opzione "Non lo so".

La tecnica prevede due passaggi in avanti per domanda:

1. Prompt Originale: Il modello viene sollecitato con il set standard di quattro opzioni di risposta ($C = \{c_1, c_2, c_3, c_4\}$), producendo la risposta $R_1$.
2. Prompt Aumentato: Un'opzione "Non lo so" viene inserita in una posizione casuale nel set di opzioni ($C' = \{c_1, c_2, c_3, c_4, \text{"Non lo so"}\}$), e il modello viene sollecitato nuovamente per produrre la risposta $R_2$.

L'output finale $R$ è determinato confrontando le due risposte:

• Se $R_1 = R_2$, la risposta originale viene mantenuta.
• Se $R_1 \neq R_2$ (indipendentemente da qual è la nuova risposta), l'output è classificato come astensione ("Non lo so").

Questo approccio tratta efficacemente le discrepanze nelle risposte tra i due prompt come un segnale di incertezza, richiedendo solo due query per domanda.

Configurazione Sperimentale
Gli autori hanno valutato Second Guess su quattro SLM istruiti (dai 2B agli 8B di parametri: Mistral-7B, Llama-3.1-8B, IBM Granite-3.3-2B e Qwen3-4B) attraverso quattro benchmark MCQA: CommonsenseQA, QASC, MMLU-Pro e SuperGPQA. La valutazione ha incluso sia modelli base sia modelli adattati tramite Low-Rank Adaptation (LoRA).

Il metodo è stato confrontato con diverse baseline:

• Prompt Originale: MCQA standard senza aumentazioni.
• Prompt Aumentato: Un approccio a passaggio singolo in cui "Non lo so" è incluso fin dall'inizio.
• Autovalutazione: Una strategia in due passaggi in cui il modello verifica la propria risposta.
• Soglia di Entropia: Un metodo post-hoc che converte le uscite ad alta entropia in astensioni.

Risultati Chiave
La valutazione ha utilizzato tre metriche: Precisione, Tasso di Errore e Rischio Composito (una combinazione di risposte errate e casi in cui il modello si astiene pur avendo inizialmente la risposta corretta).

1. Riduzione del Rischio Composito: Second Guess ha ottenuto il miglior miglioramento del rischio composito del 10,81% su tutti i modelli base e dataset, superando la migliore baseline (Autovalutazione al 7,69%) utilizzando lo stesso numero di query (due).
2. Robustezza all'Adattamento: Sui modelli adattati, Second Guess ha mantenuto un miglioramento del rischio composito dell'8%. Al contrario, i metodi basati sull'entropia si sono degradati significativamente sui modelli adattati perché l'aumentata fiducia del modello ha reso l'entropia dei token meno informativa per il rilevamento dell'incertezza.
3. Relazione Inversa con le Prestazioni di Base: Il paper identifica una relazione inversa tra l'accuratezza di base di un modello e il miglioramento ottenuto da Second Guess. I modelli con minore accuratezza di base (ad esempio, Llama su SuperGPQA con circa il 32% di accuratezza) hanno visto le riduzioni di rischio più significative (superiori al 25%), mentre i modelli ad alte prestazioni hanno visto guadagni modesti o nulli.
4. Meccanismo di Miglioramento: L'analisi delle transizioni di risposta ha rivelato che la riduzione del rischio deriva principalmente dal rilevamento del cambio di opzione piuttosto che dalla selezione esplicita di "Non lo so". I modelli incerti tendevano a cambiare tra opzioni errate quando veniva aggiunta l'opzione "Non lo so", invece di selezionare coerentemente il token di astensione.

Significato e Affermazioni
Il paper afferma che Second Guess offre una soluzione pratica e accessibile per migliorare l'affidabilità degli SLM in contesti critici per la sicurezza e autonomi. La sua importanza risiede nel fatto che è:

• Priva di parametri: Non richiede sintonizzazione degli iperparametri o accesso ai pesi del modello.
• Computazionalmente efficiente: Richiede solo due passaggi in avanti, rendendola fattibile per SLM black-box e dispositivi edge dove i metodi basati sul campionamento sono troppo costosi.
• Efficace per modelli con prestazioni inferiori: Si rivolge specificamente al divario di affidabilità nei modelli più piccoli e meno capaci, dove la riduzione degli errori è più critica.

Gli autori notano le limitazioni, riconoscendo che l'utilità del metodo diminuisce all'aumentare della scala del modello e delle prestazioni di base, e che la valutazione non ha incluso il ragionamento a catena di pensiero (CoT), che potrebbe alterare le capacità delle baseline. Tuttavia, il lavoro stabilisce che l'instabilità comportamentale (cambio di risposta) è un segnale robusto e rilevabile di incertezza che può essere sfruttato per indurre l'astensione senza cambiamenti architetturali complessi.