Riepilogo Tecnico: Stima dell'Incertezza dei LLM a Scatola Nera con Distillazione Avversaria Allineata alla Distribuzione

Enunciato del Problema

I Modelli Linguistici su Larga Scala (LLM) hanno raggiunto progressi significativi nel ragionamento e nella generazione, ma rimangono soggetti a "allucinazioni"—generazione di informazioni plausibili ma fattualmente errate. Questo problema è aggravato nei modelli più grandi e più istruiti, che spesso mostrano eccessiva sicurezza, creando un falso senso di affidabilità. Sebbene la quantificazione dell'incertezza (UQ) sia una strategia di mitigazione promettente, i metodi esistenti affrontano limitazioni critiche quando applicati a LLM a scatola nera (ad es. GPT-4, Claude-3) accessibili solo tramite API:

1. I metodi multi-campione (ad es. Entropia Semantica) richiedono molteplici chiamate di inferenza per stimare l'incertezza, risultando computazionalmente costosi e inefficienti per applicazioni in tempo reale.
2. I metodi a singolo campione che si basano sugli stati interni (ad es. logit, attivazioni nascoste) sono inapplicabili ai modelli closed-source che non espongono tali parametri.
3. I metodi di auto-valutazione spesso falliscono nel produrre stime credibili senza un specifico fine-tuning.

La sfida centrale affrontata da questo lavoro è: Come possiamo prevedere l'incertezza in tempo reale di un LLM a scatola nera basandoci esclusivamente su una singola coppia input-risposta, senza accesso agli stati interni del modello o a iterazioni di campionamento multiple?

Metodologia: Distillazione Avversaria Allineata alla Distribuzione (DisAAD)

Gli autori propongono DisAAD, un framework a due stadi che sfrutta un modello proxy leggero per approssimare la distribuzione di output di un LLM target a scatola nera. Il modello proxy è addestrato per "sapere se il LLM a scatola nera sa o meno", ereditando efficacemente le caratteristiche di incertezza del target.

1. Distillazione Avversaria Allineata alla Distribuzione

Il primo stadio si concentra sull'addestramento di un piccolo modello proxy ($M_p$) per imitare le regioni ad alta probabilità della distribuzione di output del LLM target a scatola nera ($M_B$).

• Raccolta Dati: Viene costruito un dataset di distillazione ($D_{distill}$) interrogando il LLM target con prompt diversificati. Per ogni prompt, vengono generate molteplici risposte e vengono selezionate le prime $M$ risposte con la più alta coerenza semantica reciproca. Questa strategia isola le regioni ad alta probabilità della distribuzione condizionale di output del target.
• Architettura di Addestramento Avversario: Il framework impiega una configurazione generazione-discriminazione:
  • Generatore (Modello Proxy): Un modello base (ad es. LLaMA3) fine-tunato tramite Adattamento a Basso Rango (LoRA). Impara a generare risposte coerenti con il LLM target.
  • Discriminatore: Un modello addestrato per distinguere tra le risposte generate dal proxy e quelle provenienti dal LLM target a scatola nera.
• Obiettivo di Ottimizzazione: Il modello proxy è ottimizzato per minimizzare una perdita composita:
  • Perdita di Compito ($L_{task}$): Una perdita di distillazione a livello di token che allinea le previsioni del token successivo del proxy con le risposte del target.
  • Perdita di Regularizzazione ($L_{reg}$): Un vincolo a livello di sequenza in cui il modello proxy genera output che il discriminatore non può classificare con sicurezza come "falsi".
  • L'addestramento procede in modo alternato fino a quando il discriminatore non riesce più a distinguere tra gli output del proxy e quelli del target, indicando che il proxy si è allineato con successo alla distribuzione del target.

2. Quantificazione dell'Incertezza Guidata dal Proxy

Nello secondo stadio, il modello proxy addestrato viene utilizzato per stimare l'incertezza per nuove query dal LLM a scatola nera.

• Riproduzione: Dato un prompt di input $x$ e la risposta del LLM a scatola nera $y_B$, il modello proxy riproduce la risposta per estrarre segnali interni (logit) altrimenti inaccessibili.
• Apprendimento Profondo Evidenziale: I logit estratti sono trattati come parametri di evidenza per una distribuzione Dirichlet. Ciò permette di disaccoppiare l'incertezza in due componenti:
  • Incertezza Aleatoria (AU): Riflette l'incertezza dei dati (picco della distribuzione). Un'AU elevata indica che il modello non è sicuro del token specifico.
  • Incertezza Epistemica (EU): Riflette l'incertezza del modello (lacune conoscitive). Un'EU elevata indica che il modello manca della conoscenza per fare una previsione sicura, anche se la distribuzione è piccata (eccessiva sicurezza).
• Stima dell'Affidabilità: L'affidabilità finale della risposta è calcolata aggregando l'impatto sinergico di AU ed EU sui token più incerti nella sequenza.

Contributi Chiave

1. Nuovo Paradigma per UQ a Scatola Nera: DisAAD elimina la necessità di accedere agli stati interni del modello o di eseguire iterazioni di campionamento multiple, abilitando la quantificazione dell'incertezza in tempo reale utilizzando solo una singola coppia input-risposta.
2. Apprendimento Proxy Allineato alla Distribuzione: Il documento introduce un metodo in cui un piccolo modello proxy approssima le regioni ad alta probabilità della distribuzione di output di un LLM target tramite distillazione avversaria, permettendo al proxy di caratterizzare l'incertezza del target.
3. Validazione Empirica: Esperimenti estensivi dimostrano che un modello proxy composto da solo l'1% della dimensione del LLM target può raggiungere prestazioni di stima dell'incertezza superiori rispetto ai baseline all'avanguardia.

Risultati Sperimentali

Il metodo è stato valutato su tre benchmark: TruthfulQA (veridicità), BioASQ (biomedicina) e TriviaQA (conoscenza generale).

• Prestazioni: In ambienti a scatola nera (indirizzati a GPT-4 e LLaMA2-70B), DisAAD ha raggiunto un AUROC medio di 0.7321 e un AUPR di 0.9134. Ciò rappresenta un miglioramento sostanziale rispetto ai baseline migliori, con un aumento medio del 18.2% nell'AUROC e del 22.9% nell'AUPR.
• Confronto con Metodi White-box: Nonostante non abbia accesso agli stati interni, DisAAD ha superato i metodi white-box (incluso LogTokU, che utilizza i logit) nella maggior parte dei casi. Ad esempio, con LLaMA2-70B come target, DisAAD ha migliorato l'AUROC del 6.7% rispetto a LogTokU.
• Efficienza: Il framework richiede solo un piccolo dataset di distillazione (circa 1.000 campioni da 100 prompt) per addestrare un modello proxy efficace. Le prestazioni si stabilizzano dopo circa 50 prompt di distillazione.
• Dimensione del Modello: Esperimenti con dimensioni proxy variabili (1B, 3B, 8B) hanno rivelato una relazione non monotona, con il modello da 3B che ottiene risultati ottimali. Modelli più grandi (8B) tendevano a ereditare problemi di eccessiva sicurezza, mentre modelli più piccoli (1B) mancavano della capacità per una modellazione complessa dell'incertezza.

Significato e Affermazioni

Il documento afferma che DisAAD offre un paradigma più efficace e pratico per la quantificazione dell'incertezza degli LLM, in particolare per applicazioni critiche per la sicurezza che coinvolgono modelli commerciali a scatola nera. Abilitando il rilevamento delle allucinazioni attraverso un proxy leggero, il metodo facilita un deployment più sicuro e affidabile degli LLM senza il sovraccarico computazionale del multi-campionamento o i vincoli di privacy legati all'accesso ai parametri interni.

Gli autori riconoscono le limitazioni, notando che il metodo si concentra sull'incertezza a livello di token e potrebbe trascurare incoerenze semantiche di livello superiore. Inoltre, la dipendenza dalla distillazione avversaria introduce una dipendenza dalla qualità del dataset di distillazione, sebbene gli esperimenti suggeriscano che il metodo è robusto con campioni limitati. Il lavoro è presentato come un passo verso il miglioramento dell'affidabilità degli LLM a scatola nera in scenari del mondo reale.