On the Effect of Uncertainty on Layer-wise Inference Dynamics

Dichiarazione del Problema
Man mano che i Large Language Models (LLM) diventano più capaci, comprendere la loro consapevolezza interna dell'incertezza diventa critico per rilevare le allucinazioni e garantire l'affidabilità. Sebbene la ricerca precedente abbia stabilito che i modelli codificano l'incertezza nei loro stati latenti, rimane inesplorato come tale incertezza influenzi la dinamica dell'inferenza — specificamente, se i modelli elaborino le predizioni incerte in modo diverso rispetto a quelle certe attraverso i loro strati. La domanda centrale è se i modelli adattino la loro traiettoria di inferenza (ad esempio, utilizzando più strati o alterando i pattern di crescita della fiducia) quando affrontano l'incertezza epistemica (mancanza di conoscenza), il che potrebbe fornire un meccanismo per il rilevamento dell'incertezza durante l'inferenza.

Metodologia
Gli autori investigano questo aspetto analizzando la dinamica dell'inferenza per strato utilizzando il Tuned Lens, una variante del Logit Lens che decodifica gli stati latenti intermedi nello spazio dello spazio dei logit della distribuzione del vocabolario. Lo studio si concentra sull'incertezza epistemica, operazionalizzata come predizioni errate su domande a scelta multipla (MCQ) in cui la risposta corretta è presente tra le opzioni.

L'assetto sperimentale prevede:

• Modelli: Cinque LLM (Llama-3-8B, Llama-3-8B-Instruct, Vicuna-13B, Mistral-7B-Instruct-v0.1 e Mistral-Nemo-Instruct-2407).
• Dataset: 11 dataset diversificati di MCQ (inclusi ANLI, ARC, BoolQ, CommonsenseQA, HellaSwag, LogiQA, MMLU, QASC, QuAIL, RACE e SciQ).
• Metriche:
  1. Traiettorie di Probabilità: L'evoluzione delle probabilità dei token attraverso gli strati per la predizione con il ranking più alto rispetto alle predizioni con ranking inferiore, aggregate separatamente per risposte corrette e errate.
  2. Profondità di Predizione (PD): Lo strato specifico in cui il modello "si impegna" su una risposta (definita come lo strato in cui la top predizione diverge dalla predizione dello strato precedente e rimane stabile da quel momento in poi).
  3. Analisi di Correlazione: Correlazione di Pearson tra l'erroneità della risposta e la PD, e la relazione tra la competenza nel task (misurata tramite il Kappa di Cohen) e la differenza nella PD tra output corretti e errati.

Risultati Chiave

1. Dinamiche di Inferenza Allineate: Le traiettorie di probabilità per le predizioni corrette e errate sono sorprendentemente allineate. Entrambe mostrano aumenti bruschi della fiducia in strati simili, e i modelli sembrano decidere i loro output finali in strati specifici in modo largamente indipendente dal fatto che l'output sia infine corretto o incerto. Non vi è una divergenza definitiva nelle traiettorie che suggerisca dinamiche di inferenza distinte per i casi di incertezza.
2. Consistenza della Profondità di Predizione: La distribuzione delle profondità di predizione è simile per le risposte corrette e errate in tutti i modelli e dataset. I modelli si impegnano nelle loro predizioni finali negli stessi strati, indipendentemente dall'incertezza.
3. Debole Correlazione con l'Erroneità: Sebbene il 97% delle correlazioni di Pearson tra l'erroneità della risposta e la PD sia positivo, l'entità è generalmente debole (80% delle correlazioni è inferiore a 0,300). Ciò suggerisce una leggera tendenza per le risposte errate a essere confermate in strati successivi, ma l'effetto è minimo.
4. Emergenza di Adattabilità nei Modelli Competenti: Un risultato sfumato rivela una correlazione lineare positiva tra la competenza del modello nel task (punteggio Kappa) e la differenza nella profondità di predizione tra risposte corrette e errate. Nello specifico, Llama-3-8B e Mistral-7B-Instruct mostrano correlazioni positive statisticamente significative ($p < 0,05$), suggerendo che all'aumentare della competenza del modello, possa aumentare anche il grado in cui le dinamiche di inferenza si adattano all'incertezza.

Contributi Chiave

• Evidenza Empirica sulle Dinamiche: Il documento fornisce un'estesa evidenza empirica che, contrariamente all'ipotesi che i modelli potrebbero elaborare input incerti in modo più profondo o differente, gli standard LLM esibiscono dinamiche di inferenza largamente uniformi indipendentemente dall'incertezza epistemica.
• Sfida al Rilevamento Semplistico: I risultati mettono in discussione la fattibilità di sfruttare metodi basati su strati semplistici (come l'early-exiting basato sulla fiducia o sul commitment dello strato) per il rilevamento dell'incertezza, poiché il processo decisionale interno non diverge visibilmente per gli output incerti.
• Adattamento Dipendente dalla Competenza: Lo studio introduce l'osservazione che le dinamiche di inferenza adattive possono essere una proprietà emergente di una maggiore competenza del modello, collegando la proficienza nel task alla sensibilità della profondità di inferenza rispetto all'incertezza.

Significatività e Rivendicazioni
Gli autori affermano che il loro lavoro dimostra come i metodi di interpretabilità possano essere utilizzati per investigare la relazione tra incertezza e inferenza. La significatività primaria risiede nel risultato negativo: la mancanza di dinamiche di inferenza distinte per gli output incerti implica che il rilevamento dell'incertezza al tempo dell'inferenza richieda approcci di interpretabilità più complessi e sfumati, piuttosto che affidarsi a semplici metriche di traiettoria o profondità. Inoltre, il paper postula che, mentre gli attuali modelli ignorano ampiamente l'incertezza nel loro elaboramento per strato, modelli più competenti potrebbero iniziare a esibire comportamenti adattivi, suggerendo una potenziale via per la ricerca futura sulla scalabilità dei modelli e la gestione dell'incertezza. Gli autori concludono che ulteriori test su modelli più competenti e analisi rigorose che tengano conto di vari livelli di incertezza e allucinazioni su conoscenze note sono necessari per validare questi risultati esplorativi.