Precision, Physics, and Confabulation: Softmax Temperature as an Analog of Dopaminergic Precision-Weighting in LLM Hallucination

Sintesi Tecnica: Precisione, Fisica e Confabulazione

Definizione del Problema
I Large Language Models (LLM) producono frequentemente "allucinazioni": fatti fabbricati esposti con lo stesso tono fluente e sicuro delle risposte corrette. Questo fenomeno rispecchia una caratterione centrale della psicosi descritta nella psichiatria computazionale: l'aberante pesatura della precisione (aberrant precision-weighting). Sotto il Principio della Energia Libera e i framework di codifica predittiva, la percezione è un processo di inferenza bayesiana in cui il cervello combina credenze a priori con evidenza sensoriale, pesate in base alle rispettive precisioni (varianza inversa). La psicosi è teorizzata come il risultato di una dopamina che assegna una precisione eccessiva ai prior o al rumore rispetto all'evidenza sensoriale, portando a inferenze sicure ma false (allucinazioni).

Sebbene la macchina matematica di questi due campi sia identica — la temperatura softmax ($T$) dell'LLM è l'inverso del parametro di precisione nell'inferenza bayesiana — nessun lavoro precedente ha testato direttamente se la manipolazione di $T$ negli LLM riproduca le firme qualitative della pesatura della precisione aberrante prevista dalla psichiatria computazionale. Nello specifico, la bassa temperatura (alta precisione) causa la generazione di fabbricazioni sicure ma prive di fondamento, mentre l'alta temperatura (bassa precisione) produce errori più onesti e cautelativi?

Metodologia
L'autore ha condotto uno studio pilota utilizzando LLaMA 3.2 (3B) su un corpus fisso di 25 domande mediche e 5.025 documenti derivati da precedenti studi MedRAG. Il design sperimentale ha manipolato due variabili:

1. Condizione: Una condizione "Base" (non ancorata) basata esclusivamente su prior parametrici, e una condizione "RAG" (Generazione Aumentata dal Recupero) in cui il modello era ancorato a evidenze recuperate (agendo come il termine di "evidenza sensoriale").
2. Temperatura ($T$): Sono state testate tre temperature di campionamento: $T=0.0$ (quasi deterministica/alta precisione), $T=0.7$ (standard/moderata) e $T=1.3$ (diffusa/bassa precisione).

Lo studio ha valutato un totale di 150 combinazioni ($3 \text{ temperature} \times 2 \text{ condizioni} \times 25 \text{ domande}$).

• Accuratezza: Misurata tramite un criterio a parola chiave d'oro con intervalli di confidenza Wilson score al 95%.
• Firma della Confidenza (Hedging/Cautela): Per le risposte errate, l'autore ha contato le occorrenze di un lessico di cautela fisso di 15 parole (es. "potrebbe", "magari", "suggerisce", "incerto").
• Analisi Statistica: Sono stati utilizzati test non parametrici di Mann-Whitney U per confrontare i conteggi della cautela tra i gruppi di temperatura sia per le risposte errate che per quelle corrette.

Contributi Chiave

1. Corrispondenza Formale: Il documento mappa esplicitamente la relazione tra la pesatura della precisione dopaminergica nella psichiatria computazionale, la temperatura inversa nella meccanica statistica e il parametro di temperatura softmax negli LLM, stabilendo che $precision \propto 1/T$.
2. Ipotesi Operazionalizzata: Traduce questa corrispondenza matematica in un'ipotesi testabile: che la bassa temperatura debba indurre una "fabbricazione sicura" (bassa cautela nelle risposte errate), un effetto che dovrebbe essere mitigato dall'ancoraggio tramite recupero (RAG).
3. Reporting Onesto dei Dati Pilota: L'autore distingue tra la precisa corrispondenza matematica e la rivendicazione biologica, riportando i risultati con le opportune cautele riguardanti la potenza statistica e la dimensione del campione.

Risultati

• H1 (Il RAG rimuove la sensibilità alla temperatura): Nella condizione Base (non ancorata), l'accuratezza variava in modo non monotono attraverso le temperature (0.72 a $T=0.0$, 0.64 a $T=0.7$, 0.68 a $T=1.3$), sebbene gli intervalli di confidenza si sovrapponessero significativamente. Al contrario, l'accuratezza RAG (ancorata) era perfettamente piatta a 1.000 attraverso tutte le temperature. Ciò supporta la previsione teorica che l'evidenza ad alta precisione (recupero) sovrasti l'influenza dell'impostazione della precisione del prior.
• H2 (Firma della Fabbricazione Sicura): Nella condizione Base, le risposte errate a $T=0.0$ contenevano significativamente meno parole di cautela (media = 0.14) rispetto alle risposte errate a $T=0.7/1.3$ (media = 0.89). Ciò rappresenta un aumento di sei volte della cautela a temperature più elevate. Tuttavia, a causa della piccola dimensione del campione di risposte errate a $T=0.0$ ($n=7$), questa differenza non ha raggiunto la significatività statistica ($p=0.16$).
• H3 (Controllo della Specificità): Quando la stessa analisi è stata applicata alle risposte corrette, non è stata trovata alcuna relazione tra temperatura e cautela ($p=0.90$). Questa dissociazione suggerisce che l'effetto sia specifico per la generazione di errori (allucinazioni) piuttosto che un cambiamento stilistico generale dell'output del modello.

Significatività e Rivendicazioni
Il documento conclude che, sebbene il pilota sia sottodimensionato per confermare formalmente l'account della precisione aberrante, i pattern osservati sono qualitativamente coerenti con la teoria.

• La corrispondenza matematica tra la temperatura softmax e la precisione dopaminergica è esatta.
• Il pattern qualitativo previsto dalla teoria (fabbricazione sicura a bassa temperatura, incertezza onesta ad alta temperatura) appariva specificamente nelle risposte errate ed era assente in quelle corrette.
• I risultati RAG forniscono una dimostrazione robusta che l'ancoraggio agisce come un termine di evidenza ad alta precisione, stabilizzando l'accuratezza indipendentemente dalle impostazioni di precisione interne del modello.

L'autore dichiara esplicitamente di non sostenere che gli LLM possiedano dopamina biologica o implementino meccanicamente l'inferenza bayesiana. Inve la, propone che la matematica condivisa offra un quadro preciso e testabile per comprendere l'allucinazione. Il valore primario di questo lavoro è l'identificazione di previsioni specifiche e falsificabili e l'evidenziazione della necessità di studi più ampi e adeguatamente dimensionati per distinguere tra "la precisione dell'evidenza che sovrasta la precisione del prior" e semplici effetti di soffitto nei benchmark RAG.