Precision, Physics, and Confabulation: Softmax Temperature as an Analog of Dopaminergic Precision-Weighting in LLM Hallucination

Resumo Técnico: Precisão, Física e Confabulação

Definição do Problema
Modelos de Linguagem de Grande Escala (LLMs) frequentemente produzem "alucinações" — fatos fabricados enunciados com o mesmo tom fluente e confiante de respostas corretas. Este fenômeno espelha uma característica central da psicose descrita na psiquiatria computacional: a precisão-ponderação aberrante. Sob os princípios da Teoria da Energia Livre e dos frameworks de codificação preditiva, a percepção é um processo de inferência bayesiana onde o cére-humano combina crenças prévias (priors) com evidências sensoriais, ponderadas por suas respectivas precisões (variância inversa). A psicose é teorizada como algo que surge quando a dopamina atribui precisão excessiva aos priors ou ao ruído em relação à evidência sensorial, levando a inferências confiantes, porém falsas (alucinações).

Embora a maquinaria matemática destes dois campos seja idêntica — o temperatura softmax ($T$) do LLM é o inverso do parâmetro de precisão na inferência bayesiana — nenhum trabalho prévio testou diretamente se a manipulação de $T$ em LLMs reproduz as assinaturas qualitativas da ponderação de precisão aberrante prevista pela psiquiatria computacional. Especificamente, a temperatura baixa (alta precisão) causa a geração de fabricações não fundamentadas e confiantes, enquanto a temperatura alta (baixa precisão) produz erros mais honestos e cautelosos?

Metodologia
O autor conduziu um estudo piloto utilizando o LLaMA 3.2 (3B) em um corpus fixo de 25 questões médicas e 5.025 documentos derivados de estudos prévios de MedRAG. O design experimental manipulou duas variáveis:

1. Condição: Uma condição "Base" (não fundamentada) baseando-se apenas em priors paramétricos, e uma condição "RAG" (Geração Aumentada por Recuperação) onde o modelo foi fundamentado em evidências recuperadas (atuando como o termo de "evidência sensorial").
2. Temperatura ($T$): Três temperaturas de amostragem foram testadas: $T=0.0$ (quase determinística/alta precisão), $T=0.7$ (padrão/moderada) e $T=1.3$ (difusa/baixa precisão).

O estudo avaliou 150 combinações totais ($3 \text{ temperaturas} \times 2 \text{ condições} \times 25 \text{ questões}$).

• Acurácia: Medida usando um critério de palavra-chave de ouro com intervalos de confiança de score Wilson de 95%.
• Assinatura de Confiança (Cautela/Hedging): Para respostas incorretas, o autor contou ocorrências de um léxico fixo de 15 palavras de cautela (ex: "pode", "poderia", "sugere", "incerto").
• Análise Estatística: Testes Mann-Whitney U não paramétricos foram usados para comparar as contagens de cautela entre os grupos de temperatura para respostas corretas e incorretas.

Principais Contribuições

1. Correspondência Formal: O artigo mapeia explicitamente a relação entre a ponderação de precisão dopaminérgica na psiquiatria computacional, a temperatura inversa na mecânica estatística e o parâmetro de temperatura softmax em LLMs, estabelecendo que $precisão \propto 1/T$.
2. Hipótese Operacionalizada: Ele traduz esta correspondência matemática em uma hipótese testável: que a temperatura baixa deve induzir a "fabricação confiante" (baixa cautela em respostas erradas), um efeito que deve ser mitigado pela fundamentação por recuperação (RAG).
3. Relato Honesto de Dados Piloto: O autor distingue a correspondência matemática exata da reivindicação biológica, relatando os resultados com as devidas ressalvas quanto ao poder estatístico e tamanho da amostra.

Resultados

• H1 (RAG Remove a Sensibilidade à Temperatura): Na condição Base (não fundamentada), a acurácia variou de forma não monotônica através das temperaturas (0.72 em $T=0.0$, 0.64 em $T=0.7$, 0.68 em $T=1.3$), embora os intervalos de confiança se sobreponham significativamente. Em contraste, a acurácia RAG (fundamentada) foi perfeitamente constante em 1.000 em todas as temperaturas. Isso apoia a previsão teórica de que a evidência de alta precisão (recuperação) sobrepõe a influência da configuração de precisão do prior.
• H2 (Assinatura de Fabricação Confiante): Na condição Base, as respostas incorretas em $T=0.0$ continham significativamente menos palavras de cautela (média = 0.14) em comparação com as respostas incorretas em $T=0.7/1.3$ (média = 0.89). Isso representa um aumento de seis vezes na cautela em temperaturas mais altas. No entanto, devido ao pequeno tamanho da amostra de respostas incorretas em $T=0.0$ ($n=7$), esta diferença não atingiu significância estatística ($p=0.16$).
• H3 (Controle de Especificidade): Quando a mesma análise foi aplicada a respostas corretas, nenhuma relação entre temperatura e cautela foi encontrada ($p=0.90$). Esta dissociação sugere que o efeito é específico para a geração de erros (alucinações) e não uma mudança estilística geral no output do modelo.

Significância e Alegações
O artigo conclui que, embora o piloto seja subdimensionado para confirmar formalmente a conta da precisão aberrante, os padrões observados são qualitativamente consistentes com a teoria.

• A correspondência matemática entre a temperatura softmax e a precisão dopaminérgica é exata.
• O padrão qualitativo previsto pela teoria (fabricação confiante em baixa temperatura, incerteza honesta em alta temperatura) apareceu especificamente em respostas erradas e estava ausente em respostas corretas.
• Os resultados de RAG fornecem uma demonstração robusta de que a fundamentação atua como um termo de evidência de alta precisão, estabilizando a acurácia independentemente das configurações de precisão internas do modelo.

O autor afirma explicitamente que não está alegando que LLMs possuem dopamina biológica ou implementam inferência bayesiana mecanisticamente. Em vez disso, propõe que a matemática compartilhada oferece um framework preciso e testável para entender a alucinação. O valor primário deste trabalho é identificar previsões específicas e falsificáveis, destacando a necessidade de estudos maiores e adequadamente dimensionados para distinguir entre "evidência de precisão sobrepondo a precisão do prior" e simples efeitos de teto em benchmarks de RAG.