Resumo Técnico: A Base Computacional da Confiança em Grandes Modelos de Linguagem

Declaração do Problema

A confiança confiável — a probabilidade de que a própria resposta de um modelo esteja correta — é um pré-requisito para a implantação confiável de Grandes Modelos de Linguagem (LLMs). Embora a literatura existente tenha avaliado extensivamente os sinais de confiança com base em sua precisão preditiva (o quão bem eles se correlacionam com a correção) e calibração (o quão bem as probabilidades relatadas correspondem às frequências empíricas), uma questão fundamental permanece sem resposta: O que o próprio sinal de confiança representa computacionalmente?

Os sinais atuais, como as probabilidades dos tokens de resposta ou relatos verbais, são frequentemente tratados como preditores empíricos de correção. No entanto, não está claro se esses sinais são meramente pontuações de preferência heurísticas que combinam evidências de uma maneira não bayesiana, ou se funcionam como leituras monotônicas de uma variável de decisão latente. Na neurociência computacional, uma variável de decisão latente é uma representação interna ruidosa de evidência que, sob um modelo de processo normativo, é suficiente para computar a probabilidade posterior de correção (confiança de decisão estatística, ou SDC, do inglês Statistical Decision Confidence). Distinguir entre uma pontuação heurística e uma leitura normativa é crítico para entender a mecânica interna da confiança do modelo.

Metodologia

Os autores empregam o framework de Confiança de Decisão Estatística (SDC), um modelo normativo da neurociência computacional, para testar se os logits de resposta em LLMs multimodais se comportam como leituras de uma variável de decisão latente. O estudo foca na diferença de logit da resposta (LD = $\ell_A - \ell_B$) como a candidata a leitura (readout).

Para testar isso, os autores avaliam quatro assinaturas qualitativas previstas pelo framework SDC através de três regimes de decisão distintos:

1. Função Psicométrica: A probabilidade de escolha deve aumentar monotonicamente com a força do estímulo assinado.
2. Codificação de Evidência Assinada: O LD assinado deve variar monotonicamente com a força do estímulo assinado.
3. Confiança Específica por Ensaio (Previsão de Força Fixa): Em uma força de estímulo objetiva fixa, a magnitude do LD ($|LD|$) deve prever a correção. Isso testa se as flutuações de tentativa para tentativa no LD refletem ruído interno em vez de apenas mudanças na dificuldade objetiva.
4. Padrão Folded-X: À medida que a força do estímulo aumenta, $|LD|$ deve aumentar em tentativas corretas, mas diminuir em tentativas de erro. Esta assinatura geométrica surge porque erros de alta força ocorrem apenas quando o ruído empurra a variável de decisão latente logo além da fronteira de decisão.

Configuração Experimental:

• Modelos: Três modelos multimodais de não-raciocínio (Qwen2.5-VL 7B, Gemma 3 12B, Gemma 4 12B) e um modelo de raciocínio multimodal (Gemini Flash 3).
• Tarefas:
  • Discriminação Perceptual: Três tarefas visuais sintéticas (contraste, tamanho de objeto, categorização de forma) onde a força do estímulo é controlada experimentalmente. Para induzir variação de tentativa para tentativa em modelos determinísticos, os autores geraram múltiplos exemplares de estímulos em cada nível de força, randomizando características irrelevantes à tarefa ("ruído" ou nuisance features), como jitter espacial e realização de pontos.
  • Decisão Baseada em Memória: Uma tarefa de comparação de população de cidades que exige a recuperação de conhecimento de mundo.
  • Raciocínio Visual Complexo: Tarefas CLEVR (igualdade de contagem, existência de objetos) com desfoque Gaussiano paramétrico.
• Validação Comportamental: Uma tarefa de abstenção foi conduzida onde os modelos foram instruídos a reter respostas se sua confiança interna (derivada do LD) sugerisse uma probabilidade de correção abaixo de 60%.

Principais Resultados

1. Codificação de Evidência e Assinaturas de Variável Latente em Tarefas Perceptuais

Através das três tarefas perceptuais, os modelos satisfizeram todas as quatro assinaturas SDC:

• Psicometria & Codificação Assinada: A probabilidade de escolha e o LD assinado variaram monotonicamente com a força do estímulo, confirmando que os modelos codificam evidência relevante para a tarefa.
• Previsão de Força Fixa: Mesmo quando a dificuldade do estímulo objetivo era mantida constante, um $|LD|$ maior previu significativamente uma maior precisão (por exemplo, na tarefa de contraste, adicionar o $|LD|$ a um modelo de força de estímulo melhorou a AUROC de 0.864 para 0.907). Isso demonstra que o LD carrega evidência de decisão específica por tentativa além da dificuldade objetiva.
• Padrão Folded-X: A interação entre correção e força do estímulo produziu a geometria característica de "X dobrado" (folded-X). Em tentativas corretas, $|LD|$ aumentou com a força do estímulo; em tentativas de erro, $|LD|$ diminuiu. Isso foi observado no Qwen, Gemma 3 e Gemma 4, com uma única exceção menor (o Gemma 3 na tarefa de contraste mostrou um ramo de erro plano em vez de invertido, embora a previsão dentro da mesma força permanecesse forte).

2. Generalização para Memória e Raciocínio

• Decisões Baseadas em Memória: Na tarefa de população de cidades, a função psicométrica foi rasa devido ao alto ruído no conhecimento recuperado. No entanto, as assinaturas da variável de decisão latente mantiveram-se: o $|LD|$ previu a correção dentro de bins de evidência de população fixa, e o padrão folded-X estava presente (e até mais nítido no Gemma 3). Isso indica que o LD atua como uma leitura de evidência de decisão latente mesmo quando o eixo de estímulo objetivo é um proxy ruidoso para a evidência interna do modelo.
• Raciocínio Visual Complexo (CLEVR): Nas tarefas CLEVR com desfoque Gaussiano, as duas primeiras assinaturas (que dependem de um eixo de evidência assinado) não eram diretamente aplicáveis, pois o desfoque remove informação em vez de favorecer uma resposta específica. No entanto, a terceira assinatura manteve-se: o $|LD|$ previu a correção além da força do desfoque e controles de cena. O padrão folded-X não foi observado; os ramos de erro foram planos ou positivos, em vez de negativos. Os autores atribuem isso à ausência de um modelo de processo normativo conhecido para o raciocínio complexo, impedindo a derivação da assinatura geométrica específica.

3. Consequências Comportamentais

Na tarefa de abstenção, os modelos retiveram seletivamente respostas de baixa confiança com base no sinal de LD.

• Os modelos abstiveram-se em 87,7% das tentativas, comprometendo-se apenas com respostas de alta confiança.
• A precisão nas tentativas de compromisso subiu de uma linha de base de 92,2% para 99,95%.
• A política de abstenção rastreou o sinal de LD interno melhor do que a força do estímulo objetivo, e o comportamento resultante aproximou-se de um limiar idealizado de $|LD|$.

Significância e Alegações

O artigo fornece um relato computacional da confiança em LLMs multimodais, indo além da observação empírica de que sinais de confiança predizem a correção.

• Leitura de Variável de Decisão Latente: A principal alegação é que, em configurações onde um modelo de processo normativo pode ser especificado (tarefas simples de percepção e memória), os logits de resposta comportam-se não meramente como pontuações de preferência heurísticas, mas como leituras monotônicas de uma variável de decisão latente. Esta variável é, em princípio, suficiente para computar a probabilidade posterior de que a escolha atual esteja correta.
• Framework Unificador: O estudo estabelece o SDC como um framework computacional unificador para estudar a confiança em sistemas de inteligência biológica e artificial. Ele delineia as condições sob as quais os logits de resposta funcionam como leituras normativas versus pontuações heurísticas.
• Limitações e Fronteiras: Os autores notam modestamente que a ausência do padrão folded-X em tarefas de raciocínio complexo (CLEVR) não implica necessariamente uma falha do SDC. Em vez disso, destaca a fronteira atual do framework: sem um modelo de processo normativo explícito para o raciocínio complexo, as assinaturas geométricas específicas não podem ser derivadas ou testadas. Os resultados sugerem que, embora o LD carregue informação de tentativa para tentativa sobre a correção em tarefas complexas, seu status como uma variável latente normativa permanece não resolvido até que modelos de processo apropriados sejam desenvolvidos.

Em resumo, o trabalho demonstra que, para decisões simples e baseadas em memória, o sinal de confiança em LLMs é estruturalmente isomorfo às variáveis de decisão latentes encontradas em sistemas biológicos, fornecendo uma base rigorosa para interpretar a confiança do modelo.