Epistemic Observability in Language Models

Resumo Técnico: Observabilidade Epistêmica em Modelos de Linguagem

Autores: Tony Mason et al.
Data: Março de 2026
Contexto: O artigo aborda o problema fundamental da verificação de honestidade em modelos de linguagem (LLMs), demonstrando que a interface atual baseada apenas em texto é insuficiente para distinguir entre conhecimento fundamentado e alucinações convincentes.

1. O Problema: A Inversão da Confiança e a Lacuna Observacional

O ponto de partida da pesquisa é uma descoberta perturbadora: os modelos relatam a maior confiança exatamente quando estão fabricando informações.

• Inversão da Autoconfiança: Em testes com quatro famílias de modelos (OLMo-3, Llama-3.1, Qwen3, Mistral), a confiança auto-relatada correlacionou-se inversamente com a precisão. Em questões factuais corretas, a confiança era moderada; em fabricações plausíveis, a confiança era alta. A Área Sob a Curva ROC (AUC) variou de 0,28 a 0,36 (onde 0,5 é um chute aleatório), indicando que a confiança verbal é um sinal enganoso.
• A Lacuna Observacional: O problema não é de capacidade (o modelo pode saber que está mentindo), mas de observabilidade. Sob um modelo de observação "apenas texto", um supervisor externo não consegue distinguir entre:
  • Estado A: O modelo possui conhecimento fundamentado e gera a resposta corretamente.
  • Estado B: O modelo carece de conhecimento e fabrica uma resposta plausível.
    Ambos os estados produzem texto fluente e confiante. O canal de texto não carrega os sinais necessários para a verificação independente.

2. Metodologia e Abordagem Teórica

Os autores combinam provas formais de impossibilidade com experimentos empíricos para analisar o problema.

2.1. Resultados de Impossibilidade (Teoremas)

O artigo formaliza por que a verificação baseada apenas em texto falha, utilizando analogias com resultados de impossibilidade em sistemas distribuídos (como o teorema FLP).

• Teorema 1 (Impossibilidade Representacional): Para qualquer política que condicione apenas na consulta (query), é impossível satisfazer a "honestidade epistêmica" simultaneamente para estados do mundo onde a resposta é conhecida e onde é desconhecida. O modelo não tem graus de liberdade na saída de texto para expressar a incerteza sobre a existência da resposta.
• Teorema 2 (Impossibilidade de Aprendizado): Nenhum algoritmo de aprendizado que otimize recompensas a partir de um supervisor com orçamento limitado (que só vê o texto) pode convergir para um comportamento honesto. Se o custo de verificar uma fabricação plausível excede o orçamento, o supervisor não consegue distinguir entre verdade e mentira, enviando sinais de recompensa idênticos para ambos os casos.
• Corolário (Empilhamento de Juízes): Adicionar mais camadas de juízes baseados em texto não resolve o problema, pois a informação observável é monotonicamente não crescente; juízes subsequentes não têm acesso a informações mais finas do que o primeiro.

2.2. A Interface Tensorial (Solução Proposta)

Para escapar da impossibilidade, os autores propõem exportar sinais computacionais que são estruturalmente acoplados ao processo de inferência e não podem ser ajustados independentemente da precisão sem afetar a geração do texto.

• Sinais Exportados: Entropia por token, distribuições de log-probabilidade e resumos de atenção.
• Lógica: Sob treinamento padrão (minimização de perda de próxima palavra), a entropia reflete a incerteza computacional real. Um modelo não pode aprender a gerar texto "confiante" (baixa entropia) para uma resposta errada sem alterar a distribuição de probabilidade subjacente, o que é computacionalmente restrito.

2.3. Design Experimental

• Conjunto de Dados: 200 consultas equilibradas (100 factuais verificáveis, 100 projetadas para gerar alucinações).
• Modelos: Testado em 4 arquiteturas principais (OLMo, Llama, Qwen, Mistral) e validado em 5 modelos adicionais via API.
• Estratégias de Juiz:
  1. Sem juiz: Linha de base.
  2. Guia por texto: Usa comprimento da resposta e marcadores de hesitação.
  3. Guia por tensor: Usa entropia por token para triagem.
  4. Composto: Combina entropia com verificação de citações (lookup).
• Orçamentos de Verificação: 10%, 20% e 30% das consultas verificadas manualmente ou via verificação externa.

3. Principais Contribuições

1. Prova de Impossibilidade para Observação Apenas em Texto: Estabelece formalmente que, sob supervisão limitada e observação restrita ao texto, a honestidade epistêmica não é verificável, independentemente da escala do modelo ou do ajuste fino (RLHF).
2. Interface Tensorial: Propõe e implementa uma interface que exporta metadados computacionais (entropia, log-probabilidades) como sinais de verificação.
3. Superfície de Custo Empírica: Mapeia a relação entre o investimento em verificação (orçamento) e a precisão alcançada para diferentes estratégias de juiz, servindo como um guia prático para engenheiros de sistemas.

4. Resultados Chave

• Desempenho da Entropia: A triagem baseada em entropia por token alcançou uma AUC agrupada de 0,757, superando todas as baselines baseadas apenas em texto (que estagnaram em ~0,70).
• Ganhos de Precisão: A interface tensorial superou a verificação baseada em texto em 2,5 a 3,9 pontos percentuais em todos os níveis de orçamento testados (10%, 20%, 30%).
  • Exemplo (30% de orçamento): Texto (87,6%) vs. Tensor (90,2%) vs. Composto (91,8%).
• Generalização Arquitetural: O sinal de entropia generalizou-se bem entre diferentes arquiteturas (Spearman ρ = 0,762), indicando que é uma propriedade arquitetural e não um artefato de treinamento específico.
• Falhas e Limitações:
  • Inversão em Citações: Para consultas que exigem citações, a entropia inverte (citações fabricadas têm baixa entropia porque são fluentes). A solução é um sistema composto que usa verificação externa (lookup) para citações.
  • Refusas Epistêmicas: Modelos treinados para recusar perguntas impossíveis podem gerar recusas com baixa entropia, confundindo o sinal.

5. Significado e Implicações

• Mudança de Paradigma: O problema de alucinação não é apenas uma falha de capacidade do modelo, mas uma falha de interface. A honestidade epistêmica é um problema de observabilidade, não de inteligência.
• Guia para Construtores de Sistemas: A "Superfície de Custo" oferece um mapa prático para decidir quanto investir em verificação. Mostra que confiar apenas em texto tem um teto de precisão (88%), enquanto a exportação de sinais internos (tensor) permite saltos significativos com um custo computacional marginal baixo (2,4% de overhead).
• Governança e Transparência: O artigo alerta que a tendência da indústria é de maior opacidade (APIs que não expõem log-probabilidades). Se os provedores de modelos não exportarem sinais de telemetria interna, a responsabilidade pela verificação de honestidade recai exclusivamente sobre o provedor, tornando a auditoria externa impossível.
• Princípios Arquiteturais: Para escapar da impossibilidade, sistemas futuros devem adotar três princípios:
  1. Exterioridade do Estado: Condicionar a geração em estados externos verificáveis (não apenas na consulta).
  2. Independência de Verificação: Sinais de verificação devem vir de canais ortogonais à geração de texto (ex: entropia).
  3. Vinculação de Proveniência: Cada afirmação deve estar estruturalmente ligada a uma fonte verificável.

Conclusão: O artigo demonstra que a verificação de LLMs em sistemas críticos (médicos, legais, financeiros) exige a exportação de sinais computacionais internos. Sem essa observabilidade, a distinção entre conhecimento e fabricação permanece fundamentalmente indistinguível para supervisores externos.