Descriptive versus Regulatory Uncertainty in Bounded Predictive Systems

Resumo Técnico: Incerteza Descritiva versus Regulatória em Sistemas Preditivos Limitados

Declaração do Problema
O artigo aborda uma limitação fundamental de segurança e epistêmica nos atuais Modelos de Linguagem de Grande Escala (LLMs): a incapacidade de distinguir entre conhecimento genuíno e alucinações confiantes. Enquanto o discurso atual foca na capacidade do modelo, os autores argumentam que uma distinção mais crítica existe entre sistemas com incerteza epistemicamente informativa e aqueles onde a incerteza é meramente um artefato do substrato.

O problema central é identificado como desacoplamento termodinâmico. Em sistemas de computação física, o princípio de Landauer dita que operações de bits irreversíveis incorrem em um custo mínimo de energia ($k_B T \ln 2$). No entanto, nos LLMs atuais, esse custo termodinâmico é invariante à qualidade epistêmica da saída. Seja o modelo gerando uma derivação fundamentada causalmente ou uma alucinação confiante, a energia dissipada pelo hardware (por exemplo, uma GPU A100) permanece idêntica. Consequentemente, a incerteza do sistema (medida como entropia de Shannon) é "descritiva" (uma propriedade estatística da distribuição de saída) e não "regulatória" (um sinal que participa da função de custo física para penalizar o erro).

Estrutura Teórica
Os autores formalizam essa distinção através de dois conceitos:

1. Desacoplamento Termodinâmico: Um sistema é termodinamicamente desacoplado se sua entropia de Shannon de saída ($H_{out}$) e precisão causal ($\alpha$) forem estatisticamente independentes, condicionadas ao estado do substrato físico. Em tais sistemas, o custo de energia por operação não escala com o erro epistêmico ($\partial E_{custo}/\partial \epsilon = 0$).
2. O Teorema do Desacoplamento Softmax: Os autores provam que, em um transformador com pesos fixos e temperatura de inferência fixa, a entropia de Shannon ao nível de token é uma função determinística dos pesos, temperatura e contexto. É estruturalmente independente de o contexto exigir recuperação dentro da distribuição ou generalização causal fora da distribuição (OOD). Ao contrário de sistemas termodinâmicos físicos onde a temperatura tem consequências energéticas, a "temperatura computacional" ($\tau$) em transformadores é um hiperparâmetro desacoplado.

Metodologia
Para testar empiricamente a hipótese do desacoplamento termodinâmico, os autores conduziram um experimento medindo a entropia de Shannon ao nível de token e a precisão da tarefa em três modelos Llama (3B, 8B e 70B parâmetros) abrangendo duas ordens de grandeza em escala.

• Suíte de Tarefas: Uma suíte de 18 tarefas foi construída em três categorias de demanda causal crescente:
  • Tarefas Kepler: Recuperação de relações físicas bem estabelecidas (recuperação de padrões).
  • Tarefas Newton: Aplicação de operadores causais a novas configurações de parâmetros (derivação causal).
  • Tarefas Newton OOD: Derivação sob regimes de parâmetros projetados para estar além de qualquer cobertura de treinamento plausível (mudança distribucional radical).
• Modelos: llama3.2:3b, Llama-3.1-8B-Instruct e Llama-3.1-70B-Instruct.
• Medição:
  • Entropia: Extraída de logprobs ao nível de token em uma temperatura de inferência baixa ($\tau = 0,1$) para minimizar o ruído de amostragem estocástica.
  • Precisão: Avaliada via avaliação humana contra verdade fundamental matematicamente verificada. Uma resposta foi pontuada como 1 apenas se alcançasse a conclusão correta através de uma derivação válida; narrativas plausíveis com resultados incorretos foram pontuadas como 0.
• Análise Estatística: Testes t de Welch foram utilizados para comparar entropia e precisão entre categorias dentro de cada modelo.

Principais Resultados
Os resultados experimentais fornecem fortes evidências para o desacoplamento termodinâmico:

1. Planicidade da Entropia: A entropia de Shannon ao nível de token foi estatisticamente plana em todas as três categorias de tarefas para todos os três modelos.
   • As faixas de entropia dentro do modelo foram negligenciáveis (0,011–0,028 nats), bem abaixo do limiar de planicidade pré-especificado de 0,10 nats.
   • Todos os valores-p pareados para comparações de entropia foram não significativos ($p \ge 0,568$).
2. Variância de Precisão: Em contraste gritante, a precisão da tarefa variou drasticamente (de 0% a 100%) dependendo da categoria da tarefa e do tamanho do modelo.
   • O modelo de 70B alcançou 100% de precisão nas tarefas Kepler, 67% nas tarefas Newton, mas apenas 17% nas tarefas Newton OOD.
   • Apesar dessa enorme variância na correção, a entropia permaneceu constante.
3. Invariância de Escala: O desacoplamento é uma invariante arquitetônica, não uma propriedade de modelos pequenos. Embora modelos maiores operassem em entropia de base mais baixa (maior certeza), a planicidade da entropia através dos níveis de dificuldade persistiu em todas as escalas. Todos os modelos convergiram para a mesma baixa precisão (17%) em tarefas OOD sem qualquer aumento correspondente na incerteza.

Significado e Alegações
O artigo alega que os LLMs atuais possuem uma falha estrutural de segurança: eles podem estar "maximamente certos e maximamente errados simultaneamente".

• Implicações de Segurança: Como a entropia é desacoplada da precisão, a entropia ao nível de token não pode servir como um sinal de confiança confiável para filtros de segurança. Sistemas que dependem da entropia para sinalizar saídas não confiáveis estão "cegos funcionalmente" para a distinção entre conhecimento e confabulação.
• Limitação Arquitetônica: Isso não é um problema de calibração solucionável por correção post-hoc, ajuste fino ou escalonamento. É uma consequência fundamental da inferência com pesos fixos onde o substrato termodinâmico é indiferente ao erro epistêmico.
• Direção Futura: Os autores sugerem que alcançar "incerteza regulatória" requer acoplamento termodinâmico, onde o custo energético de uma operação escala com seu erro epistêmico. Eles propõem que arquiteturas neuromórficas com módulos de custo intrínsecos (onde erros de previsão impulsionam atualizações de pesos em tempo real com custos energéticos dependentes do erro) poderiam preencher essa lacuna, tornando a confabulação fisicamente cara e alinhando o estado fundamental do sistema com a compreensão.

O artigo conclui que o verdadeiro fundamento epistêmico requer um acoplamento causal entre o estado do substrato termodinâmico e o custo de processamento de informações — uma propriedade atualmente ausente em todos os LLMs implantados.