The {\alpha}-Law of Observable Belief Revision in Large Language Model Inference

Título: A Lei α da Revisão de Crença Observável em Inferência de Modelos de Linguagem Grandes (LLMs)

1. Problema e Motivação

Modelos de Linguagem Grandes (LLMs) frequentemente utilizam mecanismos de refinamento iterativo (como Chain-of-Thought, auto-reflexão ou debates multiagentes) para revisar suas saídas. No entanto, a estrutura matemática dessas atualizações de probabilidade é pouco compreendida.

• A Questão Central: Quando um modelo revisa suas probabilidades de saída à luz de novas evidências, essa atualização é estável?
• O Risco: Se a geometria das atualizações iterativas for expansiva (em vez de contrativa), os erros podem se acumular e amplificar em vez de serem corrigidos. Trabalhos anteriores (ex: Huang et al., 2024) mostraram que LLMs não conseguem se autocorrigir de forma confiável sem feedback externo, destacando a necessidade de uma análise principial das dinâmicas de atualização.

2. Metodologia e Definição Teórica

Os autores propõem e validam empiricamente uma lei de escalonamento multiplicativo que governa como LLMs instruídos revisam suas atribuições de probabilidade.

• A Lei α (Equação 2):
  A revisão de crença segue a relação:
  $$\log q_1(i) = \alpha [\log q_0(i) + \log b(i)] + c$$
  Onde:

  • $q_0(i)$: Probabilidade anterior (priori).
  • $b(i)$: Evidência de verificação.
  • $q_1(i)$: Probabilidade posterior revisada.
  • $\alpha$: O expoente de revisão de crença.
  • $c$: Constante de normalização.

  Esta equação é equivalente a uma atualização Bayesiana temperada (ou power posterior), onde $\alpha$ atua como um parâmetro de temperamento.

• Teorema de Estabilidade (Teorema 1):

  • Se $\alpha < 1$: O sistema é contrativo e assintoticamente estável (erros diminuem geometricamente).
  • Se $\alpha = 1$: Estabilidade marginal (comportamento Bayesiano ideal).
  • Se $\alpha > 1$: O sistema é expansivo e instável (erros amplificam exponencialmente).

• Protocolo Experimental:

  • Dados: 4.975 problemas de quatro benchmarks de nível de pós-graduação (GPQA Diamond, TheoremQA, MMLU-Pro, ARC-Challenge).
  • Modelos: GPT-5.2, Claude Sonnet 4, GPT-4 (para validação multi-etapa) e Llama-3.3-70B (para validação de logprobs).
  • Procedimento: Para cada problema, gera-se candidatos, elicita-se a priori ($q_0$), aplica-se verificação determinística para gerar evidência ($b$), e elicita-se a posteriori ($q_1$). A regressão OLS é usada para estimar $\alpha$.

3. Principais Contribuições

1. Descoberta da Lei α: Identificação de uma lei de escalonamento multiplicativo consistente em LLMs instruídos.
2. Validação Abrangente: Confirmação da lei em milhares de problemas, através de múltiplos benchmarks, famílias de modelos e métodos de elicitação (logprobs vs. auto-relato).
3. Impressões Digitais de Confiança (Trust Ratio): Decomposição do $\alpha$ em componentes de prioridade e evidência, revelando estratégias de ponderação distintas entre diferentes famílias de modelos.

4. Resultados Chave

• Comportamento "Quase-Bayesiano" (Single-Step):

  • A média global de $\alpha$ foi de $1.163 \pm 0.084$.
  • Isso indica que, em um único passo, os modelos exibem uma atualização ligeiramente expansiva (acima do limite de estabilidade de 1.0), sugerindo uma leve "superconfiança" ou sobreponderamento da evidência em relação ao Bayesiano ideal.
  • O ajuste do modelo ($R^2$) foi alto (média de 0.76), confirmando a estrutura multiplicativa.

• Dinâmica de Convergência (Multi-Step):

  • Embora o $\alpha$ inicial seja > 1, em revisões iterativas (7 passos em 198 problemas do GPQA), o valor de $\alpha$ decai sistematicamente de 0.84 para 0.54.
  • A média geométrica ao longo dos passos é $\bar{\alpha}_{geo} = 0.75 < 1$.
  • Conclusão: O sistema entra na região contrativa com o tempo, garantindo estabilidade a longo prazo, resolvendo a aparente tensão entre o $\alpha$ inicial > 1 e a necessidade teórica de $\alpha < 1$.

• Impressões Digitais de Confiança ($\tau$):

  • Ao decompor $\alpha$ em pesos para o prior ($\alpha_q$) e evidência ($\alpha_b$), define-se a razão de confiança $\tau = \alpha_b / \alpha_q$.
  • GPT-5.2: $\tau \approx 1.0$ (Ponderação equilibrada, quase Bayesiana).
  • Claude Sonnet 4: $\tau \approx 1.1$ (Leve favorecimento da evidência).
  • Gemini 2.5 (Preliminar): $\tau \approx 2.3$ (Amplificação forte de evidência, mas com alta taxa de fallback/contaminação).

• Robustez e Sensibilidade:

  • Elicitação: Logprobs e auto-relatos produzem medianas idênticas ($\alpha \approx 1.0$).
  • Domínio: A lei é consistente em ciências, matemática, conhecimento geral e raciocínio lógico.
  • Ruído: A presença de ruído nas evidências degrada a qualidade do ajuste ($R^2$) e reduz o $\alpha$ medido, servindo como um diagnóstico de confiabilidade da evidência.
  • Codificação: O valor absoluto de $\alpha$ depende da força da codificação da evidência, mas a estrutura log-linear permanece robusta.

5. Significado e Implicações

• Diagnóstico de Qualidade: A Lei $\alpha$ fornece uma métrica principial para monitorar a qualidade das atualizações em sistemas de inferência de LLMs sem necessidade de ground truth.
• Controle Geométrico: A descoberta sugere que é possível criar controladores de inferência (ex: Belief Geometry Controller) que monitoram $\alpha$ em tempo real e aplicam amortecimento adaptativo se as atualizações se tornarem expansivas, garantindo estabilidade sem retreinamento.
• Limitações e Avisos:
  • O trabalho descreve o comportamento observável (input-output) e não afirma que os LLMs realizam inferência Bayesiana interna.
  • Os resultados são limitados a modelos instruídos (RLHF); modelos base podem não seguir essa lei.
  • A alta acurácia dos modelos nos benchmarks atuais (>99%) limita a análise de casos de erro, embora os dados mostrem que respostas incorretas tendem a ter $\alpha$ negativo ou muito baixo.
• Impacto Duplo: A Lei $\alpha$ pode ser usada defensivamente para detectar alucinações e instabilidades, mas também poderia ser explorada adversarialmente para manipular a revisão de crença de um modelo.

Em resumo, o artigo estabelece que a revisão de crença em LLMs instruídos não é um processo caótico, mas segue uma estrutura geométrica previsível e mensurável, governada pelo expoente $\alpha$, que oscila entre uma leve instabilidade inicial e uma estabilidade contrativa garantida através da iteração.