From Drift to Coherence: Stabilizing Beliefs in LLMs

Resumo Técnico: Do Desvio à Coerência: Estabilizando Crenças em LLMs

Formulação do Problema
Hipotetiza-se frequentemente que Grandes Modelos de Linguagem (LLMs) realizam inferência Bayesiana implícita, particularmente no contexto de aprendizado em contexto (ICL). Uma condição crítica para tal coerência Bayesiana é a propriedade de martingal das crenças preditivas: a expectativa das crenças futuras, condicionada ao histórico atual, deve ser igual à crença atual. Trabalhos anteriores por Falck et al. (2024) demonstraram que os LLMs violam essa propriedade em configurações sintéticas controladas (ex: geração de números aleatórios), sugerindo que eles não são genericamente Bayesianos. No entanto, essas tarefas sintéticas obscurecem a distribuição preditiva real do modelo e podem não refletir regimes de uso típicos.

Este artigo investiga se os LLMs exibem violações de martingal em um cenário mais prático: resposta a perguntas de múltipla escolha genéricas (MCQA). Os autores definem o processo preditivo como uma sequência de respostas geradas de forma autorregressiva para uma consulta fixa. Eles observam que, embora os LLMs eventualmente se estabilizem, eles exibem um desvio inicial de crença significativo, onde a distribuição preditiva muda sistematicamente durante as etapas iniciais de amostragem, violando a propriedade de martingal. Esse desvio implica que o estado de crença interna do modelo não é imediatamente coerente, exigindo um período de "burn-in" para atingir uma distribuição limite estável.

Metodologia
Os autores propõem um framework para analisar e corrigir esse desvio usando a natureza discreta dos espaços de resposta de MCQA, o que permite o cálculo exato das distribuições preditivas sem aproximações de amostragem.

1. Reamostragem de Predição Promptada (PPR): O protocolo experimental central envolve instruir um LLM a gerar uma sequência de respostas para a mesma pergunta repetidamente. Isso cria um processo preditivo dependente de histórico $\theta_n(x_Q)$, onde o modelo condiciona em suas próprias saídas anteriores.
2. Semeadura de Respostas (Answer Seeding): Para mitigar o desvio nas fases iniciais, os autores introduzem uma estratégia de prompting onde o modelo recebe primeiro uma sequência curta de respostas "semente" amostradas i.i.d. da distribuição padrão do modelo (sem instruções de reamostragem). Essas sementes atuam como um resumo de "campo médio" da incerteza do modelo, direcionando o processo generativo para um regime estável mais rapidamente.
3. Amortização de Martingal (Perda de Autoconsistência): Para eliminar o custo computacional de sequências longas de reamostragem ou semeadura externa durante a inferência, os autores propõem um objetivo de ajuste fino chamado perda de Autoconsistência (SC loss). Esta perda minimiza a divergência entre as predições de curto horizonte do modelo e suas predições de longo horizonte (aproximadas via rollouts de Monte Carlo). Ao treinar o modelo para corresponder às suas próprias estatísticas marginais futuras, a perda SC "amortiza" o processo de estabilização, permitindo que o modelo produza uma distribuição de crença coerente imediatamente (zero-shot) sem exigir uma fase de burn-in.

Principais Contribuições

• Caracterização Empírica do Desvio: O artigo fornece evidências empíricas de que, embora os LLMs violem a propriedade de martingal nas etapas iniciais da reamostragem preditiva, eles se estabilizam espontaneamente após um número suficiente de etapas, convergindo para uma distribuição preditiva coerente (um posterior de martingal).
• Mecanismos de Estabilização: Os autores introduzem dois métodos para alcançar a coerência:
  • Em tempo de inferência: Semeadura de respostas, que reduz o período de burn-in ao fornecer um contexto estocástico.
  • Em tempo de treinamento: A perda SC, que ensina o modelo a internalizar a estabilidade, colapsando efetivamente o horizonte de convergência.
• Justificativa Teórica: O artigo estabelece que minimizar a perda SC garante que o processo preditivo se aproxime de um martingal aproximado, desde que a classe do modelo seja suficientemente expressiva. Limites teóricos mostram que a violação residual de martingal é proporcional ao valor da perda SC.

Resultados
Experimentos foram conduzidos em benchmarks padrão de MCQA (CSQA, AI2-ARC, TinyMMLU) usando modelos ajustados por instrução (LLAMA-3.1-8B e OLMO-3-7B).

• Redução de Desvio: Tanto a semeadura de respostas quanto o treinamento por perda SC reduziram significativamente o Desvio de Martingal Esperado (EMD). A perda SC (AM-PPR) superou consistentemente o PPR padrão, alcançando valores de desvio menores em todos os datasets e modelos.
• Calibração e Acurácia: As distribuições preditivas estabilizadas demonstraram melhor calibração de incerteza (menor Erro de Calibração Esperado e Brier Score) em comparação com os baselines de consulta direta padrão e o PPR não estabilizado. Crucialmente, essas melhorias em coerência e calibração foram alcançadas sem sacrificar a acurácia preditiva.
• Eficiência: O método AM-PPR permitiu que o modelo acessasse seu estado de crença estável imediatamente (usando a distribuição do primeiro token), eliminando a necessidade de rollouts longos computacionalmente caros ou geração de sementes auxiliares durante a inferência.

Significância e Alegações
O artigo afirma que os LLMs práticos exibem um desvio de crença transitório que pode ser substancialmente reduzido através de estratégias específicas de prompting e treinamento. Ao operacionalizar a coerência do tipo martingal, os autores demonstram que é possível melhorar a confiabilidade e a calibração de incerteza dos LLMs em tarefas de raciocínio de alto risco sem comprometer a acurácia.

Os autores observam modestamente que reduzir as violações de martingal é uma condição necessária, mas não suficiente, para uma inferência totalmente Bayesiana e bem calibrada; as crenças estabilizadas permanecem internamente consistentes, mas não garantem a correção factual ou o alinhamento com a verdade fundamental. Além disso, o método atualmente depende de engenharia de prompt para elicitar o comportamento de reamostragem sequencial. O artigo conclui que, embora o framework tenha sido validado em MCQA discreto, ele é inerentemente extensível para trajetórias de raciocínio mais ricas (ex: Chain-of-Thought), sugerindo um caminho promissor para pesquisas futuras sobre a estabilização de caminhos de pensamento estocástico em cenários de raciocínio complexo.