Resumo Técnico: LLMs são Bayesianos em Expectativa, Não em Realização

1. Definição do Problema

O artigo aborda uma tensão fundamental entre a interpretação Bayesiana do Aprendizado em Contexto (ICL) e a realidade arquitetônica dos Transformers.

• A Visão Bayesiana: O ICL é frequentemente interpretado como um processo onde exemplos de suporte identificam uma tarefa latente, e o modelo gera a distribuição preditiva posterior para o próximo token. Sob esta visão, para dados permutáveis, a preditiva posterior deve ser invariante à ordenação do conjunto de suporte.
• A Realidade Empírica: Transformers são modelos autorregressivos que processam sequências com codificações posicionais. Diagnósticos recentes (testes de martingala) mostram que permutar um conjunto de suporte não ordenado frequentemente altera as probabilidades do próximo token, violando a permutabilidade exata.
• O Conflito: Essas violações foram interpretadas como uma refutação da hipótese de ICL Bayesiana. Os autores argumentam que isso é um erro de categoria: confunde-se invariância estrutural (uma propriedade da lei posterior exata) com desempenho operacional (o custo de predição em um cenário online).

A questão central não é se os Transformers são amostradores de posterior permutáveis exatos (eles não são), mas se eles permanecem competitivos com o método Bayesiano em termos de perda de log prequencial devido à sensibilidade de ordem induzida pela serialização.

2. Metodologia e Estrutura Teórica

2.1 Ponte Teórica: Regret Prequencial e Divergência KL

Os autores deslocam o alvo de avaliação da invariância binária para o excesso de comprimento de código prequencial.

• Identidade de Comparação Prequencial (Teorema 1): Eles provam que o excesso esperado de perda de log de um modelo $Q$ em relação a uma referência Bayesiana $B$ é exatamente a soma cumulativa das divergências de Kullback-Leibler (KL) preditivas:
  $$E_B[L_n(Q) - L_n(B)] = \sum_{t=1}^n E_{H_t} [KL(b_t(\cdot|H_t) \parallel q_t(\cdot|H_t))]$$
  Isso estabelece que as violações de permutabilidade só importam operacionalmente se acumularem uma divergência KL preditiva significativa.

• Decomposição de Média de Ordem (Teorema 2): Para estados de informação não ordenados que devem ser serializados, o regret de uma única ordenação se decompõe em:

  1. O regret do preditor de média de ordem (a expectativa sobre todas as ordenações que preservam a tarefa).
  2. Um ganho de média de ordem não negativo ($J_t$), representando o excesso de perda de log pago ao usar uma única serialização arbitrária em vez da distribuição média.
  • Implicação: A falha de permutabilidade não é uma "refutação" binária, mas um custo quantificável precificado em bits.

2.2 Protocolo Experimental

Os autores avaliam esta teoria usando Qwen2.5-7B/14B e Llama-3.1-8B em várias frentes:

1. Auditorias Bayesianas de Forma Fechada: Testes em tarefas discretas (Beta-Bernoulli, Dirichlet-categorical) e tarefas contínuas (Regressão Linear Bayesiana Coarsened - BLR) onde a preditiva posterior Bayesiana verdadeira é conhecida.
2. Baselines Frequentistas: Comparação do desempenho do modelo contra Estimativa de Máxima Verossimilhança (MLE) e preditores de plug-in de Laplace para garantir que o comportamento do modelo seja distinto de uma simples contagem frequentista.
3. Intervenções:
   • Intervenções de Posição: Modificação de position_ids na inferência para distinguir entre ordem preservadora de tarefa (onde a ordem não deveria importar) e ordem semântica (onde a posição carreha sinal).
   • Ablação do Zero (From-Scratch): Treinamento de pequenos transformers com e sem codificações posicionais para isolar a fonte da sensibilidade de ordem.
   • Patching de Ativação: Teste para verificar se estatísticas suficientes (contagens e posições) são usadas causalmente para determinar as predições.
4. Diagnósticos de Downstream: Medição do custo de ordenação arbitrária em MMLU, GSM8K e tarefas de QA fundamentadas em evidências usando misturas de permutação.

3. Principais Contribuições

1. Formalização do Alvo de Avaliação: O artigo define o excesso de comprimento de código prequencial como a métrica operacional para competitividade Bayesiana, substituindo o teste binário "é permutável?" por uma métrica quantitativa de "quanto custa a divergência KL da violação?".
2. Decomposição de Média de Ordem: Fornece uma decomposição teórica mostrando que o regret de uma única serialização é igual ao regret do preditor de média de ordem mais um "ganho de média de ordem" mensurável.
3. Pisos de Código Seguro e Decomposição de Candidatos: Introduz um método para pontuar modelos em conjuntos de candidatos fixos sem esconder a massa de probabilidade, usando um "piso de código seguro" (mistura com uniforme) para garantir admissibilidade de horizonte finito e reporte explícito de overhead.
4. Verificação Causal de Mecanismos Bayesianos: Através de patching de ativação e sondagem linear, os autores demonstram que os modelos não apenas contêm estatísticas suficientes (contagens, posições), mas as usam causalmente para moldar as distribuições de próximo token.

4. Principais Resultados

4.1 KL Preditiva e Competitividade Bayesiana

• Tarefas Discretas: Em tarefas Bernoulli e categórica de 4 vias com tamanho de suporte 256, os modelos exibem comprimentos de código prequencial excessivo de um passo extremamente baixos:
  • Bernoulli: 0.020 bits (7B) e 0.011 bits (14B).
  • Categorical: 0.039 bits (7B) e 0.022 bits (14B).
  • A massa candidata (probabilidade atribuída a eventos pontuados) excede 0.999.
• Tarefas Contínuas (BLR): À medida que o tamanho do suporte cresce, a distribuição de dígitos induzida pelo modelo aproxima-se cada vez mais da preditiva posterior Bayesiana coarsened. Com suporte de 100, as correlações com a expectativa Bayesiana atingem ~0.988 (1-covariável) e ~0.965 (2-covariáveis).

4.2 Distinção de Plug-ins Frequentistas

• Regime de Dados Pequenos: O modelo é significativamente mais próximo da preditiva posterior Bayesiana do que do plug-in MLE.
  • O MLE é frequentemente degenerado (atribuindo probabilidade zero a símbolos não vistos), levando a um comprimento de código infinito.
  • Com suporte 4, o modelo está ~3.3 bits (7B) e ~3.8 bits (14B) mais próximo da referência Bayesiana do que do MLE para tarefas categóricas de 4 vias.
• Convergência: À medida que o suporte cresce, a lacuna entre o modelo, a referência Bayesiana e o plug-in frequentista desaparece, consistente com a teoria assintótica.

4.3 Fonte de Sensibilidade de Ordem

• Codificação Posicional: Intervenções de posição revelam que as posições absolais das demonstrações impulsionam a variância de serialização. Resetar as posições dentro das demonstrações reduz a variância de ordem em ~21× em tarefas de predição Bayesiana.
• Ablação: Transformers treinados sem codificação posicional alcançam permutabilidade quase perfeita (variância $\approx 10^{-16}$). Aqueles com codificações absolutas aprendidas, sinusoidais, RoPE ou ALiBi mostram variância na ordem de $10^{-8}$ a $10^{-6}$. Isso confirma que a sensibilidade de ordem é uma propriedade da codificação, não da arquitetura em si.
• Uso Causal: O patching de ativação confirma que as estatísticas suficientes (contagens e posições) estão causalmente ligadas aos logits do próximo token.

4.4 Custos de Downstream

• Ganho de Média de Ordem: No MMLU e GSM8K, a média das predições sobre permutações aleatórias produz melhorias pequenas, mas mensuráveis, na NLL (Negative Log-Likelihood) e calibração, confirmando que a serialização arbitrária incorre em um pequeno custo de perda de log.
• QA de Evidência: Em tarefas com blocos de evidência não ordenados, os ganhos de média de ordem são mensuráveis (ex: 0.1041 nats/token para Qwen2.5-7B), sugerindo que tratar uma ordem arbitrária como a tarefa é subótimo.

5. Significância e Alegações

O artigo reivindica uma reconciliação quantitativa da hipótese de ICL Bayesiana com a arquitetura Transformer:

• Refutação da "Exatidão": Transformers não são distribuições preditivas posteriores permutáveis exatas para toda e qualquer serialização.
• Validação da "Competitividade": Eles são preditores prequenciais competitivos com o método Bayesiano. O custo operacional da sensibilidade de ordem é pequeno (medido em frações de um bit) e limitado.
• Mudança de Perspectiva: A falha de permutabilidade exata não deve ser vista como uma refutação binária do ICL Bayesiano. Em vez disso, deve ser vista como um custo precificado. O "preço" é o ganho de média de ordem, que é pequeno o suficiente para que o modelo permaneça competitivo com o preditor Bayesiano ideal em cenários de predição online.

Os autores enfatizam que este é um framework de diagnóstico. Eles não alegam que os Transformers são amostradores literais de posterior, mas sim que suas distribuições preditivas situam-se mais próximas da preditiva posterior Bayesiana do que dos plug-ins frequentistas, e que o desvio causado pela serialização é operacionalmente negligenciável em muitos contextos.