Resumo Técnico: Decodificação Baseada em Energia (EBD)

1. Declaração do Problema

O artigo aborda uma discrepância crítica na avaliação de Modelos de Linguagem de Grande Escala (LLMs) pré-treinados. Enquanto os benchmarks padrão assumem que os modelos interpretarão prompts como tarefas e produzirão respostas bem formadas, os modelos pré-treinados congelados são otimizados principalmente para a previsão do próximo token (continuação). Consequentemente, sob prompting padrão e decodificação direta, esses modelos frequentemente geram texto no estilo de continuação em vez de respostas orientadas a tarefas. Isso leva a pontuações de benchmark pouco confiáveis que confundem as capacidades reais do modelo com sua incapacidade de adotar um "modo de tarefa" sem atualizações de parâmetros.

As soluções existentes enfrentam limitações significativas:

• Pós-treinamento (SFT/RLHF): Eficaz, mas custoso e obscurece a distinção entre conhecimento pré-treinado e comportamentos aprendidos.
• Decodificação baseada apenas em verossimilhança (ex.: redução de temperatura, busca em feixe): Esses métodos remodelam a distribuição de saída sem sinais de utilidade externos, frequentemente amplificando modos de continuação espúrios de alta verossimilhança em vez de ativar comportamentos de resolução de tarefas.
• Busca intensiva em amostras (ex.: Best-of-N, reclassificação): Embora utilizem sinais de recompensa, são computacionalmente caros e ineficientes quando a distribuição base é fortemente enviesada para continuações não relacionadas a tarefas.

O desafio central é ativar comportamentos orientados a tarefas e de alta utilidade a partir de modelos pré-treinados congelados no momento da inferência, sem atualizações de parâmetros, mantendo a eficiência e a fidelidade à distribuição original do modelo.

2. Metodologia: Decodificação Baseada em Energia (EBD)

Os autores propõem a Decodificação Baseada em Energia (EBD), um framework sem treinamento e guiado por recompensa que direciona a geração para respostas de alta utilidade, ancorando-as ao prior pré-treinado.

Formulação Teórica

A EBD enquadra a decodificação como amostragem de uma distribuição posterior inclinada por recompensa:
$$\pi^*_\beta(y | x) \propto p_\theta(y | x) \exp(\beta S_x(y))$$
Onde:

• $p_\theta(y | x)$ é o prior do modelo pré-treinado congelado.
• $S_x(y)$ é uma pontuação de recompensa normalizada pelo prompt, derivada de um modelo de recompensa externo leve.
• $\beta$ é uma temperatura inversa que controla o compromisso entre o prior e a recompensa.

Essa formulação é equivalente a uma distribuição baseada em energia onde a energia $E_x(y) = -\log p_\theta(y | x) - \beta S_x(y)$. O objetivo é encontrar respostas de baixa energia que sejam plausíveis sob o modelo pré-treinado e de alta utilidade de acordo com a recompensa.

Algoritmo: Metropolis-Hastings em Blocos

Para amostrar essa distribuição alvo de forma eficiente, a EBD implementa um pipeline de duas etapas usando um amostrador Metropolis-Hastings (MH) em Blocos:

1. Inicialização (Etapa I):

   • Amostra-se um pequeno conjunto de candidatos ($n_{init}$) a partir do prior congelado.
   • Eles são pontuados pelo modelo de recompensa e calculam-se estatísticas de normalização no nível do prompt (média $\mu_R$ e desvio padrão $\sigma_R$).
   • Define-se uma pontuação de vantagem padronizada: $A_x(y) = (R(y, x) - \mu_R) / \sigma_R$.
   • Seleciona-se o melhor candidato do conjunto como o estado inicial $y^{(0)}$.

2. Refinamento (Etapa II):

   • Realizam-se $K$ etapas de refinamento. Em cada etapa:
     • Seleção de Bloco: Divide-se a resposta atual em $M$ blocos contíguos e amostra-se uniformemente uma posição de corte $c$.
     • Proposta: Mantém-se o prefixo ($y_{<c}$) fixo e regenera-se o sufixo ($y'_{\ge c}$) a partir do prior condicional correspondente $p_\theta(\cdot | x, y_{<c})$.
     • Aceitação: Calcula-se a razão de aceitação MH. Crucialmente, como o sufixo proposto é amostrado da mesma distribuição condicional exata que o termo do prior, ocorre o cancelamento Proposta-Prior:
       $$\frac{p_\theta(y' | x) Q(c, y | y')}{p_\theta(y | x) Q(c, y' | y)} = 1$$
     • A probabilidade de aceitação simplifica-se para uma comparação de recompensa:
       $$\alpha = \min(1, \exp(\beta [A_x(y') - A_x(y)]))$$
   • Se aceita, atualiza-se o estado; caso contrário, mantém-se o estado atual.

Mecanismo Chave de Eficiência

O Cancelamento Proposta-Prior é a inovação central. Ele elimina a necessidade de reavaliar a verossimilhança da sequência completa sob o modelo base durante a etapa de aceitação. O custo computacional por etapa reduz-se a uma geração de sufixo autoregressiva e uma avaliação do modelo de recompensa, escalando linearmente com o número de etapas de refinamento.

3. Contribuições Principais

1. Formulação: O artigo formula a decodificação guiada por recompensa como amostragem de uma posterior inclinada por recompensa, permitindo a ativação de comportamento orientado a tarefas sob um prior congelado.
2. Inovação Algorítmica: Introduz a EBD com Cancelamento Proposta-Prior, que permite atualizações eficientes baseadas apenas em diferenças de recompensa, sem reavaliação explícita da verossimilhança da sequência completa.
3. Mudança Comportamental: Os autores demonstram que a EBD não apenas melhora pontuações agregadas, mas desloca a distribuição comportamental dos modelos base para se assemelhar estreitamente às suas contrapartes pós-treinadas (instruídas).
4. Validação Empírica: Avaliação extensa em cinco modelos e seis benchmarks mostra melhorias consistentes sobre a decodificação direta e métodos anteriores baseados em decodificação (ex.: Power Sampling).

4. Resultados Experimentais

Os autores avaliaram a EBD em cinco modelos de código aberto (Llama-3-8B, Mistral-7B, Qwen2.5-7B, Qwen3-8B-Base, Olmo-7B) em benchmarks objetivos (GPQA, Math500, HumanEval) e subjetivos (AlpacaEval2.0, MT-Bench, WritingBench).

• Ganhos de Desempenho:
  • AlpacaEval2.0: O Qwen3-8B-Base melhorou de 8,8 para 44,5 (+405%).
  • Tarefas Objetivas: As pontuações objetivas médias aumentaram significativamente (ex.: Qwen2.5-7B de 0,398 para 0,557).
  • Alinhamento Comportamental: A correlação de Pearson da correção binária com modelos instruídos pós-treinados aumentou de 0,256 (Direto) para 0,385 (EBD) em média.
• Eficiência:
  • A EBD é substancialmente mais rápida que baselines intensivos em amostras como o Power Sampling. No Mistral-7B Math500, a EBD reduziu a latência em 18,9× em relação a trabalhos anteriores de decodificação.
  • Mantém-se robusta em diferentes tamanhos de modelos de recompensa (0,6B a 8B), com modelos menores frequentemente igualando o desempenho dos maiores.
• Robustez:
  • A EBD melhora o desempenho tanto em configurações zero-shot quanto em SFT de início frio.
  • Diferentemente do SFT, que suprime certos modos de continuação, a EBD aplica uma inclinação de recompensa sem alterar a distribuição subjacente, tornando-a robusta em diferentes tipos de tarefas (ex.: melhorando matemática/raciocínio enquanto mantém capacidades de geração de código).

5. Significado e Alegações

O artigo alega que a decodificação é um componente crítico, muitas vezes negligenciado, da avaliação de modelos. A decodificação direta padrão subestima as capacidades de modelos pré-treinados congelados em configurações orientadas a tarefas.

• Avaliação Justa: A EBD permite uma avaliação mais justa no momento da inferência de modelos pré-treinados, ativando comportamentos orientados a tarefas que seriam inacessíveis via prompting padrão.
• Complementaridade ao Pós-treinamento: A EBD serve como uma abordagem complementar às atualizações de parâmetros. Pode fechar uma parte substancial da lacuna de desempenho entre modelos pré-treinados e pós-treinados sem qualquer treinamento, atuando como um impulso eficaz no momento da inferência ou como um diagnóstico para sensibilidade de checkpoints.
• Eficiência vs. Eficácia: O método alcança um compromisso qualidade-eficiência superior em comparação com abordagens existentes baseadas apenas em decodificação, provando que sinais de recompensa externos combinados com amostragem MCMC eficiente podem desbloquear capacidades latentes em modelos congelados.

Os autores concluem que a inferência guiada por recompensa pode melhorar significativamente o comportamento relevante para alinhamento sem uma única atualização de parâmetro, sugerindo que a "peça faltante" na avaliação de modelos pré-treinados é frequentemente a estratégia de decodificação e não os próprios pesos do modelo.