Resumo Técnico: Decodificação Consciente de Alinhamento (AAD)

Declaração do Problema

Alinhar Grandes Modelos de Linguagem (LLMs) com as preferências humanas continua sendo um desafio central no processamento de linguagem natural. Embora métodos de treinamento como o Aprendizado por Reforço com Feedback Humano (RLHF) e a Otimização de Preferência Direta (DPO) tenham se mostrado eficazes, eles enfrentam limitações significativas. Esses métodos são sensíveis a sinais de preferência imperfeitos, propensos à sobre-otimização (reward hacking) e frequentemente resultam em políticas que herdam os vieses do modelo de referência utilizado durante o treinamento. Além disso, uma vez que um modelo é treinado, seu alinhamento é fixo; modificá-lo requer retreinamento computacionalmente caro ou intervenções complexas em tempo de inferência que dependem de modelos de recompensa auxiliares, procedimentos de busca extensos ou hiperparâmetros cuidadosamente ajustados.

Metodologia: Decodificação Consciente de Alinhamento (AAD)

O artigo introduz a Decodificação Consciente de Alinhamento (AAD), um método projetado para melhorar o alinhamento do modelo diretamente no tempo de inferência, sem modificar os parâmetros do modelo ou exigir treinamento adicional. A AAD opera sob a percepção teórica de que um modelo treinado via DPO ($\pi_{DPO}$) codifica implicitamente um sinal de recompensa em relação ao seu modelo de referência de ajuste fino supervisionado (SFT) ($\pi_{SFT}$).

Mecanismo Central

A AAD aproveita duas características distintas do modelo alinhado via DPO:

1. Verossimilhança de Tokens: A capacidade de identificar candidatos seguros de tokens para a próxima etapa de decodificação.
2. Atribuição de Crédito ao Nível de Token: A habilidade de estimar a vantagem de um token usando a razão de log-verossimilhança entre o modelo alinhado e o modelo de referência.

Em vez de seguir a distribuição de probabilidade de $\pi_{DPO}$ diretamente, a AAD seleciona tokens maximizando uma função de vantagem ao nível de token:
$$A(v | x \circ y_{1:t}) = \log \frac{\pi_{DPO}(v | x \circ y_{1:t})}{\pi_{SFT}(v | x \circ y_{1:t})}$$
Esta razão trata efetivamente o modelo alinhado como uma função de recompensa ao nível de token, otimizando para a recompensa implícita capturada durante a otimização de preferência.

Prevenção de Sobre-otimização

Para abordar o problema da sobre-otimização, onde a maximização da função de vantagem pode selecionar tokens de baixa probabilidade que levam a saídas degeneradas, a AAD incorpora um mecanismo de filtragem min-$\alpha$. Antes de selecionar o token com a maior vantagem, o método restringe o espaço de busca para tokens que satisfaçam um limiar mínimo de probabilidade sob o modelo alinhado:
$$V_\alpha = \{ v \in \mathcal{V} \mid \pi_{DPO}(v | x \circ y_{1:t-1}) \geq \alpha \cdot \max_{v' \in \mathcal{V}} \pi_{DPO}(v' | x \circ y_{1:t-1}) \}$$
O token final $y_t$ é escolhido como:
$$y_t = \arg \max_{v \in V_\alpha} A(v | x \circ y_{1:t-1})$$
Isso garante que o modelo otimize o alinhamento apenas sobre tokens que sejam plausíveis e fluentes de acordo com a política alinhada.

Principais Contribuições

1. Alinhamento em Tempo de Inferência: O artigo propõe a AAD, um método simples e livre de treinamento que melhora o alinhamento na inferência, utilizando o modelo DPO como uma função de recompensa de token e o modelo SFT como referência.
2. Superioridade Empírica: Experimentos extensos em diversos benchmarks (Ultrafeedback, Argilla, Skywork, Nectar, etc.) e escalas de modelos (0.6B a 13B de parâmetros) demonstram que a AAD supera consistentemente bases fortes, incluindo Greedy DPO, Best-of-2 (Bo2) e Emulated Fine-Tuning (EFT), sob condições de computação equivalentes.
3. Geração de Dados Sintéticos Eficiente em Dados: Os autores demonstram que a AAD pode gerar conclusões sintéticas de alta qualidade. Essas conclusões podem ser usadas em loops iterativos de DPO para melhorar ainda mais o alinhamento do modelo, particularmente em cenários de dados limitados onde dados de preferência rotulados são escassos.

Resultados

• Desempenho em Benchmarks: A AAD alcança a maior recompensa de oráculo média e taxas de vitória em todos os conjuntos de dados e famílias de modelos testados. Por exemplo, no conjunto de dados Skywork com um modelo LLaMA de 3B, a AAD alcançou uma pontuação de recompensa de 19.27 comparada a 13.64 para o Greedy DPO.
• Robustez à Escassez de Dados: Em experimentos variando o tamanho do conjunto de dados de treinamento, a AAD superou consistentemente a amostragem Best-of-2, mesmo quando treinada com apenas 10% dos dados de preferência disponíveis.
• Avaliação Humana: Um estudo de avaliação humana no conjunto de dados Skywork mostrou que as respostas geradas pela AAD foram preferidas em relação ao Greedy DPO (taxa de vitória de 58,7%) e ao Best-of-2 (taxa de vitória de 73,5%), com um rating Elo de 1610.1, superando significativamente outras bases.
• Melhoria Iterativa: O uso de dados gerados pela AAD para DPO iterativo permitiu que modelos treinados com apenas 10% dos dados quase fechassem a lacuna de desempenho com modelos treinados com o conjunto completo de dados.
• Limitações: O método requer duas passagens de forward por token (uma para $\pi_{DPO}$ e uma para $\pi_{SFT}$), resultando em aproximadamente metade do throughput da decodificação greedy padrão em uma única GPU. Além disso, os autores observam que a AAD é especificamente projetada para o pipeline SFT+DPO; a combinação com modelos treinados via PPO apresentou resultados mistos, pois o PPO não preserva a lacuna de probabilidade específica que a AAD explora.

Significância

O artigo posiciona a AAD como uma solução prática e teoricamente fundamentada para melhorar o alinhamento de LLMs sem o custo computacional de retreinamento ou a complexidade de modelos de recompensa externos. Ao interpretar o processo DPO como o aprendizado de uma função Q e utilizar o modelo de referência para mitigar vieses herdados, a AAD oferece uma estratégia de decodificação "plug-and-play" que aumenta a segurança e a utilidade. Os autores argumentam que esta abordagem é particularmente valiosa em cenários onde os pesos do modelo estão congelados, são proprietários ou quando dados de preferência de alta qualidade são limitados, fornecendo um caminho para um alinhamento mais forte através da otimização eficiente em tempo de inferência e geração de dados sintéticos.