Reducing Hallucinations in LLMs via Factuality-Aware Preference Learning

Resumo Técnico: F-DPO (Factuality-aware Direct Preference Optimization)

1. O Problema

Os métodos de alinhamento preferencial, como o Reinforcement Learning from Human Feedback (RLHF) e o Direct Preference Optimization (DPO), são eficazes para melhorar o seguimento de instruções e a segurança dos Modelos de Linguagem de Grande Escala (LLMs). No entanto, eles apresentam uma falha crítica: alinhamento preferencial pode reforçar alucinações.

• A Causa: Os rótulos de preferência humanos (ou de modelos) frequentemente favorecem respostas que são fluentes, confiantes e bem estruturadas, mesmo quando factualmente incorretas.
• O Dilema: Quando um par de preferências é treinado, o modelo aprende a priorizar a "escolhida" (winner) sobre a "rejeitada" (loser). Se a resposta escolhida for uma alucinação fluente e a rejeitada for factual mas menos elaborada, o DPO padrão aprende a gerar mais alucinações.
• Limitações das Soluções Atuais: Abordagens existentes para corrigir isso geralmente exigem modelos de recompensa auxiliares complexos, supervisão em nível de token (muito custosa computacionalmente) ou pipelines de treinamento multi-estágio, aumentando a complexidade e o custo de computação.

2. Metodologia: F-DPO

Os autores propõem o F-DPO, uma extensão simples, mas eficaz, do DPO que utiliza apenas rótulos binários de factualidade (factual vs. alucinado) para corrigir o desalinhamento entre preferência e verdade. O método opera em duas etapas principais:

A. Transformação de Rótulos (Label Flipping)
O objetivo é garantir que a resposta "escolhida" nunca seja menos factual do que a "rejeitada".

• O sistema atribui um rótulo binário $h \in \{0, 1\}$ a cada resposta ($0$ = factual, $1$ = alucinado).
• Calcula-se a diferença de factualidade: $\Delta h = h_l - h_w$.
• Se $\Delta h < 0$ (ou seja, a resposta escolhida é alucinada e a rejeitada é factual), o par é invertido: a resposta factual torna-se a escolhida e a alucinada torna-se a rejeitada.
• Isso elimina casos onde o modelo seria treinado para preferir mentiras.

B. Margem Condição de Factualidade (Factuality-Aware Margin)
Após a correção dos rótulos, o F-DPO introduz um termo de penalidade no objetivo de otimização para enfatizar pares onde há uma diferença clara de factualidade.

• A margem padrão do DPO é modificada para:
  $$m_{fact} = m_{DPO} - \lambda \cdot \Delta h$$
  Onde $\lambda$ é um hiperparâmetro de penalidade e $\Delta h$ é a diferença de factualidade (1 se a escolhida é factual e a rejeitada é alucinada; 0 caso contrário).
• Efeito: Quando a resposta escolhida é factual e a rejeitada é alucinada ($\Delta h = 1$), a margem efetiva diminui, aumentando a perda (loss) e forçando o modelo a atribuir uma probabilidade significativamente maior à resposta factual para minimizar o erro. Se ambos tiverem a mesma factualidade, o método reduz-se ao DPO padrão.

Pipeline de Dados:
Os autores construíram um conjunto de dados de preferência consciente de factualidade a partir do corpus Skywork Reward-Preference. Eles:

1. Adicionaram rótulos binários de factualidade usando um avaliador automático (GPT-4o-mini).
2. Geraram variantes sintéticas de alucinações para equilibrar as configurações de dados.
3. Aplicaram a transformação de label flipping e balancearam os dados antes do treinamento.

3. Principais Contribuições

1. Simplicidade e Eficiência: O F-DPO é um método de único estágio (single-stage) e em nível de resposta (response-level). Não requer modelos de recompensa auxiliares, anotações em nível de token ou pipelines complexos.
2. Correção de Ruído: A técnica de label flipping corrige diretamente pares de preferência mal ordenados causados por viés de fluência nos dados de treinamento.
3. Generalização: O método demonstra robustez em dados fora da distribuição (OOD), melhorando a performance em benchmarks não vistos durante o treinamento.

4. Resultados Experimentais

Os autores avaliaram o F-DPO em 7 LLMs de peso aberto (com tamanhos variando de 1B a 14B parâmetros), incluindo famílias Qwen, LLaMA e Gemma.

• Redução de Alucinações: O F-DPO reduziu consistentemente as taxas de alucinação em comparação com os modelos base e o DPO padrão.
  • Exemplo Destaque: No Qwen3-8B, a taxa de alucinação caiu de 0,424 para 0,084 (uma redução de 5x), enquanto a pontuação de factualidade aumentou 50% (de 5,26 para 7,90).
  • No Qwen2.5-14B, a taxa de alucinação atingiu 0,008, uma melhoria de quase uma ordem de magnitude sobre o modelo base.
• Generalização (TruthfulQA): O modelo treinado com F-DPO generalizou bem para o benchmark TruthfulQA.
  • No Qwen2.5-14B, houve um aumento de +17% na precisão MC1 e +49% na precisão MC2 em comparação ao modelo base.
  • Em contraste, o DPO padrão muitas vezes degradou a performance factual nestes benchmarks.
• Eficiência de Dados: Estudos de ablação mostraram que o F-DPO mantém alto desempenho mesmo utilizando apenas 25% dos dados de treinamento, demonstrando alta eficiência de dados.
• Manutenção da Utilidade: Ao contrário de métodos que sacrificam a utilidade pela factualidade, o F-DPO manteve ou melhorou as pontuações de "ajudabilidade" (helpfulness) na maioria dos modelos, sem degradar a qualidade da resposta.

5. Significado e Conclusão

O trabalho demonstra que a supervisão explícita de factualidade é essencial para evitar que a otimização de preferência reforce respostas fluentes, mas falsas.

• Impacto Prático: O F-DPO oferece uma solução acessível e computacionalmente eficiente para reduzir alucinações, tornando-se viável para uma ampla gama de modelos e aplicações, especialmente em domínios de alto risco como medicina, direito e finanças.
• Inovação: A combinação de label flipping (correção de dados) com uma margem condicional (otimização direcionada) resolve o problema de desalinhamento sem a sobrecarga de métodos anteriores.
• Limitações: O método depende de rótulos binários (factual vs. não factual), o que pode simplificar excessivamente nuances (como respostas parcialmente corretas). Além disso, o hiperparâmetro $\lambda$ requer ajuste, embora os autores mostrem que o método é robusto em uma ampla faixa de valores.

Em suma, o F-DPO representa um avanço significativo na alinhamento de LLMs, provando que é possível reduzir drasticamente alucinações com uma modificação simples e elegante no processo de otimização preferencial.