DRIFT: Learning from Abundant User Dissatisfaction in Real-World Preference Learning

Resumo Técnico: DRIFT – Aprendendo com a Abundância de Insatisfação do Usuário no Aprendizado de Preferências do Mundo Real

Declaração do Problema
O alinhamento atual de Grandes Modelos de Linguagem (LLMs) depende fortemente de Aprendizado por Reforço com Feedback Humano (RLHF) e Otimização de Preferência Direta (DPO). No entanto, esses métodos enfrentam desafios significativos de escalabilidade na implantação no mundo real. Eles dependem tipicamente de anotações humanas curadas e dispendiosas ou assumem a disponibilidade de feedback positivo (satisfação) abundante. Em contraste, os dados de interação no mundo real são caracterizados por uma escassez de sinais de satisfação explícita (SAT) (apenas 1–3% dos usuários fornecem feedback) e uma abundância de sinais de insatisfação implícita (DSAT). Os usuários expressam naturalmente a insatisfação por meio de correções, refinamentos e perguntas de acompanhamento, embora as abordagens existentes de aprendizado de preferência sejam mal alinhadas com esse perfil de dados, falhando frequentemente em aproveitar os ricos sinais negativos implícitos disponíveis na natureza.

Metodologia: DRIFT
Os autores propõem o DRIFT (Dissatisfaction-Refined Iterative preFerance Training), um framework projetado para ancorar o treinamento em sinais de DSAT do mundo real enquanto amostra dinamicamente respostas positivas.

• Mecanismo Central: Diferente de métodos que tratam respostas de "verdade fundamental" (ground-truth) fixas como positivas (ex: SPIN) ou que dependem de pares autogerados que podem sofrer colapso de qualidade, o DRIFT constrói pares de preferência onde:
  • Resposta Rejeitada ($y^-$): Um sinal genuíno de insatisfação do usuário extraído de logs de conversas autênticas (ex: um usuário corrigindo um erro do modelo).
  • Resposta Escolhida ($y^+$): Uma resposta nova amostrada da política atual e evolutiva ($\pi_\theta$) para o mesmo prompt.
• Processo Iterativo: O treinamento procede em ciclos. O modelo filtra um conjunto de dados selvagem (ex: WildFeedback) para identificar casos de DSAT. Para cada prompt associado a um sinal de DSAT, o modelo atual gera uma nova resposta candidata. O modelo é então atualizado via perda DPO para maximizar a verossimilhança da resposta positiva gerada em relação à resposta negativa do mundo real.
• Insight de Design Chave: Ao ancorar-se em negativos de DSAT autênticos e amostrar positivos da política em evolução, o DRIFT mantém uma margem de preferência não nula. Isso evita o "colapso de gradiente" observado em outros métodos de autoaperfeiçoamento, onde as respostas escolhidas e rejeitadas tornam-se muito semelhantes ao longo do tempo.

Principais Contribuições

1. Validação Empírica: O DRIFT supera consistentemente bases iterativas fortes (SPIN e Iterative DPO) em benchmarks do mundo real.
2. Exploração Aprimorada: O método preserva a capacidade exploratória, gerando soluções de alta recompensa diversas, em vez de colapsar em subconjuntos estreitos do espaço de resposta.
3. Análise Teórica: Os autores fornecem uma prova teórica de que o DRIFT mantém uma margem de preferência esperada não nula e evita a degeneração do gradiente, uma limitação crítica em modelos de autoaperfeiçoamento existentes que dependem de conjuntos positivos fixos.

Resultados Experimentais
Os autores avaliaram o DRIFT nos modelos Qwen2.5-7B e Qwen2.5-14B usando dois conjuntos de dados: WildFeedback (mundo real, rotulado por usuários) e UltraFeedback (sintético, rotulado por LLM).

• WildFeedback (Mundo Real):
  • O DRIFT alcançou até +6,23% (7B) e +7,61% (14B) de melhoria na Pontuação de Tarefa WildBench sobre os modelos base.
  • Alcançou até +8,95% (7B) e +12,29% (14B) de melhoria na taxa de vitória no AlpacaEval2.
  • Na escala de 14B, os modelos treinados com DRIFT superaram o GPT-4o-mini no WildBench.
  • O DRIFT demonstrou superior estabilidade ao longo de múltiplas iterações (até 5), enquanto o SPIN e o IterDPO mostraram degradação de desempenho ou platô precoce.
• UltraFeedback (Sintético):
  • O DRIFT manteve sua superioridade, superando o SPIN e o IterDPO mesmo em dados sintéticos, com ganhos de +7,61% (14B) na Pontuação de Tarefa WildBench e +12,29% na taxa de vitória no AlpacaEval2.
• Análise de Exploração: Usando topografia de recompensa semântica (UMAP + KDE), os autores mostraram que o DRIFT cobre uma parcela significativamente maior da região de alta recompensa global em comparação com as bases, indicando melhor diversidade e evitando o colapso de modo.

Significância e Alegações
O artigo afirma que o DRIFT oferece uma receita escalável e eficaz para o pós-treinamento no mundo real, aproveitando o sinal mais abundante e informativo disponível: a insatisfação do usuário.

• Escalabilidade: Transforma o "problema" do feedback negativo abundante em um ativo de treinamento, removendo o gargalo de precisar de anotações positivas escassas.
• Estabilidade: Ao evitar a dependência de um conjunto fixo de positivos "de ouro", o DRIFT mitiga o risco de reward hacking e colapso de modelo associados a métodos como o SPIN.
• Generalização: A abordagem generaliza-se através de diferentes arquiteturas de modelos (testado em Qwen e Gemma) e preserva as características de segurança, não mostrando aumento nas taxas de sucesso de jailbreak ou toxicidade em comparação com as bases.

Os autores concluem que fundamentar a otimização de preferência na insatisfação do mundo real fornece um caminho confiável para alinhar LLMs com as necessidades evolutivas dos usuários sem os custos proibitivos da anotação humana curada.