🤖 AI

Unbiased Alignment for Large Language Models with Noisy Preferences

Este artigo introduz um arcabouço teórico apresentando as perdas de Modelo de Recompensa Não Enviesado (URM) e de Otimização de Preferência Direta Não Enviesada (UDPO) para permitir que grandes modelos de linguagem alcancem um alinhamento robusto e tolerante a ruído diretamente de conjuntos de dados de preferência ruidosos sem exigir supervisão de verdade fundamental limpa.

Autores originais: Jialiang Wang, Xianming Liu, Xiong Zhou, Hui Liu, Haoliang Li

Publicado 2026-07-07

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Jialiang Wang, Xianming Liu, Xiong Zhou, Hui Liu, Haoliang Li

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um estudante brilhante, mas inexperiente (um Grande Modelo de Linguagem), a escrever boas histórias ou a responder perguntas. Você tem uma pilha de cartões de feedback de um grupo de pessoas, dizendo ao estudante quais respostas são "boas" e quais são "ruins".

O problema? As pessoas que estão dando o feedback não são perfeitas. Algumas estão cansadas, algumas estão confusas e algumas podem ter vieses pessoais. No mundo real, cerca de 20% a 40% desses cartões de feedback podem estar errados. Se você apenas seguir cegamente os cartões, o estudante aprenderá as lições erradas e começará a cometer erros.

Este artigo apresenta uma nova maneira de ensinar o estudante que ignora o "ruído" (os erros) nos cartões de feedback e foca na verdade subjacente.

A Ideia Central: Os Fones de Ouvido com "Cancelamento de Ruído"

Pense no feedback ruidoso como uma música tocando com muita interferência estática. Os métodos de ensino padrão tentam aprender a música ouvindo toda a bagunça, o que resulta em uma melodia distorcida.

Os autores deste artigo construíram um sistema matemático de "cancelamento de ruído". Eles perceberam que, se você souber como o ruído acontece (por exemplo, "20% das vezes, as pessoas invertem suas respostas"), você pode matematicamente reverter o processo. É como ter uma receita que diz: "Se o bolo estiver muito salgado, subtraia exatamente esta quantidade de sal para recuperar o sabor perfeito".

Eles criaram duas ferramentas específicas para isso:

URM (Modelo de Recompensa Não Enviesado): Este é para a primeira etapa do ensino. Normalmente, o modelo aprende a dar uma "pontuação" às respostas. Se o feedback for ruidoso, o sistema de pontuação fica confuso. O URM atua como um filtro que limpa as pontuações antes mesmo de o modelo vê-las, garantindo que o modelo aprenda a distinção correta entre "bom vs. ruim".
UDPO (Otimização de Preferência Direta Não Enviesada): Este é para a segunda etapa, onde o modelo realmente aprende a escrever. Em vez de apenas seguir o feedback ruidoso diretamente, o UDPO usa uma fórmula matemática especial para "desfazer" a confusão. Ele permite que o modelo aprenda o comportamento correto, mesmo que o professor esteja ocasionalmente errado.

Como Funciona: A "Fórmula Mágica"

O artigo afirma que você não precisa saber exatamente quais cartões de feedback específicos estão errados. Você só precisa saber a "taxa de ruído" geral (o quão bagunçado é o feedback).

Eles usam uma variável chamada $a$ (que é baseada na taxa de ruído).

O Truque da Compatibilidade para Baixo: Imagine que você está adivinhando o quão bagunçado é o feedback. Se você adivinhar que é muito bagunçado (uma taxa de ruído alta), mas na verdade é apenas um pouco baguncado, seu método ainda funcionará perfeitamente. É como usar botas de chuva pesadas em um dia ensolarado; você permanece seco mesmo que esteja apenas chuviscando. No entanto, se você adivinhar que está ensolarado, mas na verdade está caindo um temporal, você se molha. Os autores provaram que seu método é seguro mesmo se você superestimar o ruído.

Os Resultados: Vencendo o Jogo

Os pesquisadores testaram isso em conjuntos de dados do mundo real (como conversas de chat e tarefas de sumarização) e adicionaram ruído artificialmente para ver como o método se sustentava.

A Linha de Base: Os métodos padrão (como o DPO) começaram a falhar drasticamente quando o ruído aumentou. Eles ficaram confusos e tiveram um desempenho ruim.
O Novo Método: Seus métodos URM e UDPO mantiveram-se fortes. Mesmo quando 40% do feedback foi invertido (tornado errado), seus modelos ainda aprenderam a maneira correta de se comportar.
A Prova: Eles mostraram matematicamente que seu método não é apenas "sorte". É provado que ele recupera o "melhor professor possível" (o classificador Bayes ótimo) mesmo a partir de uma sala de aula ruidosa.

Em Resumo

Este artigo diz: "Não jogue fora seus dados de feedback ruidosos. Em vez disso, use nossas novas ferramentas matemáticas para limpá-los enquanto você aprende."

Eles fornecem uma função de perda de cancelamento de ruído (uma regra matemática para o aprendizado) que permite que modelos de IA aprendam com o feedback humano imperfeito e bagunçado sem ficarem confusos. É uma maneira mais robusta e segura de alinhar a IA com os valores humanos, garantindo que, mesmo que os humanos que fornecem o feedback estejam cansados ou enviesados, a IA ainda aprenda as lições corretas.

Resumo Técnico: Alinhamento Não Enviesado para Grandes Modelos de Linguagem com Preferências Ruidosas

Declaração do Problema

O alinhamento de Grandes Modelos de Linguagem (LLMs) com as preferências humanas é uma etapa crítica no pipeline de treinamento, tipicamente alcançada via Aprendizado por Reforço com Feedback Humano (RLHF) ou Otimização de Preferência Direta (DPO). No entanto, conjuntos de dados de preferência do mundo real são inerentemente ruidosos, com erros de anotação, falta de conhecimento profissional e vieses sociais introduzindo ruído significativo (frequentemente variando entre 20% e 40%).

Métodos de alinhamento padrão, incluindo RLHF e DPO, são vulneráveis a esse ruído. Eles tendem a sofrer overfitting em pares de preferência errôneos, levando a sinais de recompensa distorcidos ou modelos de política enviesados. Abordagens existentes para mitigar esse problema sofrem de limitações: algumas falham em alcançar tolerância total ao ruído, enquanto outras (por exemplo, rDPO) exigem a estimativa precisa da taxa de ruído, o que é inviável em cenários práticos onde os níveis de ruído de verdade absoluta (ground-truth) são desconhecidos.

Metodologia

Os autores propõem um framework teórico unificado para o Alinhamento Não Enviesado que corrige matematicamente a distorção induzida pelo ruído de preferência sem exigir supervisão de verdade absoluta limpa. O insight central é que o ruído de preferência segue um processo de transição estatisticamente modelado. Ao inverter este processo, os autores derivam funções de perda que permitem o treinamento direto de modelos não enviesados a partir de dados ruidosos.

O framework aborda dois paradigmas dominantes:

1. Modelo de Recompensa Não Enviesado (URM) para RLHF

No paradigma RLHF, o ruído corrompe a etapa de treinamento do modelo de recompensa. Os autores caracterizam a relação entre o modelo de recompensa ruidoso ideal ( $r^\eta$ ) e o modelo de recompensa não enviesado ideal ( $r^*$ ).

Derivação Teórica: Eles estabelecem uma relação de transformação onde o sinal de recompensa não enviesado pode ser recuperado da contraparte ruidosa usando uma constante $a = \frac{\eta}{1-\eta}$ , onde $\eta$ é a taxa de ruído.
Perda URM: Ao substituir a representação de recompensa ruidosa pela não enviesada, eles derivam a perda do Modelo de Recompensa Não Enviesado (URM):
$L_{URM} = -\log \frac{\exp(\Delta) + a}{\exp(\Delta) + 1}$
onde $\Delta = r_\phi(x, y_w) - r_\phi(x, y_l)$ . Esta perda permite o treinamento de um modelo de recompensa não enviesado diretamente de pares de preferência ruidosos.

2. Otimização de Preferência Direta Não Enviesada (UDPO) para DPO

Para o paradigma DPO, que otimiza a política diretamente sem um modelo de recompensa explícito, o ruído similarmente enviesa a política aprendida.

Derivação Teórica: Os autores demonstram que a relação entre políticas ruidosas e não enviesadas espelha a dos modelos de recompensa. Eles derivam a transformação entre a razão da política ruidosa e a razão da política não enviesada.
Perda UDPO: Isso leva à perda de Otimização de Preferência Direta Não Enviesada (UDPO):
$L_{UDPO} = -\log \frac{\left(\frac{\pi_\theta(y_w|x)\pi_{ref}(y_l|x)}{\pi_\theta(y_l|x)\pi_{ref}(y_w|x)}\right)^\beta + a}{\left(\frac{\pi_\theta(y_w|x)\pi_{ref}(y_l|x)}{\pi_\theta(y_l|x)\pi_{ref}(y_w|x)}\right)^\beta + 1}$
Isso permite a otimização direta de um modelo de política não enviesado, mantendo a simplicidade do framework DPO.

Framework Unificado e Propriedades Teóricas

Os autores mostram que tanto URM quanto UDPO compartilham uma forma baseada em margem unificada, preservando a equivalência fundamental entre RLHF e DPO. As principais propriedades teóricas estabelecidas incluem:

Tolerância ao Ruído: Os métodos são robustos a dados ruidosos por design.
Compatibilidade de Parâmetro para Baixo (Downward Compatibility): Se a verdadeira taxa de ruído $\eta^*$ for menor ou igual ao parâmetro estimado $\hat{\eta}$ (usado para definir $a$ ), a função de perda ainda produz uma solução ótima não enviesada. Isso é crucial, pois as taxas exatas de ruído são desconhecidas; superestimar o parâmetro de ruído garante robustez.
Calibração de Classificação: As funções de perda propostas são provadas ser calibradas para classificação, garantindo que a minimização da perda substituta leve ao classificador ótimo de Bayes.
Limite de Excesso de Risco: O artigo estabelece um limite relacionando o excesso de risco da perda não enviesada com a perda 0-1, demonstrando que o método pode recuperar o classificador ótimo de Bayes.

Principais Contribuições

Framework Teórico: Um framework teórico unificado para alinhamento não enviesado que inverte matematicamente a distorção do ruído de preferência para ambos RLHF e DPO.
Novas Funções de Perda: A derivação da perda URM para modelagem de recompensa e da perda UDPO para otimização direta de política, ambas capazes de treinar modelos não enviesados a partir de conjuntos de dados ruidosos.
Garantias Teóricas: Provas rigorosas demonstrando tolerância ao ruído, compatibilidade de parâmetro para baixo, calibração de classificação e limites de excesso de risco.
Validação Empírica: Experimentos abrangentes em diversos conjuntos de dados (Anthropic-HH, Reddit TL;DR, UltraFeedback Binarized) e famílias de modelos (Llama-3, Qwen) mostrando superioridade consistente sobre os baselines de estado da arte.

Resultados Experimentais

Os autores avaliaram seus métodos contra baselines incluindo RM/DPO padrão, variantes de suavização de rótulos (label smoothing) e outros métodos robustos (rDPO, Dr.DPO) sob níveis variados de ruído injetado manualmente (0%, 20%, 40%) e em conjuntos de dados ruidosos reais.

Treinamento do Modelo de Recompensa: URM e sua variante normalizada ( $\alpha$ -URM) superaram consistentemente todos os baselines. No dataset TL;DR com 40% de ruído, o URM melhorou as taxas de vitória em aproximadamente 8% em relação aos baselines padrão.
Treinamento de Preferência Supervisionada: UDPO e $\alpha$ -UDPO alcançaram as maiores taxas de vitória médias em todos os datasets. A taxa de vitória média do UDPO excedeu a do DPO normal em cerca de 15%, confirmando que o DPO padrão sofre overfitting ao ruído enquanto o framework não enviesado recupera a verdadeira política.
Escalabilidade: Os métodos demonstraram eficácia em modelos maiores (Llama-3.1-8B, Qwen-3-8B, Qwen-3-14B) e datasets complexos (UFB), mantendo a robustez em configurações de RLHF de ciclo fechado usando GRPO.
Ablação: Experimentos confirmaram que as variantes normalizadas ( $\alpha$ -URM/ $\alpha$ -UDPO) são menos sensíveis às escolhas de hiperparâmetros e alcançam consistentemente o desempenho ideal quando $a$ é definido para cobrir potenciais níveis de ruído.

Significância e Alegações

O artigo afirma oferecer uma "rota concisa, interpretável e eficaz para o alinhamento robusto de LLMs". Ao tratar o ruído de preferência como um processo de transição matemática e invertê-lo analiticamente, os autores fornecem uma solução que não depende do requisito impraticável de conhecer a taxa exata de ruído.

A significância reside em:

Utilidade Prática: A propriedade de "compatibilidade de parâmetro para baixo" permite que os praticantes definam um parâmetro de ruído conservador para garantir robustez sem precisar de uma estimativa precisa do ruído.
Rigor Teórico: O trabalho preenche a lacuna entre a teoria de aprendizado ruidoso e o alinhamento de LLMs, fornecendo garantias (calibração, limites de risco) que antes faltavam em métodos de alinhamento robusto.
Abordagem Unificada: Unifica o tratamento do ruído em ambos os paradigmas de modelagem de recompensa (RLHF) e otimização direta (DPO), demonstrando que a equivalência fundamental RLHF-DPO se mantém mesmo sob os objetivos não enviesados propostos.

Os autores concluem que seus métodos permitem o treinamento de LLMs que são resilientes ao ruído significativo prevalente em dados de preferência do mundo real, melhorando assim a segurança e a confiabilidade dos sistemas de IA alinhados.