🤖 machine learning

ActiveDPO: Active Direct Preference Optimization for Sample-Efficient Alignment

ActiveDPO é um algoritmo de alinhamento eficiente em amostras que aproveita um modelo de recompensa parametrizado por LLM, fundamentado teoricamente, para selecionar dados de preferência de alta qualidade para funções de recompensa não lineares, superando os métodos existentes ao levar explicitamente em conta a influência do modelo-alvo durante a seleção de dados.

Autores originais: Xiaoqiang Lin, Arun Verma, Zhongxiang Dai, Daniela Rus, See-Kiong Ng, Bryan Kian Hsiang Low

Publicado 2026-05-18

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Xiaoqiang Lin, Arun Verma, Zhongxiang Dai, Daniela Rus, See-Kiong Ng, Bryan Kian Hsiang Low

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um aluno muito talentoso, mas ligeiramente travesso (o Modelo de Linguagem de Grande Escala, ou LLM). Esse aluno é ótimo em escrever, mas às vezes produz textos que são grosseiros, factualmente incorretos ou simplesmente não soam como o que um humano preferiria. Para corrigir isso, você precisa de um professor (um humano) para examinar duas respostas diferentes que o aluno escreveu e dizer: "Eu gosto mais desta".

O problema é que contratar um professor é caro e consome muito tempo. Você não pode pedir que ele corrija cada peça de trabalho que o aluno já escreveu. Você precisa ser inteligente sobre qual trabalho mostrar a ele.

Este artigo apresenta um novo método chamado ACTIVEDPO para resolver esse problema. Aqui está como ele funciona, dividido em conceitos simples:

1. O Jeito Antigo: Adivinhar ou Seguir Regras

Anteriormente, pesquisadores tentaram escolher trabalhos para mostrar ao professor de duas maneiras principais:

O Jeito Aleatório: Apenas escolher trabalhos ao acaso. Isso é fácil, mas ineficiente, porque você pode mostrar ao professor 100 redações que são exatamente iguais, desperdiçando seu tempo.
O Jeito "Linear": Alguns métodos inteligentes tentaram usar matemática para escolher o trabalho "mais confuso". No entanto, esses métodos assumiam que o cérebro do aluno funcionava de maneira simples e retilínea (como uma calculadora básica). Mas os LLMs são complexos e bagunçados; seus cérebros funcionam de maneiras torcidas e não lineares. Portanto, esses métodos frequentemente falhavam porque tentavam encaixar uma chave quadrada em um buraco redondo.

2. O Jeito Novo: ACTIVEDPO (O Tutor "Autorreflexivo")

ACTIVEDPO é como um tutor superinteligente que sabe exatamente o que o aluno ainda não sabe.

Usando o Aluno para Ensinar o Aluno: Em vez de usar uma ferramenta separada e genérica para decidir o que mostrar ao professor, o ACTIVEDPO usa o próprio aluno (o LLM) para descobrir do que ele precisa de ajuda. Ele pergunta ao aluno: "Se você tivesse que adivinhar qual resposta é melhor, quão confiante você está?"
O Medidor de "Confusão": O método analisa a "confiança" interna do aluno (matematicamente, isso é o gradiente). Se o aluno está muito confuso entre duas respostas, essa é uma oportunidade perfeita para mostrar ao professor. Se o aluno já está certo, não há sentido em perguntar ao professor.
O Filtro de "Diversidade": Imagine que você está escolhendo perguntas para fazer a um professor. Se você fizer três perguntas que soam todas iguais, você não está aprendendo muito. O ACTIVEDPO possui um filtro especial (chamado de regularizador de diversidade) que diz: "Não escolha esta pergunta; já perguntamos algo muito similar ontem". Ele força a seleção a cobrir novos terrenos, garantindo que o professor esteja ensinando o aluno sobre uma grande variedade de tópicos.

3. Tornando-o Prático: O Truque do "Esboço"

Havia um grande problema com essa ideia: para descobrir do que o aluno está confuso, você precisa realizar uma quantidade massiva de cálculos para cada peça de trabalho individual. É como tentar medir o peso exato de cada grão de areia em uma praia para encontrar o mais pesado. Isso levaria uma eternidade e encheria a memória do seu computador.

Os autores vieram com dois truques inteligentes para acelerar isso:

Agrupamento (Batching): Em vez de escolher um trabalho de cada vez, eles escolhem um pequeno grupo (um lote) de uma só vez. Isso economiza tempo porque não precisam recalcular a "confiança" do aluno para cada item individualmente.
O "Esboço" (Projeção Aleatória): Imagine que você tem uma pintura gigante e detalhada do cérebro do aluno. É grande demais para carregar. Em vez de carregar a pintura inteira, você faz um esboço rápido e simplificado dela. Esse esboço mantém os detalhes mais importantes, mas é pequeno o suficiente para ser carregado facilmente. Em termos matemáticos, eles reduzem os dados massivos para um tamanho menor sem perder as informações importantes necessárias para tomar a decisão.

4. Os Resultados

Os autores testaram esse método em diferentes "alunos" (diferentes modelos de IA) e diferentes tipos de trabalho (resumir notícias, responder perguntas longas).

O Resultado: O ACTIVEDPO consistentemente fez o aluno performar melhor usando menos interações com o professor do que qualquer outro método.
Por que isso importa: Provou que você não precisa mostrar tudo ao professor. Se você mostrar a ele as coisas certas — especificamente as coisas sobre as quais o aluno está confuso e que ele ainda não viu —, o aluno aprende muito mais rápido e se torna mais útil.

Analogia de Resumo

Pense em treinar uma IA como treinar um cachorro.

Os métodos antigos eram como jogar uma bola aleatoriamente e torcer para o cachorro aprender, ou usar um livro de regras rígido que assume que o cachorro pensa como um robô.
O ACTIVEDPO é como um treinador que observa o cachorro, nota exatamente quando o cachorro está hesitando ou confuso, e então dá uma ordem naquele momento exato para corrigir o comportamento. Ele também garante não repetir o mesmo truque uma e outra vez, mas sim ensinar um conjunto inteiro de novas habilidades de forma eficiente.

O artigo afirma que esse método é matematicamente sólido (tem uma teoria forte por trás) e praticamente eficaz (funciona bem em testes reais), tornando-o uma ferramenta poderosa para ensinar a IA a ser mais amigável ao humano sem quebrar o banco com feedback humano.

Resumo Técnico: ACTIVEDPO

Declaração do Problema

O alinhamento de Modelos de Linguagem de Grande Escala (LLMs) com preferências humanas é crítico para tarefas como resposta a perguntas, raciocínio e geração de código. Embora métodos como Aprendizado por Reforço a partir de Feedback Humano (RLHF) e Otimização Direta de Preferência (DPO) tenham se mostrado eficazes, eles dependem fortemente de conjuntos de dados de alta qualidade de anotações de preferência humana. A coleta desses conjuntos de dados é custosa e intensiva em recursos, criando um gargalo para o alinhamento eficiente.

As abordagens existentes para reduzir custos de anotação via seleção ativa de dados enfrentam limitações significativas:

Métodos Heurísticos: Algumas abordagens (por exemplo, Muldrew et al., 2024) carecem de uma fundação teórica rigorosa, levando a desempenho não confiável em diferentes tarefas e modelos.
Suposições Restritivas: Métodos fundamentados teoricamente (por exemplo, Mehta et al., 2023; Das et al., 2024) frequentemente assumem funções de recompensa latente lineares, o que não se sustenta para as funções de recompensa complexas e não lineares inerentes ao alinhamento de LLMs.
Seleção Desacoplada: Muitas abordagens existentes dependem de modelos de recompensa separados ou critérios de seleção independentes do LLM específico que está sendo alinhado. Isso falha em levar em conta como a seleção de dados influencia diretamente a dinâmica de aprendizado do próprio LLM e sua função de recompensa implícita.

O desafio central é desenvolver um algoritmo de seleção ativa de dados de preferência que seja tanto fundamentado teoricamente para funções de recompensa não lineares quanto eficaz na prática, ao alavancar explicitamente o próprio LLM.

Metodologia: ACTIVEDPO

Os autores propõem o ACTIVEDPO (Otimização Direta de Preferência Ativa), um algoritmo que integra o LLM diretamente no processo de seleção de dados. A metodologia opera em ciclos iterativos:

Geração de Dados: Em cada iteração $t$ , o LLM atual ( $\pi_{\theta_{t-1}}$ ) gera pares de respostas $(y_1, y_2)$ para um conjunto de prompts $x$ , formando um pool candidato $D_t$ .
Seleção Ativa: Em vez de usar um modelo de recompensa separado, o ACTIVEDPO usa a própria função de recompensa implícita do LLM, parametrizada por $\theta_{t-1}$ , para selecionar os tripletos mais informativos $(x, y_1, y_2)$ para anotação humana.
Base Teórica: O critério de seleção é derivado da Proposição 1, que estabelece um limite superior para o erro de estimação da diferença de recompensa entre duas respostas. O limite de erro depende do gradiente da rede neural que representa a função de recompensa. Especificamente, a incerteza é quantificada pela norma da diferença nos gradientes:
$\|\nabla r_{\theta_{t-1}}(x, y_1) - \nabla r_{\theta_{t-1}}(x, y_2)\|_{V_{t-1}^{-1}}$
onde $V_{t-1}$ é uma matriz que acumula os produtos externos dos gradientes de características dos dados previamente selecionados. O algoritmo seleciona tripletos que maximizam essa medida de incerteza, efetivamente escolhendo pontos de dados que são diversos e complementares aos dados já anotados.
Otimização: Anotadores humanos fornecem feedback de preferência ( $y_w \succ y_l | x$ ) para o lote selecionado. O LLM é então atualizado usando o objetivo DPO sobre esses novos dados rotulados.

Técnicas de Eficiência Prática

Para abordar a intratabilidade computacional de calcular gradientes completos e armazenar grandes matrizes de covariância para LLMs modernos, o ACTIVEDPO introduz três técnicas-chave:

Seleção em Lote: Em vez de selecionar uma amostra de cada vez, o algoritmo seleciona um lote de tamanho $B$ . A matriz $V$ é atualizada incrementalmente dentro do lote para manter a diversidade, reduzindo a frequência de recálculos de gradientes caros e atualizações de modelo.
LoRA com Projeção Aleatória: Para reduzir armazenamento e computação, os autores calculam gradientes usando parâmetros de Adaptação de Baixo RANK (LoRA). Esses gradientes são então projetados para uma dimensão inferior (por exemplo, 8192) usando projeção aleatória, justificada pelo lema de Johnson-Lindenstrauss. Isso preserva a estrutura de produto interno necessária para o critério de seleção, enquanto reduz drasticamente a dimensionalidade.
Normalização de Gradiente: Para evitar que o critério de seleção favoreça respostas mais longas (que naturalmente produzem gradientes com norma $L_2$ maior), todos os gradientes são normalizados para norma unitária antes de calcular a pontuação de seleção.

Contribuições Principais

Critério Fundamentado Teoricamente para Recompensas Não Lineares: O artigo introduz um critério de seleção derivado da teoria de bandits de duelo neural, aplicável às funções de recompensa não lineares parametrizadas por LLMs, superando as suposições de linearidade de trabalhos teóricos anteriores.
Seleção de Dados Centrada no LLM: Diferentemente de métodos que usam modelos de recompensa externos, o ACTIVEDPO usa explicitamente os próprios gradientes do LLM para guiar a seleção de dados. Isso garante que os dados selecionados sejam adaptados ao estado atual e às necessidades de aprendizado do modelo específico.
Implementação Escalável: A integração de seleção em lote, gradientes LoRA e projeção aleatória torna a abordagem teoricamente rigorosa viável para modelos em grande escala, equilibrando custo computacional com eficiência de rotulagem.
Validação Empírica: Extensos experimentos demonstram que o ACTIVEDPO supera consistentemente as linhas de base existentes (Aleatório, APO, APLP) em diversas famílias de modelos (Llama, Gemma, Qwen) e conjuntos de dados (TLDR, WebGPT).

Resultados Experimentais

Os autores avaliaram o ACTIVEDPO em dois conjuntos de dados (resumo TLDR e QA de formulário longo WebGPT) usando três LLMs (Llama-2-7B, Gemma-2B, Qwen3-4B).

Desempenho: O ACTIVEDPO alcançou consistentemente pontuações médias de recompensa e taxas de vitória mais altas em comparação com seleção Aleatória, APO (que assume recompensas lineares) e APLP (um método heurístico DPO).
Dependência do Modelo: Experimentos mostraram que diferentes LLMs (mesmo dentro da mesma família, mas treinados em dados SFT diferentes) requerem subconjuntos de dados diferentes para alinhamento ótimo, validando a necessidade de estratégias de seleção específicas do modelo.
Estudos de Ablação:
- Projeção Aleatória: O desempenho estabilizou em uma dimensão de projeção de 8192, confirmando que dimensões inferiores podem ser usadas sem perda significativa de qualidade.
- Normalização de Gradiente: A normalização de gradientes mostrou-se capaz de melhorar o desempenho ao prevenir o viés de seleção em direção a respostas mais longas, garantindo que a seleção seja impulsionada pela informatividade e não pelo comprimento.

Significado e Alegações

O artigo afirma que o ACTIVEDPO representa um passo significativo para frente no alinhamento eficiente em amostras de LLMs, ao fechar a lacuna entre garantias teóricas e aplicação prática. Seu significado principal reside em:

Eliminação do Gargalo do "Modelo de Recompensa Separado": Ao usar o próprio LLM como modelo de recompensa para seleção, evita-se o desalinhamento que pode ocorrer quando um modelo separado guia a coleta de dados para um modelo alvo diferente.
Tratamento da Não Linearidade: Fornece um framework rigoroso para aprendizado ativo no contexto das paisagens de recompensa complexas e não lineares típicas de LLMs modernos, onde métodos teóricos anteriores falharam.
Eficiência de Rotulagem: O método alcança desempenho de alinhamento superior com menos anotações humanas, abordando o alto custo da coleta de dados.

Os autores reconhecem que, embora o método incorra em sobrecarga computacional adicional para cálculo de gradientes em comparação com heurísticas mais simples, esse custo é justificado pela redução substancial na necessidade de rotulagem humana cara. Eles observam que a aceleração adicional do cálculo de gradientes permanece uma área para pesquisa futura.