🤖 machine learning

Data-DPO: Direct Preference Optimization for Target Model Data Selection in LLM Post-Training

Este artigo propõe o Data-DPO, um novo método de seleção de dados para o pós-treinamento de LLMs que utiliza sondagem de etapa única para aprender preferências de dados conscientes do modelo-alvo por meio de um modelo de recompensa leve, construindo assim um subconjunto de treinamento de alta qualidade que supera consistentemente os baselines existentes e até mesmo o treinamento com o conjunto de dados completo.

Autores originais: Peng Sun, Yi Yang, Antong Zhang, Chunxiao Li, Yanbo Wang, Dianbo Liu, xin chen, Kai Yu, Lu Chen, Tianfan Fu

Publicado 2026-08-19

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Peng Sun, Yi Yang, Antong Zhang, Chunxiao Li, Yanbo Wang, Dianbo Liu, xin chen, Kai Yu, Lu Chen, Tianfan Fu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo em rápida evolução da inteligência artificial, os grandes modelos de linguagem tornaram-se ferramentas poderosas capazes de escrever, raciocinar e resolver problemas complexos. No entanto, ensinar esses modelos a realizar tarefas específicas requer um processo chamado ajuste fino supervisionado, onde o sistema aprende com vastas coleções de exemplos. Imagine tentar ensinar um aluno entregando-lhe uma biblioteca inteira de livros; embora o aluno possa eventualmente aprender, o processo é incrivelmente lento, caro e, muitas vezes, ineficiente porque grande parte do material é redundante ou irrelevante para a lição específica em questão. Pesquisadores há muito buscam uma maneira de selecionar apenas as páginas mais úteis dessa biblioteca, esperando treinar o modelo de forma mais rápida e barata sem sacrificar sua inteligência. A suposição prevalecente neste campo tem sido a de que alguns dados são simplesmente "melhores" do que outros com base em sua própria qualidade inerente, tal como um livro didático é julgado pela clareza de sua escrita.

Um novo estudo desafia essa visão estática da qualidade dos dados. Os pesquisadores, liderados por uma equipe da Universidade de Nanjing e várias outras instituições, argumentam que o valor de um exemplo de treinamento depende não apenas do exemplo em si, mas de quão bem ele se ajusta ao modelo específico que está sendo ensinado. Assim como um problema de física difícil pode ser perfeito para um aluno avançado, mas esmagador para um iniciante, uma amostra de dados de alta qualidade pode ser inútil para um modelo de inteligência artificial, enquanto é exatamente o que outro modelo precisa para melhorar. Para resolver isso, a equipe desenvolveu um método chamado Data-DPO, que atua como um guia personalizado para a seleção de dados de treinamento. Em vez de confiar em uma lista pré-escrita de exemplos "bons", este método observa como um modelo específico reage a diferentes amostras durante uma breve tentativa de execução. Ao observar quais exemplos ajudam o modelo a aprender mais em um único passo, o sistema constrói um mapa de preferências personalizado, identificando os dados que realmente ressoam com as necessidades atuais daquele modelo específico.

O cerne desta abordagem envolve um processo inteligente de duas etapas. Primeiro, os pesquisadores pegam um pequeno grupo representativo de dados e deixam o modelo alvo praticar sobre ele por apenas um momento. Eles medem o quanto o desempenho do modelo melou após esse pequeno passo. Se um exemplo específico causa uma queda significativa nos erros, isso sinaliza que o modelo está "ativando" ou despertando para aquela informação. O sistema então compara essas reações, criando um ranking de quais amostras são mais eficazes para aquele modelo específico naquele momento específico. Isso é um afastamento dos métodos antigos que tratavam o valor dos dados como uma propriedade fixa, independente do aprendiz. Os pesquisadores descobriram que, ao usar esse feedback em tempo real, eles puderam construir um conjunto de treinamento que era muito mais eficiente do que um escolhido pelo acaso ou por verificações de qualidade padrão.

Para garantir que os dados selecionados não fossem apenas fáceis de aprender, mas também diversos e de alta qualidade, a equipe combinou esse feedback específico do modelo com outros fatores. Eles adicionaram uma camada de avaliação de qualidade externa para garantir que as respostas estivessem corretas e uma medida de diversidade para garantir que o modelo visse uma ampla variedade de situações. Esta abordagem híbrida permitiu que eles escolhessem um subconjunto de dados que cobria o terreno necessário sem redundância. Quando testado em dois tipos diferentes de tarefas — uma envolvendo instruções visuais gerais e outra focada em raciocínio complexo — o novo método superou consistentemente as técnicas de seleção existentes. Em muitos casos, os modelos treinados nesses subconjuntos cuidadosamente selecionados tiveram um desempenho melhor do que modelos treinados em todo o conjunto de dados original, alcançando resultados superiores a 100 por cento do desempenho dos dados completos em alguns cenários.

O estudo também testou rigorosamente se este método dependia de um tipo específico de modelo ou de uma forma específica de medir a qualidade. Os resultados mostraram que a abordagem permaneceu robusta mesmo quando os pesquisadores alteraram o modelo alvo para um tamanho ou família diferente, ou quando trocaram as ferramentas usadas para julgar a qualidade dos dados. Isso sugere que o método não é um truque frágil que funciona apenas sob condições perfeitas, mas uma estratégia confiável para encontrar os dados certos para o modelo certo. Os pesquisadores notaram, no entanto, que o método ainda requer algum esforço computacional inicial para executar essas sondagens de teste, e funciona melhor quando a distribuição dos dados permanece relativamente estável. Em última análise, o trabalho demonstra que, na era dos grandes modelos, os dados de treinamento mais eficazes não são uma constante universal, mas uma relação dinâmica entre o aprendiz e a lição. Ao ouvir o próprio feedback do modelo, os pesquisadores podem agora curar conjuntos de treinamento que não são apenas menores, mas mais inteligentes.

Resumo Técnico: Data-DPO

Definição do Problema

O Ajuste Fino Supervisionado (SFT) é uma etapa crítica para o aprimoramento de Grandes Modelos de Linguagem (LLMs), mas treinar em conjuntos de dados de instrução em escala total é computacionalmente caro e frequentemente subótimo. Os métodos existentes de seleção de dados geralmente abordam isso selecionando subconjuntos baseados em importância da amostra (similaridade de gradiente, redução de perda) ou diversidade de dados (cobertura de embedding, redução de redundância).

No entanto, os autores argumentam que esses métodos tratam o valor dos dados como uma propriedade estática, determinada apenas pela qualidade intrínseca da amostra ou por sua posição em um espaço de representação. Isso negligencia um aspecto crucial: a compatibilidade entre uma amostra de dados e a distribuição de capacidade do modelo alvo específico. Uma amostra que é "alta qualidade" ou "informativa" em um sentido geral pode ser difícil demais para um modelo mais fraco ou redundante para um modelo mais forte. Portanto, o problema central abordado é como selecionar dados que não sejam apenas de alta qualidade, mas especificamente adequados às necessidades de aprendizado atuais do modelo alvo.

Metodologia: Data-DPO

O artigo propõe o Data-DPO, um framework de seleção de dados orientado ao modelo alvo. Diferente de métodos que dependem de proxies estáticos ou pontuações pré-computadas, o Data-DPO observa ativamente a dinâmica de treinamento local do modelo alvo para derivar preferências. O pipeline consiste em quatro etapas principais:

1. Codificação de Visão Dupla (Dual View Encoding)

Cada amostra candidata $z_i = (c_i, y_i)$ (condição e resposta) é codificada em duas representações complementares usando um modelo de embedding congelado:

Embedding de Condição ( $e^c_i$ ): Codifica apenas a entrada $c_i$ . Usado para construção de conjunto de sondagem e medição de diversidade marginal.
Embedding de Supervisão ( $e^s_i$ ): Codifica o par completo $(c_i, y_i)$ . Usado para aprendizado de preferência e pontuação.

2. Construção de Conjunto de Sondagem e Sondagem de Ativação (Probe Set Construction & Activation Probing)

Para caracterizar como o modelo alvo $M_0$ reage a diferentes amostras, um conjunto de sondagem (probe set) representativo $D_p$ é construído via clustering e uma estratégia greedy k-center para garantir cobertura.

Sondagem de Passo Único (One-Step Probing): O método realiza $T$ rodadas de atualizações de passo único. Para um lote $B_t$ , calcula-se a perda de SFT antes ( $\ell^0_i$ ) e depois de uma atualização temporária de um passo ( $\ell^1_i$ ).
Ganho de Ativação: O ganho é definido como $g^{(t)}_i = \log(\frac{\ell^0_i + \epsilon}{\ell^1_i + \epsilon})$ . Um ganho maior indica que a amostra ativa fortemente o modelo alvo localmente.
Construção de Preferência: Esses ganhos são normalizados dentro dos lotes e agregados para formar preferências pareadas ( $z_w \succ z_l$ ) com base em qual amostra gera maior ativação.

3. Aprendizado de Preferência (Estilo DPO)

Um modelo de recompensa leve (MLP residual) é treinado para prever as preferências dos dados condicionadas ao modelo alvo.

Objetivo: O modelo é treinado usando um objetivo de Otimização de Preferência Direta (DPO) no espaço dos dados.
Política de Referência: Ao contrário do DPO padrão, que usa uma política de modelo base como referência, o Data-DPO usa uma referência empírica uniforme sobre o conjunto de sondagem, já que o conjunto candidato é predefinido em vez de amostrado de uma política.
Treinamento: O modelo aprende a atribuir recompensas maiores a amostras preferidas pelo feedback de um passo do modelo alvo.

4. Seleção Sequencial

O subconjunto final é selecionado de forma gananciosa (greedy) combinando três sinais:

Preferência do Modelo Alvo ( $p_i$ ): A pontuação do modelo de recompensa treinado.
Qualidade Externa ( $q_i$ ): Uma pontuação de qualidade independente (ex: de um LLM separado).
Diversidade Marginal ( $d_i$ ): Medida pela similaridade de cosseno dos embeddings de condição contra o conjunto já selecionado.
A recompensa do passo é $R(S_t, z_i) = p_i + q_i + d_i(S_t)$ , garantindo que o subconjunto selecionado equilibre a ativação específica do modelo, a qualidade geral e a cobertura distributiva.

Principais Contribuições

Perspectiva Condicionada ao Modelo Alvo: O artigo reformula a seleção de dados enfatizando que o valor dos dados é dinâmico e depende da compatibilidade com a distribuição de capacidade do modelo alvo, em vez de ser uma propriedade intrínseca estática.
Framework Data-DPO: Introduz um método que constrói preferências de dados diretamente a partir do feedback de um passo de treinamento do modelo alvo, treinando um modelo de recompensa para aprender essas preferências específicas.
Estratégia de Seleção Híbrida: Propõe um mecanismo de seleção que integra as preferências do modelo alvo com qualidade externa e diversidade marginal para evitar o overfitting a amostras localmente fáceis de ativar.
Validação Empírica: Experimentos sistemáticos demonstram que o Data-DPO supera consistentemente os baselines existentes (incluindo métodos baseados em importância, diversidade e híbridos) e supera de forma estável o desempenho do treinamento com dados totais em diversos orçamentos de dados.

Resultados Experimentais

O método foi avaliado no Vision-Flan (instrução geral) e LLaVA-CoT (raciocínio) usando os modelos alvo LLaVA e Llama-3.2 sob orçamentos de dados de 5%, 10% e 15%.

Desempenho: O Data-DPO superou consistentemente todos os baselines (ex: Random, LESS, COINCIDE, EL2N) no Vision-Flan e em orçamentos menores no LLaVA-CoT.
- No Vision-Flan, alcançou um Desempenho Relativo Médio (ARP) de 100,76%, 102,63% e 102,70% para os orçamentos de 5%, 10% e 15%, respectivamente, todos excedendo o treinamento com dados totais.
- No LLaVA-CoT, alcançou 102,73% e 103,93% de ARP nos orçamentos de 5% e 10%, superando significativamente os baselines. No entanto, no orçamento de 15%, o EL2N alcançou um ARP de 102,46, ligeiramente superior ao 101,31 do Data-DPO. Apesar disso, o Data-DPO ainda superou todos os outros métodos e manteve o desempenho acima do treinamento com dados totais.
Estudos de Ablação:
- Modelos Proxy: O uso de um modelo proxy (treinado com 5% de dados) para sondagem em vez do modelo alvo original degradou significativamente o desempenho, validando a necessidade de feedback direto do modelo alvo.
- Combinação de Sinais: O uso apenas da preferência do modelo resultou em um desempenho inferior à seleção aleatória. A combinação de Preferência + Qualidade + Diversidade foi essencial para resultados ótimos, mostrando a complementaridade desses sinais.
- Robustez: O método permaneceu eficaz através de diferentes escalas de modelos alvo (7B vs 13B), diferentes famílias de modelos, diferentes fontes de pontuação de qualidade e diferentes modelos de embedding.

Significância e Alegações

O artigo afirma que o Data-DPO oferece uma mudança de paradigma na seleção de dados, movendo-se de uma avaliação estática centrada na amostra para uma avaliação dinâmica centrada no modelo.

Insight Central: O valor dos dados no SFT não é absoluto; é relativo ao estado atual do modelo alvo. Uma amostra que ativa as capacidades latentes de um modelo é mais valiosa do que uma que é meramente "de alta qualidade" isoladamente.
Estabilidade: Ao combinar preferências específicas do modelo com restrições de qualidade e diversidade, o Data-DPO evita as armadilhas de selecionar apenas amostras "fáceis" que podem levar a distribuições de treinamento estreitas.
Eficiência: Embora exija uma fase de sondagem, ele evita o treinamento de modelos proxy pesados para sinais de seleção, baseando-se em um modelo de recompensa leve treinado em feedback de um passo.

Os autores concluem que seu método fornece uma solução robusta e consciente do alvo para a seleção de dados de SFT, permitindo que os modelos alcancem um desempenho superior com uma redução significativa nos dados de treinamento.