Resumo Técnico: DUET – Otimização de Misturas de Dados de Treinamento de LLMs via Feedback Ruidoso de Tarefas de Avaliação Invisíveis

1. Declaração do Problema

O desempenho dos Modelos de Linguagem de Grande Escala (LLMs) depende fortemente do alinhamento entre o domínio dos dados de treinamento e a tarefa de avaliação a jusante. No entanto, em muitos cenários práticos de implantação, a distribuição específica de dados, o domínio ou os rótulos da tarefa de avaliação são desconhecidos. Isso é denominado o cenário de tarefa de avaliação invisível.

Exemplos comuns incluem:

• Conversas criptografadas de ponta a ponta: Os proprietários de LLMs não podem acessar os dados reais de conversação entre usuário e chatbot devido a restrições de privacidade (por exemplo, políticas de privacidade corporativa), mas podem observar feedback grosseiro, como classificações de usuários ou duração da sessão.
• Mercados de modelos: Um proprietário de modelo vende um modelo a um consumidor que fornece feedback sobre o desempenho sem compartilhar os dados sensíveis de avaliação utilizados pelo consumidor.

Nesses cenários, o proprietário recebe apenas feedback grosseiro e ruidoso (por exemplo, classificações, tempo de conclusão da tarefa) em vez de informações detalhadas sobre os dados (gradientes, rótulos ou distribuições). Os métodos existentes de mistura de dados (por exemplo, DoReMi, BiMix) e técnicas de seleção de dados (por exemplo, LESS, coresets) geralmente exigem acesso a dados de avaliação detalhados ou assumem que a distribuição de treinamento corresponde à distribuição da tarefa. Consequentemente, eles falham ou performam de forma subótima quando aplicados diretamente a cenários onde os dados de avaliação são inacessíveis. O desafio central é: Como otimizar eficientemente a mistura de dados de treinamento de um LLM utilizando apenas múltiplas rodadas de feedback ruidoso de uma tarefa invisível?

2. Metodologia: DUET

O artigo propõe o DUET (Otimização de Misturas de Dados de Treinamento de LLMs via Feedback Ruidoso de Tarefas de Avaliação Invisíveis), um algoritmo global-para-local inovador que intercala seleção de dados com Otimização Bayesiana (BO).

2.1 Reparametrização do Problema

Os autores reparametrizam o problema de otimização. Em vez de buscar diretamente o conjunto ótimo de pontos de dados $X^*$, eles buscam a razão de mistura ótima $r \in \mathbb{R}^n$ entre $n$ domínios de dados de treinamento. O problema é formulado como uma otimização bilevel:

• Nível Externo (Global): Encontrar a razão de mistura ótima $r$ que minimize a perda da tarefa de avaliação invisível.
• Nível Interno (Local): Para uma dada razão $r$, encontrar o subconjunto de dados de alta qualidade $X \in S_r$ (onde $S_r$ é o conjunto de misturas de dados que satisfazem a razão $r$) que minimize a perda.

2.2 O Loop Interno: Seleção de Dados

Para resolver o problema interno, o DUET emprega uma estratégia de seleção de dados para recuperar pontos de dados de alta qualidade de cada domínio de acordo com a razão $r$ proposta.

• Funções de Influência (IF): O artigo utiliza principalmente Funções de Influência como mecanismo de seleção. Para cada domínio, um LLM separado é ajustado (fine-tuned) e as pontuações de IF são computadas para cada ponto de dados em relação a um conjunto de validação.
• Amostragem Ponderada por IF: Em vez de amostragem aleatória uniforme, o DUET realiza amostragem ponderada, onde a probabilidade de selecionar um ponto de dados é proporcional à sua pontuação de IF. Isso viésa a seleção em direção a pontos de dados que são mais "influenciais" na redução da perda do modelo.
• Estimador: A solução do problema interno é estimada treinando um LLM na mistura selecionada e avaliando-o na tarefa invisível. Os autores caracterizam teoricamente a distribuição desse estimador, mostrando que a amostragem orientada por IF reduz a variância e o viés em comparação com a amostragem aleatória uniforme.

2.3 O Loop Externo: Otimização Bayesiana

O loop externo utiliza Otimização Bayesiana para refinar iterativamente a razão de mistura $r$.

• Objetivo de Caixa-Preta: A função $f(r)$ representa a perda da tarefa invisível para uma dada razão $r$. Como essa perda é obtida via o estimador ruidoso do loop interno, $f(r)$ é tratada como uma função de caixa-preta com observações ruidosas.
• Processo Gaussiano (GP): O DUET modela $f(r)$ usando um prior de GP.
• Função de Aquisição: Em cada iteração $t$, o DUET propõe uma nova razão de mistura $r_t$ minimizando a função de aquisição do Limite Inferior de Confiança (LCB), equilibrando exploração e exploração.
• Loop de Feedback: A razão proposta $r_t$ é usada para amostrar dados, treinar/ajustar o LLM e observar o feedback ruidoso. Essa observação é adicionada ao histórico para atualizar o posterior do GP, e o processo se repete por $T$ iterações.

2.4 Fluxo do Algoritmo

1. Inicialização: Pré-computar as pontuações de IF para todos os pontos de dados nos domínios de treinamento. Inicializar a BO com misturas de dados aleatórias.
2. Iteração:
   • A BO propõe uma razão de mistura $r_t$.
   • Realizar amostragem ponderada por IF para gerar uma mistura de dados $X_t$ que satisfaça $r_t$.
   • Ajustar (fine-tune) o LLM em $X_t$ e observar o feedback ruidoso (perda de avaliação) da tarefa invisível.
   • Atualizar o posterior do GP com $(r_t, \text{feedback})$.
3. Terminação: Após $T$ iterações, retornar a mistura de dados de melhor desempenho observada.

3. Principais Contribuições

1. Novo Cenário de Problema: O artigo define um cenário realista onde os dados de avaliação são desconhecidos (tarefa invisível), mas feedback grosseiro e ruidoso está disponível, distinguindo-o de tarefas padrão de adaptação de domínio ou generalização.
2. Algoritmo DUET: Introdução de um framework global-para-local que intercala seleção de dados (especificamente amostragem orientada por IF) com Otimização Bayesiana para otimizar misturas de dados sem dados detalhados da tarefa.
3. Garantias Teóricas: Os autores fornecem uma análise teórica da convergência do DUET ao limitar o arrependimento cumulativo. Eles mostram que o DUET converge para a mistura de dados de treinamento ótima mesmo com feedback ruidoso, desde que o número de iterações da BO aumente.
4. Validação Empírica: Experimentos extensivos demonstram que o DUET supera as linhas de base existentes de mistura de dados (DoReMi, Aioli) e seleção (LESS) em cenários de tarefas invisíveis tanto dentro quanto fora do domínio.

4. Resultados Experimentais

Os experimentos foram conduzidos utilizando Llama-3-8b-Instruct e Qwen2.5-7B-Instruct ajustados via PEFT (LoRA).

• Conjuntos de Dados: 9 domínios de treinamento (por exemplo, Wikitext, GSM8K, PubMedQA, TruthfulQA) e várias tarefas de avaliação invisíveis (algumas dentro do domínio, outras fora do domínio).
• Linhas de Base: Comparado contra DoReMi, LESS, Aioli, BO de Multi-fidelidade e abordagens ingênuas (mistura uniforme, busca aleatória).
• Desempenho:
  • O DUET alcançou consistentemente pontuações de desempenho mais altas em todas as tarefas de avaliação em comparação com as linhas de base.
  • Em tarefas dentro do domínio (por exemplo, TruthfulQA), o DUET identificou com sucesso e ponderou fortemente o domínio de treinamento relevante.
  • Em tarefas fora do domínio (por exemplo, GSM8K sem dados de treinamento do GSM8K), o DUET aproveitou efetivamente o feedback para encontrar domínios proxy relevantes (por exemplo, Wikitext, SciQ), superando métodos que não conseguiam se adaptar ao feedback.
• Estudos de Ablação:
  • Seleção de Dados: O DUET com amostragem orientada por IF (DUET-IF) superou o DUET com amostragem aleatória uniforme (DUET-UR) e outros métodos de seleção como LESS e log-determinante.
  • Tamanho da Amostra ($k$): Aumentar o número de amostras $k$ no loop interno melhorou o desempenho, embora $k=1$ tenha sido suficiente para superar as linhas de base.
  • Componentes: Tanto o componente BO quanto o componente de seleção de dados foram mostrados como necessários para o desempenho ótimo.

5. Significado e Alegações

O artigo alega que o DUET é o primeiro trabalho a intercalar seleção de dados com Otimização Bayesiana para otimizar iterativamente misturas de dados de treinamento com base em feedback de uma tarefa de avaliação invisível.

• Relevância Prática: Aborda uma lacuna crítica na implantação de LLMs onde a privacidade ou a propriedade dos dados impedem o acesso aos dados de avaliação, mas a melhoria iterativa é desejada.
• Eficiência: Ao utilizar BO, o método é eficiente em termos de amostra, exigindo menos rodadas de treinamento/ajuste em comparação com a enumeração à força bruta de misturas de dados.
• Flexibilidade: O framework é flexível o suficiente para incorporar diferentes métodos de seleção de dados (IF, LESS, coresets) dependendo do orçamento computacional, embora o IF seja mostrado como o mais eficaz em seu cenário.
• Fundamentação Teórica: A análise de convergência fornece uma base teórica para o funcionamento do algoritmo, apesar do ruído e da falta de dados detalhados.

Os autores observam que, embora o foco atual seja no ajuste (fine-tuning), a abordagem é teoricamente adaptável ao pré-treinamento, embora não aleguem ter resolvido a otimização de pré-treinamento neste trabalho. Eles também reconhecem que o cálculo das pontuações de IF pode ser computacionalmente intensivo, mas sugerem pré-computação e modelos substitutos como mitigações práticas.