Resumo Técnico: HARP – Seleção Eficiente de Dados para o Ajuste Fino de Grandes Modelos de Linguagem

1. Definição do Problema

O ajuste fino (finetuning) de Grandes Modelos de Linguagem (LLMs) requer a seleção de subconjuntos de dados de alta qualidade para melhorar o desempenho em tarefas específicas, ao mesmo tempo em que se gerencia os custos computacionais. As abordagens existentes enfrentam um compromisso entre dois objetivos concorrentes:

• Seletores sem treinamento (Train-free selectors): Estes métodos (por exemplo, baseados em similaridade de embeddings, agrupamento ou objetivos de diversidade) são escaláveis e baratos, mas dependem de proxies que podem não estar alinhados com o objetivo real da tarefa (ex: acurácia da tarefa). A alta similaridade de embedding com um conjunto de teste, por exemplo, não garante utilidade marginal para a melhoria do modelo.
• Seletores baseados em treinamento (Train-based selectors): Estes métodos (por exemplo, estimativa de valor de Shapley, funções de influência ou aproximações baseadas em gradiente) estimam explicitamente a contribuição dos dados para o desempenho da tarefa, oferecendo um melhor alinhamento com o objetivo final. No entanto, eles são computacionalmente proibitivos, exigindo inúmeras iterações custosas de "treinar–avaliar" para analisar candidatos a subconjuntos.

O artigo propõe a necessidade de um "meio-termo": um seletor que mantenha o alinhamento com o objetivo final dos métodos baseados em treinamento, mas evite o custo exaustivo de avaliar cada candidato.

2. Metodologia: Poda de Região Ativa Hierárquica (HARP)

O HARP é uma estrutura de seleção de dados baseada em treinamento e eficiente, projetada para reduzir os custos de seleção preservando o alinhamento com os objetivos da tarefa. Ele opera através de três mecanismos centrais:

A. Construção Hierárquica de Nós e Folhas

Em vez de avaliar exemplos de treinamento individuais, o HARP organiza o pool de treinamento em uma hierarquia de dois níveis:

1. Nós: Regiões locais grosseiras formadas pelo agrupamento (clustering) de exemplos de treinamento baseados em embeddings normalizados.
2. Folhas: Unidades de seleção atômicas (grupos de exemplos) dentro de cada nó.
   Esta estrutura reduz o número de unidades candidatas de $N$ (exemplos individuais) para $G$ (folhas), onde $G \le N/C_{min}$.

B. Estimativa de Utilidade Eficiente via Bayes Empírico

Avaliar cada folha ainda é caro. O HARP emprega uma estratégia de amostragem e inferência:

1. Amostragem Representativa: Para cada nó, um pequeno conjunto de folhas representativas é selecionado (via estratificação de tamanho e amostragem farthest-first) e efetivamente ajustado/avaliado.
2. Inferência: A utilidade das folhas não medidas é inferida usando posteriores de Bayes Empírico. O método interpola estimativas locais baseadas na similaridade com representantes medidos e aplica contração (shrinkage) em direção a uma média global para reduzir o ruído de estimativa.
3. Conjunto de Avaliação Proxy: Para reduzir ainda mais os custos de avaliação, o HARP constrói um conjunto de avaliação proxy compacto ($\tilde{E}$) que preserva a cobertura de domínio e a diversidade, em vez de avaliar no conjunto de validação completo durante cada iteração.

C. Envelopes de Seleção Complementares

Com base nos efeitos principais estimados (contribuições de utilidade) das folhas, o HARP introduz duas estratégias de seleção (envelopes) para lidar com redundância e complementaridade de formas distintas:

• HARP-C (Cobertura Conservadora): Utiliza um envelope conservador que credita apenas a folha positiva mais forte por domínio, enquanto acumula todos os danos estimados. Isso evita a contagem excessiva de utilidade quando múltiplas folhas capturam a mesma informação redundante. É particularmente eficaz para dados ruidosos ou heterogêneos.
• HARP-E (Aditivo Expansivo): Utiliza um envelope expansivo que soma as contribuições positivas entre as folhas. Isso permite que múltiplas folhas complementares dentro do mesmo domínio recebam crédito. Desempenha melhor em dados limpos e específicos da tarefa, onde a redundância é menos preocupante.

D. Garantias Teóricas

O artigo fornece análise teórica mostrando que, sob suposições de suavidade local e erro de estimativa limitado, o HARP controla o erro de seleção. Especificamente, o limite de erro para o HARP-C é proporcional a $(K+1)\eta$ e para o HARP-E a $K\eta$ (onde $K$ é o máximo de folhas em um conjunto e $\eta$ é o erro de estimativa), demonstrando estabilidade mesmo com estimativas de utilidade aproximadas.

3. Principais Contribuições

1. Estrutura HARP: Um novo método de seleção de dados hierárquico que reduz os custos de seleção baseada em treinamento em ordens de magnitude através de agrupamento em nível de folha e inferência de Bayes Empírico.
2. Estratégia de Duplo Envelope: A introdução do HARP-C e HARP-E, que oferecem forças complementares: HARP-C para poda robusta em ambientes ruidosos e HARP-E para maximizar a cobertura em conjuntos de dados limpos.
3. Análise Teórica: Provas formais estabelecendo a estabilidade do processo de seleção e limites no erro de seleção em relação à precisão da estimativa.
4. Validação Empírica: Avaliação abrangente em 3 modelos base, 3 conjuntos de dados de treinamento e 4 benchmarks de raciocínio.

4. Resultados Experimentais

Os autores avaliaram o HARP contra 6 baselines (incluindo Random, DSIR, DQ, Full Finetuning e variantes do SHED) em 36 configurações experimentais (3 modelos $\times$ 3 conjuntos de dados $\times$ 4 benchmarks).

• Desempenho: As variantes do HARP alcançaram o melhor resultado em 28 de 36 configurações (78%).
• Comparação com Baselines: Em média, o HARP-C e o HARP-E superaram o baseline não-HARP mais forte (SHED-O) em +8,9 e +7,9 pontos, respectivamente. Eles também superaram significativamente o Full Finetuning.
• Eficiência de Dados: As variantes do HARP alcançaram esses resultados usando aproximadamente 7$\times$ menos exemplos de treinamento do que os baselines de orçamento de 10k e 56$\times$ menos do que o Full Finetuning.
• Sensibilidade ao Conjunto de Dados:
  • O HARP-C destacou-se em conjuntos de dados ruidosos (Self-Instruct) e heterogêneos (Tulu-3).
  • O HARP-E teve melhor desempenho em conjuntos de dados limpos e específicos da tarefa (WizardLM), frequentemente superando o Full Finetuning.
• Estudos de Ablação: O método mostrou robustez a variações no tamanho da folha ($L$) e no número de representantes por nó ($R$), com as configurações padrão fornecendo um equilíbrio prático entre granularidade e custo.

5. Significância e Alegações

O artigo afirma que o HARP consegue preencher a lacuna entre a escalabilidade dos métodos sem treinamento e o alinhamento de objetivo dos métodos baseados em treinamento. Ao organizar os dados hierarquicamente e inferir utilidades via Bayes Empírico, o HARP evita as iterações exaustivas de "treinar–avaliar" que tornam o método tradicional de seleção inviável em larga escala.

Os autores enfatem que os dois envelopes são complementares: o HARP-C é superior para "poda conservadora" em regimes de dados ruidosos, enquanto o HARP-E é melhor para "cobertura mais ampla da tarefa" em regimes limpos. O trabalho demonstra que um ajuste fino de alta qualidade pode ser alcançado com recursos de dados e computacionais significativamente reduzidos sem sacrificar o desempenho da tarefa, abordando a ineficiência e a redundância frequentemente encontradas nos atuais conjuntos de dados de ajuste fino em larga escala.

Limitações: Os autores observam que o HARP requer um conjunto de avaliação que reflita a distribuição da tarefa de destino e que seus experimentos atuais são limitados a benchmarks de raciocínio, deixando tarefas de codificação e geração aberta para trabalhos futuros.