From "Weak" Signals to Strong Models: Preference Delta Aggregation with LoRA Merging

Resumo Técnico: De Sinais "Fracos" a Modelos Fortes via Agregação de Delta de Preferência

Definição do Problema
O treinamento de Grandes Modelos de Linguagem (LLMs) fortes normalmente requer dados de supervisão de alta qualidade, que são frequentemente escassos ou proibitivamente caros para serem anotados. Embora trabalhos recentes (ex: Geng et al., 2025) tenham demonstrado que sinais de supervisão "fracos", derivados de diferenças de qualidade relativa entre pares de modelos fraco–mais fraco (ex: Qwen3 4B vs. 1.7B), podem melhorar modelos mais fortes, uma questão crítica permanece: múltiplos sinais fracos desse tipo podem ser agregados construtivamente para gerar novos ganhos?

Estratégias de agregação ingênuas enfrentam obstáculos significativos. O treinamento sequencial em múltiplos conjuntos de dados de preferência leva ao esquecimento catastrófico, enquanto o treinamento conjunto em conjuntos de dados misturados frequentemente falha em superar o melhor conjunto de dados individual devido a conflitos de gradiente. Além disso, métodos existentes para combinar atualizações de modelos (como a simples média de pesos) frequentemente ignoram a estrutura geométrica das atualizações de baixo rank, levando à interferência destrutiva ao mesclar diversas direções de preferência.

Metodologia
Os autores propõem a Agregação de Delta de Preferência (PDA - Preference Delta Aggregation), um framework de dois estágios projetado para agregar múltiplos sinais de supervisão "fracos" sem depender de dados de alta qualidade.

1. Derivação de Delta de Preferência:

   • O framework constrói conjuntos de dados de preferência a partir de $n$ pares distintos de modelos fraco–mais fraco. Para cada par, a resposta do modelo fraco mais forte é tratada como a amostra "escolhida" (chosen) e a resposta do modelo mais fraco como a "rejeitada" (rejected).
   • Um modelo estudante forte ($\theta_s$) é ajustado finamente de forma independente em cada conjunto de dados de preferência usando métodos de eficiência de parâmetros (especificamente LoRA).
   • Cada adaptador LoRA resultante ($\Delta W_i$) representa um delta de preferência, capturando a direção específica de melhoria induzida pelo hiato de qualidade relativa daquele par de modelos específico.

2. Mesclagem de Alinhamento Geométrico (GAM - Geometric Alignment Merging):

   • Para agregar esses adaptadores independentes, os autores introduzem a Mesclagem de Alinhamento Geométrico (GAM), um novo método de mesclagem que aborda a interferência direcional.
   • Decomposição: A matriz de atualização de baixo rank de cada adaptador é decomposta via Decomposição de Valores Singulares (SVD) em bases ortogonais ($U, V$) e valores singulares ($S$).
   • Alinhamento de Subespaço: Reconhecendo que adaptadores treinados independentemente podem aprender subespaços semelhantes com sistemas de coordenadas rotacionalmente desalinhados, o GAM alinha todos os adaptadores a um adaptador de referência usando o alinhamento de Procrustes Ortogonal na variedade de Grassmann (Grassmannian manifold). Isso sincroniza as orientações das bases enquanto preserva os subespaços subjacentes.
   • Reconstrução: As bases direcionais alinhadas ($\tilde{U}, \tilde{V}$) e as magnitudes ($\tilde{S}$) são calculadas pela média de forma independente e então reconstruídas para formar a atualização de peso mesclada final ($\Delta W_{GAM}$), que é adicionada ao modelo estudante pré-treinado.

Principais Contribuições

1. Agregação de Delta de Preferência (PDA): O primeiro framework que melhora modelos fortes ao agregar dados de preferência pareados de múltiplos pares de modelos fraco–mais fraco via mesclagem de LoRA, contornando a necessidade de supervisão de alta qualidade.
2. Mesclagem de Alinhamento Geométrico (GAM): Uma técnica de mesclagem consciente da geometria que mitiga a interferência direcional ao decompor adaptadores, alinhar seus subespaços de baixo rank via SVD e alinhamento de Procrustes, e realizar a média independente dos componentes de direção e magnitude.
3. Validação Empírica: Experimentos extensos demonstrando que o PDA-GAM compõe efetivamente capacidades complementares codificadas em distintos deltas de preferência, superando tanto os basais de delta único quanto de múltiplos deltas.

Resultos Experimentais
O framework foi avaliado em raciocínio de conhecimento (MATH, GPQA, MMLU, GSM8K) e busca agêntica (benchmarks de pergunta e resposta de um salto e múltiplos saltos como MuSiQue, HotpotQA).

• Ganhos de Desempenho: Utilizando apenas dados de preferência de baixa qualidade de modelos mais fracos, o PDA-GAM melhorou o modelo Qwen3-8B em uma média de 6,8 pontos em raciocínio de conhecimento e 7,3 pontos em busca agêntica.
• Comparação com Basais:
  • O PDA-GAM superou todos os basais de delta único e métodos de agregação baseados em treinamento (treinamento sequencial e conjunto), que sofreram com esquecimento catastrófico ou conflitos de gradiente.
  • Ele excedeu o melhor basal de delta único em 2,1 pontos (raciocínio) e 4,3 pontos (busca agêntica).
  • Superou consistentemente os métodos de mesclagem de LoRA existentes (Média Ingênua, TIES-Merging, KnOTS). Notavelmente, enquanto o TIES-Merging estagnou em tarefas de busca agêntica, o PDA-GAM continuou a melhorar conforme mais sinais eram adicionados.
• Generalização: Melhorias semelhantes foram observadas no modelo estudante Tülu3-8B, indicando robusta generalização entre diferentes arquiteturas.
• Análise Composicional: Uma análise qualitativa revelou que modelos de delta único frequentemente exibem especialização forte (ex: alta busca adaptativa, mas baixa verificação), enquanto o PDA-GAM compôs com sucesso esses comportamentos complementares, alcançando alto desempenho em ambos os domínios simultaneamente.

Significância e Alegações
O artigo afirma que agregar múltiplos sinais "fracos" de forma construtiva permite que modelos fortes ultrapassem o teto de desempenho de qualquer fonte de sinal única. Os autores atribuem esses ganhos à composição eficaz de capacidades complementares codificadas através de distintos deltas de preferência.

O trabalho valida a Hipótese do Aprendizado de Delta em ambientes de busca agêntica de múltiplos turnos mais complexos, estendendo sua aplicabilidade além de tarefas simples de raciocínio. Ao introduzir o GAM, o artigo aborda a incompatibilidade geométrica de diversos adaptadores LoRA, sugerindo que o alinhamento de subespaços é crucial para uma composição de modelo robusta. Os autores observam que esses ganhos dependem de sinais direcionalmente diversos; agregar pares comportamentalmente homogêneos produz apenas melhorias marginais, destacando a importância da diversidade de sinais.

Limitações
Os autores reconhecem três limitações primárias:

1. O método depende de sinais direcionalmente diversos; agregar pares homogêneos produz ganhos limitados.
2. O estudo é limitado a um conjunto específico de pares de modelos fraco–mais fraco, e o comportamento de escala com coleções maiores permanece inexplorado.
3. Embora métodos baseados em treinamento e baseados em LoRA tenham sido comparados, outras estratégias potenciais de agregação não foram investigadas.