Resumo Técnico: O Apelo e a Realidade da Reciclagem de LoRAs com Fusão Adaptativa

Declaração do Problema

A ampla disponibilidade de módulos de Adaptação de Baixo Rank (LoRA) ajustados finamente para modelos pré-treinados abertos despertou o interesse em "reciclar" esses módulos para melhorar o desempenho em novas tarefas não vistas. Pesquisas existentes sobre fusão de modelos e fusão adaptativa normalmente avaliam métodos em conjuntos curados e sob medida de LoRAs treinados sob condições controladas em tarefas específicas alvo. No entanto, nenhum trabalho anterior avaliou sistematicamente a viabilidade de reciclar LoRAs encontrados "no mundo real" em repositórios públicos como o Hugging Face Hub. Esses pools do mundo real são caracterizados por uma heterogeneidade extrema em dados de treinamento, hiperparâmetros e escolhas arquiteturais, e frequentemente carecem dos metadados necessários para uma seleção informada. Este artigo aborda a lacuna entre a promessa teórica da fusão adaptativa e sua utilidade prática em cenários realistas e com restrição de dados, utilizando um grande pool de LoRAs contribuídos por usuários.

Metodologia

Os autores conduziram um estudo empírico de larga escala usando um pool de 958 LoRAs contribuídos por usuários e treinados no modelo Llama 3.1 8B-Instruct. O framework de avaliação envolveu 62 tarefas downstream diversas, com uma restrição rigorosa de dados de apenas 100 amostras por tarefa (80 para treinamento/validação, 20 para validação) para ajustar os coeficientes de fusão.

Framework e Espaço de Design

O estudo propõe um framework unificado para explorar sistematicamente métodos de fusão adaptativa, variando quatro dimensões principais de design:

1. Seleção: Estratégias para escolher um subconjunto de $k$ LoRAs do pool (ex: Aleatória, Baseada em Avaliação, Similaridade de Cosseno, Quasi-FIM).
2. Granularidade: O nível no qual os coeficientes de fusão são aprendidos (Modelo, Camada, Subcamada ou Módulo).
3. Ativação de Coeficiente: Transformações aplicadas aos coeficientes brutos (Linear, Softmax, Leaky ReLU).
4. Ajuste (Tuning): Métodos de otimização (Baseado em Gradiente, Sem Gradiente ou Otimização conjunta de coeficientes e parâmetros LoRA).

Os autores identificaram uma configuração específica ("Ours") que apresentou melhor desempenho em buscas preliminares: Seleção baseada em avaliação (top-$k$ baseado na acurácia de validação da tarefa alvo), granularidade ao nível de módulo, ativação Leaky ReLU e ajuste baseado em gradiente.

Baselines e Comparações

O estudo comparou:

• Métodos não adaptativos: Média Simples (Simple Averaging), TIES Merging e Task Singular Vectors (TSV) Merging.
• Métodos adaptativos: LoraHub, $\pi$-Tuning, AdaMerging e o método proposto pelos autores ("Ours").
• Baselines Críticos:
  • Prompting Zero-shot: O modelo base sem qualquer adaptação.
  • LoRA da Tarefa-Alvo (Target-Task LoRA): Um LoRA treinado diretamente nas 100 amostras disponíveis da tarefa alvo. Este é um baseline crucial frequentemente negligenciado na literatura anterior, já que os métodos de fusão adaptativa também utilizam este pequeno conjunto de dados para ajustar os coeficientes.
  • LoRAs Inicializados Aleatoriamente: Um pool de LoRAs com parâmetros reinicializados a partir de uma distribuição normal para testar se o conhecimento específico nos LoRAs reciclados é necessário.

Resultados Principais

1. Fusão Adaptativa vs. Modelo Base

Métodos de fusão adaptativa usando LoRAs reciclados superam consistentemente o prompting zero-shot do modelo base nas 62 tarefas downstream. Métodos não adaptativos geralmente apresentam desempenho inferior aos métodos adaptativos, e selecionar um subconjunto de LoRAs (ex: 30) performa significativamente melhor do que tirar a média de todos os LoRAs disponíveis.

2. Fusão Adaptativa vs. LoRA da Tarefa-Alvo

Quando comparados a um LoRA treinado diretamente nos dados da tarefa alvo, os métodos de fusão adaptativa fornecem benefícios limitados e inconsistentes.

• A maioria dos métodos não adaptativos falha em superar o simples LoRA da tarefa alvo.
• Métodos adaptativos (como AdaMerging e "O-nosso") alcançam um desempenho comparável ao LoRA da tarefa alvo, mas raramente o superam significativamente.
• A inclusão do LoRA da tarefa alvo no pool de fusão é quase sempre necessária para que os métodos adaptativos alcancem seu melhor desempenho.

3. O Papel da Seleção e da "Transferência Positiva"

Uma descoberta impressionante é que, uma vez incluído o LoRA da tarefa alvo no pool de fusão, a escolha de outros LoRAs reciclados torna-se amplamente irrelevante.

• Seleção Aleatória vs. Avaliada: A lacuna de desempenho entre selecionar cuidadosamente os LoRAs com base em pontuações de avaliação e selecionar os LoRAs aleatoriamente desaparece quando o LoRA da tarefa alvo está presente.
• Inicialização Aleatória: Substituir os LoRAs reciclados por parâmetros inicializados aleatoriamente produz um desempenho semelhante ao uso de LoRAs reciclados reais, desde que o LoRA da tarefa alvo esteja no pool.
• Distribuição de Coeficientes: A análise dos coeficientes de fusão aprendidos revela que, quando o LoRA da tarefa alvo é incluído, o processo de otimização atribui a ele um peso significativamente maior do que qualquer outro LoRA reciclado, efetivamente ofuscando os demais.

4. Ambientes Controlados vs. Realistas

Os autores replicaram experimentos usando LoRAs "internos" (treinados em tarefas altamente relevantes para a tarefa alvo) para simular os ambientes controlados de trabalhos anteriores. Neste cenário, a transferência positiva foi observada, e a fusão superou o baseline do LoRA da tarefa alvo. No entanto, esse benefício decai rapidamente à medida que a relevância dos LoRAs de origem diminui, sugerindo que a "transferência positiva" observada na literatura anterior depende de uma região estreita de similaridade de tarefas que é rara em pools "do mundo real".

Significância e Alegações

O artigo conclui que, embora a fusão adaptativa seja uma técnica válida para melhorar os baselines zero-shot, sua utilidade prática para reciclar LoRAs "do mundo real" é limitada.

• Regularização vs. Transferência: Os autores sugerem que os ganhos marginais da fusão adaptativa sobre um simples LoRA da tarefa alvo provavelmente derivam de um efeito de regularização (via o espaço de coeficientes superparametrizado ou ensembling implícito) em vez de uma genuína "transferência positiva" de conhecimento dos LoRAs reciclados.
• Crítica Metodológica: O estudo destaca uma discrepância entre benchmarks controlados (onde as tarefas de origem são curadas para serem relevantes) e cenários realistas (onde as tarefas de origem são heterogêneas e frequentemente irrelevantes). Argumenta-se que as afirmações anteriores de sucesso podem estar exageradas quando aplicadas a repositórios de modelos do mundo real.
• Implicações Práticas: Pesquisadores que consideram a fusão adaptativa devem primeiro verificar se ela supera um baseline simples de LoRA da tarefa alvo. O artigo defende o uso de configurações de avaliação "do mundo real" e pede uma melhor infraestrutura (metadados padronizados, licenciamento e proveniência) em torno dos repositórios públicos de LoRA para tornar a reciclagem mais viável.

Os autores disponibilizam seus checkpoints de modelo e código para facilitar avaliações futuras rigorosas e realistas.