Dynamic Model Merging Made Slim

Resumo Técnico: DiDi-Merging

Declaração do Problema
A fusão de modelos permite a reutilização de modelos ajustados finamente sem treinamento conjunto ou acesso aos dados originais, abordando os altos custos de implantação de múltiplos modelos específicos de tarefas e a inviabilidade do treinamento multi-tarefa devido a restrições de privacidade ou computação. Embora a fusão estática una modelos em um único ponto de verificação, ela sofre de interferência entre tarefas. A fusão dinâmica melhora a flexibilidade ao rotear entradas para componentes especialistas relevantes para a tarefa, mas os métodos existentes enfrentam um gargalo crítico de armazenamento. As abordagens dinâmicas atuais caem em dois extremos subótimos:

1. Compartilhado Pesado: Manter um modelo compartilhado de tamanho completo com especialistas minúsculos por tarefa (por exemplo, TALL-Mask, EMR-Merging), resultando em contagens de parâmetros não menores que o modelo original.
2. Especialista Pesado: Descartar o componente compartilhado e armazenar todo o conhecimento em vetores especialistas por tarefa (por exemplo, TSV-C, SMILE), fazendo com que o armazenamento escale linearmente com o número de tarefas.
   Nenhuma abordagem equilibra efetivamente o compromisso entre conhecimento compartilhado e capacidade específica da tarefa, levando a uma sobrecarga excessiva de armazenamento (tipicamente $\ge 2\times$ o tamanho de um único modelo ajustado finamente).

Metodologia: DiDi-Merging
Os autores propõem o DiDi-Merging (Fusão Dinâmica com Rank Diferenciável), um framework de fusão dinâmica enxuto que equilibra parâmetros entre especialistas compartilhados e específicos da tarefa por meio de alocação de rank diferenciável. O método opera em três etapas:

1. Decomposição de Baixo Rank: Vetores de tarefa ($\tau_t = \theta_t - \theta_0$) são decompostos em uma matriz de conhecimento compartilhado ($M_s$) obtida via média estática, e resíduos especialistas por tarefa ($M_t = \tau_t - M_s$). Ambas as matrizes são decompostas via Decomposição em Valores Singulares (SVD).
2. Otimização de Rank Diferenciável: Em vez de alocação de rank fixa, o método formula o orçamento de parâmetros como um problema de otimização diferenciável. Uma função de truncamento suave repondera os valores singulares com base em um parâmetro de rank contínuo aprendível $r$. O objetivo minimiza uma perda de reconstrução de tarefa (Erro Quadrático Médio entre vetores de tarefa reconstruídos e originais) enquanto penaliza desvios de uma taxa de compressão alvo. Isso permite que o modelo otimize conjuntamente os ranks dos componentes compartilhados e especialistas, alocando mais capacidade para tarefas diversas e menos para tarefas similares sem acesso aos dados de treinamento originais.
3. Refinamento Livre de Dados: Após determinar os ranks ótimos, os parâmetros de baixo rank truncados são refinados usando uma etapa de otimização livre de dados. Módulos no estilo LoRA de baixo rank ($A, B$) são inicializados a partir da SVD truncada e atualizados para minimizar a perda de reconstrução contra os vetores de tarefa armazenados, recuperando o desempenho perdido durante o truncamento.

Principais Contribuições

1. Identificação de Modos de Falha: O artigo caracteriza os métodos existentes de fusão dinâmica como sofrendo de extremos de alocação "compartilhado pesado" ou "especialista pesado", ambos levando a compromissos subótimos entre precisão e eficiência.
2. Alocação de Rank Diferenciável: O DiDi-Merging introduz um mecanismo para otimizar conjuntamente os ranks compartilhados e especialistas por tarefa via um objetivo de truncamento SVD diferenciável, eliminando a necessidade de ajuste manual de rank ou acesso a dados.
3. Fusão Dinâmica Enxuta: O framework alcança desempenho quase sem perdas com armazenamento significativamente reduzido. Ele iguala as bases dinâmicas anteriores em 1,24$\times$ a contagem de parâmetros de um único modelo ajustado finamente e supera-nas em 1,4$\times$, superando substancialmente métodos que exigem $\ge 2\times$ de armazenamento.

Resultados Experimentais
O DiDi-Merging foi avaliado em visão, Modelos de Linguagem de Grande Escala (LLMs) e Modelos de Linguagem Multimodal de Grande Escala (MLLMs):

• Visão: Em um benchmark ViT-B/32 de 8 tarefas, o DiDi-Merging-S (orçamento 1,24$\times$) igualou a base dinâmica mais forte (TSV-C em 2,08$\times$) com 89,3% de precisão versus 89,5%, enquanto usava menos de 60% do armazenamento. Em 1,4$\times$, alcançou a pontuação geral mais alta (89,8%).
• LLMs: Fundindo Llama-3.1-8B-Instruct e Qwen-2.5-7B-Instruct em quatro domínios, o DiDi-Merging-L (orçamento 2,0$\times$) superou os métodos dinâmicos anteriores em uma média de +5,4% no Llama-3.1-8B, com ganhos significativos em benchmarks de seguimento de instruções como AlpacaEval-2.
• MLLMs: Em configurações multimodais (visão, áudio, vídeo, nuvem de pontos), o DiDi-Merging superou consistentemente as bases dinâmicas livres de dados (NaiveMC, MMER) enquanto mantinha uma pegada de parâmetros enxuta. Notavelmente, alcançou retenção de desempenho superior a 100% em certas tarefas ao aproveitar conhecimento cruzado entre modalidades compartilhado.
• Eficiência: O método requer recursos computacionais modestos (aproximadamente 1,1 GB de memória de GPU) e roda em cerca de 14 minutos para a etapa de otimização no ViT-B/32.

Significado e Alegações
O artigo afirma que o DiDi-Merging representa um passo significativo para tornar a fusão dinâmica de modelos prática para implantação em grande escala. Ao afastar-se da dicotomia "compartilhado pesado" ou "especialista pesado", alcança um compromisso Pareto-ótimo entre eficiência de parâmetros e precisão. Os autores enfatizam que o método é totalmente livre de dados, dependendo exclusivamente de vetores de tarefa armazenados para refinamento, o que preserva a privacidade e reduz a barreira de entrada para a fusão de modelos especializados. O framework é apresentado como uma solução geral aplicável em domínios de visão, linguagem e multimodal, permitindo a implantação de conjuntos de especialistas sem a sobrecarga de armazenamento de manter múltiplos modelos completos ou a degradação de desempenho da fusão estática.