Resumo Técnico: Stay Unique, Stay Efficient (DTS)

Declaração do Problema

A fusão de modelos oferece um paradigma livre de dados e livre de otimização para unificar múltiplos modelos específicos de tarefas em uma única representação, evitando os custos proibitivos de ajuste fino (fine-tuning) e o armazenamento de modelos separados. No entanto, os métodos tradicionais de fusão básica (ex: Média de Pesos, Aritmética de Tarefas) sofrem de severos conflitos de parâmetros, levando a uma degradação significativa de desempenho, mesmo quando se fundem modelos treinados em tarefas semanticamente semelhantes.

Embora frameworks recentes de fusão de modelos personalizada tentem preservar informações específicas da tarefa para mitigar esses conflos, eles tipicamente incorrem em um overhead de armazenamento proibitivo. Métodos que armazenam componentes de especialistas densos, parâmetros de modelos completos ou redes de roteamento complexas anulam a principal vantagem de eficiência da fusão de modelos, limitando sua implantação em ambientes com restrição de recursos. O desafio central é preservar informações essenciais específicas da tarefa para manter o desempenho enquanto se minimiza o armazenamento extra necessário por tarefa.

Metodologia: Decomposição, Limiarização e Escalonamento (DTS)

Os autores propõem o DTS, um framework de fusão personalizada baseado em aproximação, projetado para comprimir informações específicas de tarefas de forma eficiente. O método opera em duas etapas principais: uma etapa de aproximação e uma etapa de inferência.

1. Representação de Informação Específica da Tarefa

O framework define a informação específica da tarefa em duas formas:

• Vetores de Tarefa ($\tau_n$): A diferença entre os pesos ajustados ($\theta_n$) e os pesos pré-treinados ($\theta_0$), ou seja, $\tau_n = \theta_n - \theta_0$.
• Vetores de Diferença ($d_n$): Uma representação inovadora definida como a diferença entre os pesos ajustados e uma linha de base de fusão grosseira ($\theta_m$), ou seja, $d_n = \theta_n - \theta_m$. Esta variante é particularmente útil quando os pesos pré-treinados originais são inacessíveis e captura o resíduo personalizado relativo a uma linha de base compartilhada.

2. O Pipeline de Compressão DTS

Para armazenar esses vetores de forma eficiente, o DTS aplica três operações sequenciais:

• Decomposição (SVD): A matriz alvo (vetor de tarefa ou vetor de diferença) passa por uma Decomposição de Valores Singulares (SVD) truncada. Apenas os top-$r$ valores singulares e seus vetores correspondentes são retidos, filtrando ruídos de parâmetros não estruturados com base no teorema de Eckart-Young-Mirsky.
• Limiarização (Thresholding): Em vez de usar uma máscara binária simples (que descarta informações refinadas), o DTS introduz uma estratégia de limiarização inovadora. Ele particiona os elementos de cada vetor singular em quatro grupos:
  1. Valores positivos "Grandes"
  2. Valores positivos "Pequenos"
  3. Valores negativos "Grandes"
  4. Valores negativos "Pequenos"
     Isso é alcançado codificando primeiro o sinal (1 bit) e, em seguida, comparando valores positivos/negativos contra suas respectivas medianas para determinar os níveis de magnitude.
• Escalonamento (Scaling): Para cada um dos quatro grupos, um fator de escala único é computado. Este fator representa a média aritmética (calculada via norma L1 para eficiência) dos valores absolutos dentro daquele grupo.

3. Reconstrução e Eficiência de Armazenamento

Durante a inferência, a informação específica da tarefa é reconstruída combinando os vetores singulares aproximados e os fatores de escala. A representação resultante requer apenas 2 bits por elemento (1 bit para o sinal, 1 bit para o nível de magnitude), alcançando uma taxa de compressão de 16$\times$. Isso resulta em um overhead de armazenamento adicional de aproximadamente 1% por tarefa.

4. Generalização para Tarefas Não Vistas (Adaptação Livre de Dados)

Para lidar com tarefas não vistas sem dados de treinamento adicionais ou exemplos rotulados, os autores propõem uma variante que funde informações específicas da tarefa baseando-se na similaridade semântica.

• As características da tarefa (ex: nomes de classes para classificação, instruções para geração) são codificadas usando um codificador de texto pré-treinado para gerar embeddings semânticos.
• Os pesos de fusão para uma tarefa não vista são computados dinamicamente com base na similaridade de cosseno entre o embedding da tarefa não vista e os embeddings das tarefas vistas.
• Esta abordagem é inteiramente livre de dados (data-free) e não requer treinamento online ou backpropagation.

Principais Contribuições

1. Framework DTS: Um método de fusão personalizada leve, baseado em aproximação, que preserva a informação específica da tarefa enquanto minimiza o overhead de armazenamento através de SVD, limiarização de 4 grupos inovadora e escalonamento.
2. Variantes DTS-T e DTS-D: A introdução de duas implementações específicas: uma operando em vetores de tarefa padrão e outra em vetores de diferença (relativos a uma linha de base de fusão), oferecendo flexibilidade para diferentes cenários de implantação.
3. Generalização Livre de Dados: Um variante capaz de adaptar-se a tarefas não vistas aproveitando a similaridade semântica das características da tarefa, eliminando a necessidade de dados do domínio alvo ou roteadores treináveis.
4. Compromisso Eficiência-Desempenho: O método atinge o estado da arte em desempenho com apenas $\approx$1% de armazenamento extra por tarefa, superando significativamente os métodos de personalização existentes que frequentemente exigem 10–100% de armazenamento adicional.

Resultados Experimentais

Os autores avaliaram o DTS em tarefas de classificação visual (ViT-B/32, ViT-L/14, ViT-B/16), processamento de linguagem natural (RoBERTa, GPT-2) e geração de linguagem natural (Qwen-14B).

• Fusão Multitarefa Padrão: O DTS supera consistentemente os baselines de estado da arte (incluindo T-Switch, FREE-Merging e WEMOE) em benchmarks padrão.
  • No ViT-B/32, o DTS-D alcançou uma acurácia média de 90,40%, superando o melhor baseline (T-Switch com 90,15%) enquanto requer apenas 3,68% de memória adicional (comparado aos 6,25% do T-Switch e 49,95% do WEMOE).
  • No RoBERTa, o DTS-D alcançou 84,98% de acurácia média com apenas 3,81% de memória adicional, recuperando 99,06% do desempenho dos modelos ajustados individualmente.
  • Os autores observam que, ao ajustar adaptativamente o coeficiente de esparsidade ($r$), eles podem reduzir a taxa de memória adicional para <1% (ex: DTS-D* com 0,98% para ViT-B/32) com perda mínima de desempenho.
• Generalização para Tarefas Não Vistas: Em cenários zero-shot onde modelos ajustados para tarefas não vistas não estavam disponíveis durante a fusão:
  • As variantes do DTS superaram significativamente todos os métodos de personalização concorrentes. Por exemplo, no ViT-B/32 para tarefas não vistas, o DTS-D alcançou 55,41% de acurácia média, enquanto outros baselines de personalização (como WEMOE e T-Switch) caíram para a faixa de 40–50%, muitas vezes performando pior do que métodos de fusão básica como o Ties-Merging.
  • Isso demonstra que a fusão baseada em similaridade semântica transfere efetivamente o conhecimento específico da tarefa sem sofrer overfitting para as tarefas vistas.

Significância e Alegações

O artigo afirma que o DTS aborda o compromisso fundamental na fusão de modelos entre preservação de desempenho e eficiência de armazenamento. Ao demonstrar que a informação específica da tarefa pode ser comprimida para uma representação de 2 bits sem perda significativa de fidelidade, os autores argumentam que a fusão personalizada pode ser implantada em ambientes com restrição de recursos anteriormente inacessíveis a tais métodos.

Além disso, o trabalho destaca que os métodos de fusão personalizada frequentemente falham em generalizar para tarefas não vistas porque otimizam excessivamente para tarefas específicas vistas. A adaptação proposta, baseada em similaridade semântica e livre de dados, oferece uma solução escalável para cenários multitarefa de "cold-start", permitendo que modelos lidem com novas tarefas sem necessidade de dados de treinamento adicionais ou overhead computacional. Os autores posicionam o DTS como um paradigma prático, eficiente e eficaz para a próxima geração de implantação de modelos multitarefa.