Resumo Técnico: PACT – Preservando Núcleos Ancorados em Vetores de Tarefa para Fusão de Modelos

Declaração do Problema

A fusão de modelos surgiu como uma alternativa livre de treinamento para o aprendizado multitarefa, visando combinar múltiplos modelos ajustados para tarefas específicas em um único modelo multitarefa. O paradigma dominante, Aritmética de Tarefas (Task Arithmetic), decompõe os pesos ajustados em parâmetros pré-treinados ($\theta_0$) e vetores de tarefa ($\Delta_t = \theta_t - \theta_0$), realizando a fusão exclusivamente no espaço do vetor de tarefa. Esta abordagem assume implicitamente que todo o conhecimento específico da tarefa está codificado nos vetores de tarefa, enquanto o modelo pré-treinado serve meramente como um ponto de inicialização compartilhado.

Os autores desafiam essa suposição, argumentando que ela não se sustenta devido às preferências intrínsecas de tarefa dos modelos pré-treinados. Eles identificam um fenômeno onde o conhecimento crítico para a tarefa permanece "ancorado" nos pesos pré-treinados em vez de ser totalmente transferido para os vetores de tarefa. Essas dimensões, denominadas dimensões de Parede de Carga (Load-Bearing Wall - LBW), exibem atualizações insignificantes durante o ajuste fino (pequeno $|\Delta_t|$), mas são essenciais para manter o desempenho da tarefa. Os métodos de fusão existentes, ao operar apenas nos vetores de tarefa, inadvertidamente sobrescrevem ou distorcem essas dimensões LBW ao agregar múltiplas tarefas, levando à degradação do desempenho.

Metodologia: PACT (Preserve Anchored Cores)

Para abordar a vulnerabilidade das dimensões LBW, os autores propõem o PACT, um framework livre de dados projetado para proteger o conhecimento específico da tarefa ancorado no modelo pré-treinado durante o processo de fusão.

1. Identificação das Dimensões LBW

O artigo caracteriza as dimensões LBW a partir de duas perspectivas:

• Perspectiva de Peso Escalar: Usando Informação de Fisher e pontuações de enriquecimento, os autores identificam parâmetros específicos que possuem magnitudes pequenas no vetor de tarefa, mas alta sensibilidade à perda da tarefa.
• Perspectiva de Subespaço: Usando Decomposição de Valores Singulares (SVD), os autores definem o subespaço LBW ($V_{t,LBW}$) para uma tarefa $t$. Este é derivado projetando o subespaço principal dos pesos pré-treinados ($V_{0,K}$) sobre o complemento ortogonal do subespaço de atualização ativa da tarefa ($V_{t,k}$). Formalmente:
  $$V_{t,LBW} = \text{orth}\left((I - V_{t,k}V_{t,k}^\top)V_{0,K}\right)$$
  Este subespaço captura direções de características pré-treinadas críticas para a tarefa que permanecem intocadas durante o ajuste fino.

2. O Algoritmo PACT

O PACT opera filtrando os vetores de tarefa antes de aplicar algoritmos de fusão padrão (ex: Task Arithmetic, TSV-M, Iso-C). O mecanismo central envolve a construção de um Escudo Ortogonal Global para cada tarefa para evitar que suas atualizações interfiram nos subespaços LBW de outras tarefas.

• Construção do Escudo: Para uma tarefa específica $t$, o algoritmo agrega os subespaços LBW de todas as outras tarefas ($V_{j,LBW}$ para $j \neq t$) e constrói uma base ortonormal unificada $V_{t}^{protect}$ usando decomposição QR. Este escudo representa a união das dependências críticas pré-treinadas exigidas por todas as outras tarefas.
• Filtragem: O vetor de tarefa $\Delta_t$ é projetado no complemento ortogonal deste escudo para remover componentes que sobrescreveriam os "espaços sagrados" de outras tarefas:
  $$\tilde{\Delta}_t = \Delta_t - \Delta_t V_{t}^{protect}(V_{t}^{protect})^\top$$
• Fusão: Os vetores filtrados $\{\tilde{\Delta}_t\}$ são então fundidos usando algoritmos existentes.

3. Variante Eficiente (SVD Aleatorizada)

Para melhorar a escalabilidade, os autores propõem uma variante eficiente usando SVD Aleatorizada (RSVD). Como o PACT requer primariamente a extração dos top-$k$ vetores singulares, o RSVD aproxima esses componentes com complexidade computacional significativamente reduzida ($O(mnk)$ vs. $O(mn^2)$ ou $O(n^3)$) e menor pegada de memória, enquanto atua como um regularizador implícito que suaviza o ruído de alta frequência.

Principais Contribuições

1. Revisão das Suposições da Aritmética de Tarefas: O artigo demonstra empiricamente que os vetores de tarefa não capturam totalmente o conhecimento específico da tarefa. Ele identifica e valida causalmente a existência das dimensões LBW — parâmetros que recebem atualizações ínfimas, mas são críticos para o desempenho.
2. Validação Causal: Através de experimentos de perturbação controlada (níveis escalar e de subespaço), os autores mostram que:
   • Modificar as dimensões LBW (mesmo com magnitudes pequenas) causa quedas catastróficas de desempenho.
   • A fusão padrão sobrescreve essas dimensões, e restaurá-las recupera o desempenho.
   • A ablação de subespaço dos componentes LBW leva a uma degradação de desempenho ordens de magnitude maior do que a ablação de subespaço aleatória.
3. Framework PACT: A proposta de um framework geométrico livre de dados que constrói escudos ortogonais para filtrar atualizações conflitantes, integrando-se perfeitamente com métodos de fusão baseados em peso escalar e subespaço.
4. Análise Teórica: Os autores fornecem limites teóricos mostrando que a degradação de desempenho causada pela filtragem do PACT é controlada pela projeção do gradiente e da atualização da tarefa no espaço de proteção, garantindo que o desempenho próprio seja preservado se a atualização da tarefa estiver concentrada em seu subespaço ativo.

Resultados Experimentais

Experimentos extensivos foram conduzidos em benchmarks de visão (ViT-B/32, ViT-B/16, ViT-L/14) em 8, 14 e 20 tarefas, cobrindo tanto configurações de ajuste fino total quanto de ajuste fino LoRA.

• Ganhos de Desempenho: O PACT melhora consistentemente os principais métodos de fusão (Task Arithmetic, TSV-M, Iso-C).
  • PACT-Iso-C alcança o estado da arte (SOTA) em todos os 9 cenários avaliados (3 backbones $\times$ 3 contagens de tarefas).
  • Na configuração de 20 tarefas com ViT-L/14, o PACT-Iso-C atinge 95,1% de acurácia absoluta e 98,3% de acurácia normalizada, superando o anterior melhor (Iso-CTS) por uma margem significativa.
• Adaptação LoRA: O PACT também melhora o desempenho de fusão para modelos ajustados via LoRA, demonstrando que os efeitos LBW persistem mesmo quando os parâmetros pré-treinados estão congelados durante o ajuste fino (pois o conhecimento LBW reside no modelo base).
• Eficiência: A variante RSVD atinge um desempenho comparável ao SVD completo (e às vezes superior devido à suavização implícita de ruído) enquanto reduz drasticamente a complexidade computacional.
• Estudos de Ablação:
  • Estático vs. Dinâmico: Um baseline estático (S-PACT) que filtra apenas contra o núcleo pré-treinado sem considerar os subespaços LBW de outras tarefas produz ganhos limitados, destacando a necessidade de proteção mútua dinâmica.
  • Profundidade por Camada: Filtrar camadas fundamentais iniciais (onde a energia de intrusão é mais alta) produz as melhorias mais significativas, embora a filtragem global seja necessária para altas cargas de tarefas.

Significância e Alegações

O artigo afirma que a fusão de modelos não é apenas sobre resolver conflitos entre atualizações de tarefas, mas também sobre respeitar e blindar ativamente as fundações pré-treinadas críticas. Ao identificar as dimensões de "Parede de Carga", os autores revelam um ponto cego fundamental nos métodos atuais baseados em vetores de tarefa: eles manipulam o que é explicitamente codificado nos vetores de tarefa, mas negligenciam o conhecimento implicitamente armazenado no modelo pré-treinado.

A significância do PACT reside em sua capacidade de:

• Fornecer uma perspectiva geométrica sobre a fusão de modelos que complementa abordagens algébicas existentes.
• Oferecer uma solução modular e livre de dados que pode ser integrada em qualquer pipeline de fusão de vetores de tarefa sem exigir acesso aos dados originais de treinamento.
• Estabelecer um novo desempenho SOTA através de diversas tarefas de visão e escalas de modelos, provando que proteger os núcleos ancorados é essencial para uma síntese multitarefa robusta.

Os autores concluem que, embora o PACT introduza algum overhead computacional (mitigado pela variante RSVD), ele oferece uma mudança de paradigma necessária para lidar com as dependências estruturais inerentes aos modelos pré-treinados durante a fusão. Sugere-se como trabalho futuro estender este framework para Grandes Modelos de Linguagem (LLMs) e explorar dimensionalidades adaptativas para os escudos de proteção.