SAFE-Merge: Data-Free Continual Model Merging with General Knowledge Preservation

Resumo Técnico: SAFE-Merge

Definição do Problema
O artigo aborda a Fusão de Modelos Contínua Livre de Dados (DFCMM - Data-Free Continual Model Merging), um cenário onde um único modelo de base (backbone) deve ser atualizado sequencialmente com um fluxo de modelos especializados de tarefas sem acesso aos dados de treinamento originais ou a checkpoints anteriores. Enquanto os métodos existentes focam em mitigar a interferência entre tarefas subsequentes, eles frequentemente negligenciam a segurança do conhecimento geral pré-treinado codificado no backbone. O acúmulo agressivo de atualizações de tarefas pode erodir esse conhecimento fundamental, degradando o desempenho em distribuições não vistas e enfraquecendo a capacidade do modelo de adquirir tarefas futuras. O desafio central é integrar novas informações específicas da tarefa enquanto se preservam tanto as tarefas aprendidas anteriormente quanto as capacidades gerais transferíveis do modelo pré-treinado, tudo isso sem dados da tarefa.

Metodologia: SAFE-Merge
Os autores propõem o SAFE-Merge (Sparse Risk-Aware Masking and Low-Rank Recovery For General-Knowledge PrEservation), um framework no espaço de parâmetros que opera em três etapas distintas:

1. Mascaramento Esparso Consciente de Risco (Risk-Aware Sparse Masking):

   • O método trata o vetor da tarefa entrante $\tau_t = \theta_t - \theta_0$ como uma modificação nos pesos pré-treinados $\theta_0$.
   • Ele deriva uma pontuação de risco geral para cada atualização de parâmetro sem usar dados. Esta pontuação estima o "risco de sobrescrita" ao contrastar a energia da atualização ao longo das direções gerais pré-treinadas (aproximadas pelos vetores singulares superiores de $\theta_0$) contra as direções exclusivas da tarefa (aproximadas pelos vetores singulares superiores de $\tau_t$ ortogonalizados em relação a $\theta_0$).
   • Uma máscara binária $M_t$ é gerada retendo apenas as atualizações de parâmetros com as menores pontuações de risco (ou seja, aquelas que são seguras para o conhecimento geral e potencialmente úteis para a tarefa). Atualizações de alto risco são zeradas.

2. Recuperação de Baixo Rank Mascarada (Masked Low-Rank Recovery):

   • Como o mascaramento descarta informações potencialmente úteis da tarefa, um termo de recuperação de baixo rank ($B_t A_t$) é introduzido.
   • Crucialmente, esta recuperação é restrita à mesma região mascarada. O termo de recuperação é computado como $M_t \odot (B_t A_t)$, garantindo que nenhum parâmetro rejeitado pela máscara de risco seja sequer modificado.
   • Os fatores de recuperação são otimizados sem dados usando dois objetivos:
     • Objetivo de Preservação ($L_{old}$): Penaliza atualizações que se alinham com direções de tarefas acumuladas anteriormente para limitar o esquecimento.
     • Objetivo de Recuperação de Tarefa ($L_{new}$): Faz com que a atualização fundida corresponda ao vetor da tarefa entrante dentro do subespaço dominante da tarefa para restaurar o desempenho.
   • Esses objetivos são equilibrados por um hiperparâmetro $\lambda$.

3. Fusão (Fusion):

   • A atualização final $\Delta_t$ combina o vetor de tarefa mascarado e o termo de recuperação mascarado.
   • Esta atualização é fundida no backbone fundido contínuo: $\theta_{merged, t} = \theta_{merged, t-1} + \Delta_t$.
   • A máscara e os fatores de baixo rank são descartados após a fusão, garantindo que não haja custo de inferência adicional ou aumento na contagem de parâmetros.

Principais Contribuições

1. Critério Consciente de Risco: Os autores desenvolvem uma métrica livre de dados, por parâmetro, que contrasta a sobreposição do subespaço geral com a energia exclusiva da tarefa para selecionar um conjunto esparso de atualizações seguras.
2. Recuperação de Baixo Rank Mascarada: Eles introduzem um mecanismo para recuperar a utilidade da tarefa suprimida pelo mascaramento usando uma atualização de baixo rank restrita, evitando a modificação de parâmetros de alto risco enquanto restaura a plasticidade.
3. Superioridade Empírica: O método é avaliado em benchmarks de visão (CLIP ViT) e linguagem (Flan-T5), demonstrando um equilíbrio superior entre a precisão da tarefa e a preservação do conhecimento geral.

Resultados Experimentais

• Benchmarks de Visão: No CLIP ViT-B/32, ViT-B/16 e ViT-L/14 com 8, 14 e 20 tarefas sequenciais, o SAFE-Merge alcança consistentemente o maior H-score (média harmônica da precisão e do desempenho geral).
  • Para 20 tarefas, ele melhora o H-score em 8,1 pontos em relação ao melhor baseline (NUFILT) e alcança um ganho de 1,2 ponto na precisão média (ACC) enquanto mantém um forte desempenho geral.
  • Supera significativamente a "acumulação simples" e outras estratégias de fusão (ex: Task Arithmetic, Ties-Merging, WUDI-Merging) na preservação do conhecimento geral (medido em ImageNet, ImageNet-R, ObjectNet).
• Benchmarks de NLP: No Flan-T5-base com 5 tarefas GLUE, o SAFE-Merge alcança o melhor H-score (79,4), superando o NUFILT em 0,6 pontos enquanto mantém precisão competitiva e transferência reversa (backward transfer). Notavelmente, ele mantém o desempenho geral ligeiramente acima da referência pré-treinada, enquanto o ajuste fino individual o erode.
• Estudos de Ablação:
  • Tanto o mascaramento consciente de risco quanto o componente de recuperação de baixo rank são essenciais; remover qualquer um deles leva a quedas significativas na precisão ou na generalização.
  • O método é robusto à ordem das tarefas e mostra que os "joelhos" (knees) nas curvas de desempenho sugerem que a esparsidade ideal (razão de manutenção $\rho$) diminui conforme a sequência de tarefas aumenta.
  • O custo computacional ocorre apenas durante a fusão offline (aprox. 216s para 8 tarefas), com zero custo de inferência.

Significância e Alegações
O artigo afirma que o SAFE-Merge aborda uma lacuna crítica na fusão contínua: a proteção do conhecimento geral do backbone pré-treinado, que é frequentemente sacrificado para preservar a precisão das tarefas subsequentes. Ao distinguir explicitamente entre atualizações de tarefas de baixo risco e direções associadas ao conhecimento geral, e ao recuperar a utilidade perdida através de correções de baixo rank restritas, o SAFE-Merge alcança um equilíbrio mais forte entre a precisão de fusão contínua e a generalização para dados não vistos. Os autores afirmam que seu método fornece uma solução prática, livre de dados, que escala para sequências de tarefas mais longas sem aumentar a latência de inferência ou o tamanho do modelo.