Towards Adaptive Continual Model Merging via Manifold-Aware Expert Evolution

Resumo Técnico: MADE-IT (Manifold-Aware Dynamic Expert Evolution and Implicit routing)

1. O Problema: O Dilema Saturação-Redundância

O artigo aborda o desafio da Fusão Contínua de Modelos (Continual Model Merging - CMM). Diferente da fusão tradicional, onde todos os modelos estão disponíveis simultaneamente, o CMM lida com modelos que chegam sequencialmente (streaming). Os autores identificam dois problemas fundamentais nas abordagens atuais:

• Dilema Saturação-Redundância:
  • Métodos baseados em backbone fixo sofrem de saturação de parâmetros e interferência de representação, levando ao esquecimento catastrófico.
  • Métodos baseados em Mixture-of-Experts (MoE) sofrem de redundância de especialistas, pois expandem a arquitetura indiscriminadamente para cada nova tarefa, sem considerar semelhanças entre elas.
• Gargalo de Roteamento Explícito: Métodos MoE dependem de redes de roteamento (gating networks) parametrizadas que exigem treinamento adicional e acesso a dados, o que é inviável em cenários de fusão data-free (sem dados) e training-free (sem treinamento).

2. Metodologia Proposta: MADE-IT

Para resolver esses problemas, os autores propõem o MADE-IT, que utiliza a geometria de variedades (manifold geometry) para gerenciar especialistas de forma adaptativa.

A. Evolução Dinâmica de Especialistas Baseada em Variedades:
Em vez de comparar parâmetros brutos (que são sensíveis a rotações e permutações), o método extrai as estruturas de subespaço dos especialistas:

• Extração de Subespaço Principal: Utiliza a Decomposição de Valor Singular Truncada (SVD) para extrair as direções principais das atualizações de peso ($\Delta W$), tratando cada especialista como um ponto em uma variedade de Grassmann.
• Métrica de Afinidade de Subespaço: Define uma métrica baseada em projeção que quantifica a sobreposição entre subespaços. Se a afinidade for alta (acima de um limiar adaptativo $\gamma$), o novo especialista é consolidado (fundido) com um existente. Se for baixa, um novo especialista é criado. Isso equilibra diversidade e parcimônia arquitetural.

B. Roteamento Implícito (Implicit Routing):
Para eliminar a necessidade de redes de roteamento treináveis, o MADE-IT utiliza um mecanismo de ativação baseado em dados:

• Alinhamento de Projeção de Características (FPA): Durante a inferência, o modelo avalia a compatibilidade entre as características de entrada ($h$) e o subespaço de entrada do especialista através da projeção. O especialista cujo subespaço melhor "alinha" com a característica é ativado.
• Consistência de Caminho e Dependência de Especialistas: Para garantir que a escolha de um especialista em uma camada seja semanticamente coerente com as outras, o método utiliza um grafo de dependência baseado na identidade das tarefas, propagando restrições para evitar caminhos inconsistentes.

3. Principais Contribuições

1. Mudança de Paradigma de Métrica: Demonstra que métricas de espaço de parâmetros (como similaridade de cosseno) são inadequadas para CMM e propõe a geometria de subespaços como uma base robusta e invariante.
2. Gestão Adaptativa de Especialistas: Introduz uma estratégia de evolução que decide autonomamente entre fundir especialistas redundantes ou criar novos, otimizando o uso de memória.
3. Roteamento sem Dados/Treinamento: Desenvolve um mecanismo de ativação implícito que dispensa redes de gating auxiliares, tornando o método puramente baseado em geometria.

4. Resultados Experimentais

Os experimentos foram realizados utilizando backbones CLIP-ViT em sequências de tarefas de longo prazo (até 20 tarefas):

• Desempenho Superior: O MADE-IT superou consistentemente os baselines (como MINGLE e OPCM) em precisão média (ACC) e em transferência reversa (BWT), mitigando o esquecimento catastrófico.
• Eficiência de Parâmetros: O método demonstrou uma alocação inteligente: camadas iniciais (mais genéricas) tendem a compartilhar especialistas, enquanto camadas profundas (mais específicas) mantêm especialistas dedicados.
• Redução de Redundância: O método conseguiu reduzir significativamente o número de especialistas redundantes, especialmente em módulos genéricos, sem perder a capacidade de especialização.

5. Significância

O trabalho é significativo por fornecer uma solução escalável e eficiente para o aprendizado contínuo de modelos de fundação. Ao permitir a integração de novos conhecimentos sem a necessidade de re-treinamento ou acesso a dados originais, o MADE-IT pavimenta o caminho para sistemas de IA que podem evoluir continuamente de forma autônoma, mantendo uma pegada de memória controlada e alta fidelidade de representação.