🤖 machine learning

SAME: Stabilized Mixture-of-Experts for Multimodal Continual Instruction Tuning

O artigo propõe o SAME, um framework de Mistura-de-Especialistas estabilizado para Ajuste de Instrução Multimodal Contínua que mitiga o desvio de roteador e de especialista por meio de roteamento de subespaço ortogonal, escalonamento consciente da curvatura e ativação adaptativa de especialistas, alcançando o estado da arte de desempenho em um novo benchmark de sequência longa.

Autores originais: Zhen-Hao Xie, Jun-Tao Tang, Yu-Cheng Shi, Han-Jia Ye, De-Chuan Zhan, Da-Wei Zhou

Publicado 2026-08-27

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Zhen-Hao Xie, Jun-Tao Tang, Yu-Cheng Shi, Han-Jia Ye, De-Chuan Zhan, Da-Wei Zhou

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um estudante que é brilhante em resolver problemas de matemática mas, ao ser solicitado a ler um poema, de repente esquece como contar. Este é o desafio central enfrentado pelos sistemas modernos de inteligência artificial conhecidos como modelos de linguagem de grande escala multimodais. Estes são computadores poderosos que podem ver imagens e ler texto, aprendendo a responder perguntas sobre o mundo estudando vastas quantidades de dados. Eles são treinados para seguir instruções, como "descreva o gato na foto" ou "resolva este problema de física". No entanto, no mundo real, esses sistemas não aprendem tudo de uma vez. Em vez disso, eles encontram novos tipos de tarefas uma após a outra, como um estudante passando de uma aula de matemática para uma aula de história e, depois, para uma aula de arte. O problema é que, à medida que esses modelos aprendem novas habilidades, eles frequentemente esquecem as antigas, um fenômeno que os cientistas chamam de esquecimento catastrófico. Para manter esses modelos úteis, os pesquisadores precisam de uma maneira de ensinar coisas novas sem apagar o que já sabem.

Por algum tempo, especialistas tentaram resolver isso dando ao modelo uma equipe de ajudantes especializados, uma estrutura conhecida como mistura de especialistas (mixture of experts). Pense no modelo como um grande escritório onde diferentes trabalhadores, ou "especialistas", lidam com diferentes tipos de trabalhos. Quando uma pergunta chega, um gerente, chamado roteador, decide qual trabalhador é o mais adequado para responder. Se a pergunta for sobre um gráfico, o roteador a envia para o analista de dados; se for sobre um poema, ela vai para o escritor. Este sistema funciona bem quando as tarefas são estáveis, mas os pesquisadores descobriram uma falha quando o modelo tinha que aprender uma longa sequência de novas tarefas. À medida que o modelo aprendia novas habilidades, o gerente começava a cometer erros, enviando tipos antigos de perguntas para os trabalhadores errados. Simultaneamente, os próprios trabalhadores começavam a mudar, perdendo as habilidades específicas que haviam desenvolvido para tarefas anteriores. Esta falha dupla significava que o modelo não estava apenas enviando perguntas para as pessoas erradas, mas também estava esquecendo como realizar os trabalhos que essas pessoas deveriam fazer.

Uma equipe de pesquisadores propôs agora um novo método chamado SAME para corrigir esses problemas. Eles descobriram que a confusão do gerente e a perda de memória dos trabalhadores eram dois problemas separados que exigiam soluções diferentes. Para impedir que o gerente se confundisse, os pesquisadores projetaram um sistema que rastreia cuidadosamente como o modelo vê o mundo. Em vez de deixar o gerente mudar de ideia completamente a cada nova lição, eles restringem o quanto ele pode mudar seu foco. Eles permitem que o gerente aprenda novas maneiras de classificar perguntas, mas protegem as formas antigas de classificação que eram essenciais para tarefas anteriores. Isso garante que uma pergunta sobre uma imagem médica, por exemplo, continue indo para o especialista médico, mesmo após o modelo ter aprendido a ler mapas ou resolver problemas de química.

Para evitar que os trabalhadores esqueçam seus empregos, os pesquisadores introduziram uma maneira de medir o quanto o novo aprendizado de um trabalhador poderia prejudicar suas habilidades antigas. Eles analisaram os tipos de dados que os trabalhadores viram no passado e usaram esse histórico para retardar mudanças que danificariam essas habilidades antigas. É como dizer a um trabalhador: "Você pode aprender esta nova habilidade, mas faça-o de uma forma que não apague como você costumava consertar as máquinas antigas". Ao fazer isso, o modelo preserva as habilidades específicas que obteve de tarefas anteriores, enquanto ainda é capaz de se adaptar a novas tarefas. Além disso, os pesquisadores descobriram que nem todo trabalhador precisa estar ativo para cada lição. Eles criaram uma regra para pausar temporariamente os trabalhadores que não são necessários para a tarefa atual, o que economiza energia e evita que eles sejam alterados acidentalmente por informações irrelevantes.

A equipe testou essa nova abordagem em uma série de benchmarks desafiadores, incluindo um novo conjunto de tarefas que criaram para imitar a realidade desordenada e variada do mundo real. Este novo teste incluiu dez tipos diferentes de tarefas, abrangendo desde a leitura de documentos médicos e análise de gráficos científicos até a compreensão de cenas rodoviárias complexas e fórmulas químicas. Os resultados mostraram que o método deles, o SAME, foi significativamente melhor em lembrar tarefas antigas do que métodos anteriores. Em um teste específico envolvendo uma longa sequência de oito tarefas, o novo método manteve um nível de precisão muito mais alto na primeiríssima tarefa em comparação com outras abordagens. Também se mostrou mais eficiente, exigindo menos tempo e memória de computador para o treinamento, porque atualizava apenas os trabalhadores necessários.

Talvez o mais importante seja que os pesquisadores observaram que seu método preveniu um tipo de falha sutil, mas comum, onde o modelo daria a resposta correta, mas a formataria incorretamente. Por exemplo, se uma tarefa exigisse uma resposta em letras maiúsculas, o modelo poderia começar a dar a resposta em letras minúsculas após aprender uma nova tarefa que utilizava letras minúsculas. O novo sistema manteve o modelo consistente, garantindo que ele seguisse as regras de formatação específicas de cada tarefa sem se confundir com o estilo da próxima. Ao estabilizar tanto a decisão de quem responde à pergunta quanto a memória da pessoa que responde, este trabalho oferece uma maneira mais confiável para a inteligência artificial aprender continuamente, expandindo suas capacidades sem perder a base do que já sabe.

Resumo Técnico: SAME – Mistura de Especialistas Estabilizada para Ajuste de Instrução Contínua Multimodal

1. Declaração do Problema

Os Grandes Modelos de Linguagem Multimodais (MLLMs) demonstraram uma forte generalização por meio do ajuste de instrução. No entanto, a implantação no mundo real exige que esses modelos expandam continuamente suas capacidades ao aprender fluxos sequenciais de tarefas multimodais (Ajuste de Instrução Contínua Multimodal, ou MCIT). Um desafio primário neste cenário é o esquecimento catastrófico, onde o aprendizado de novas tarefas degrada o desempenho nas tarefas aprendidas anteriormente.

Abordagens recentes utilizam arquiteturas de Mistura de Especialistas (MoE) combinadas com LoRA (Adaptação de Baixo Rank) para promover a especialização de tarefas via roteamento esparso. Apesar de sua promessa, os autores identificam que os métodos atuais de MCIT baseados em MoE sofrem de duas fontes distintas, mas acopladas, de esquecimento:

Deriva do Roteador (Router Drift): À medida que a distribuição de dados evolui com novas tarefas, o processo de tomada de decisão do roteador torna-se instável. Entradas de tarefas anteriores que anteriormente ativavam especialistas específicos de "localização" ou "fundamentação" são cada vez mais reatribuídas a especialistas irrelevantes. Isso leva a um acesso inconsistente aos módulos funcionais corretos.
Deriva do Especialista (Expert Drift): Mesmo que o roteador identifique corretamente o especialista relevante, os parâmetros internos do especialista são sobrescritos por atualizações de novas tarefas. Isso faz com que o especialista perca sua funcionalidade original (por exemplo, convenções de formatação ou capacidades específicas de raciocínio) adquirida durante estágios de treinamento anteriores.

Os autores demonstram, através de experimentos diagnósticos, que o esquecimento persiste mesmo quando o roteador é retreinado para corresponder à distribuição da tarefa original, confirmando que a degradação dos próprios especialistas é um modo de falha crítico.

2. Metodologia: SAME

Os autores propõem a Mistura de Especialistas Estabilizada (SAME), um framework projetado para mitigar tanto a deriva do roteador quanto a do especialista sem exigir o reuso de dados (armazenamento de dados passados). O SAME consiste em três componentes principais:

2.1 Roteamento Sensível ao Espectro (Endereçando a Deriva do Roteador)

Para estabilizar a seleção de especialistas, o SAME decompõe a dinâmica de roteamento em subespaços ortogonais baseados no histórico de covariância da entrada.

Mecanismo: O método mantém uma matriz de covariância não centrada das entradas ocultas do roteador. Através da Decomposição de Valores Singulares (SVD), ele separa o espaço de atualização em um subespaço de sinal (direções de alta energia relevantes para novas tarefas) e um espaço nulo aproximado (direções de baixa energia associadas a tarefas históricas).
Estratégia de Atualização: Os gradientes do roteador são projetados nesses subespaços. As atualizações no subespaço de sinal são escalonadas usando uma média de janela deslizante de valores singulares para evitar mudanças agressivas em direções críticas para tarefas antigas. As atualizações no espaço nulo são projetadas para garantir que tenham um impacto desprezível nas entradas históricas ( $V_\perp^T x_{old} \approx 0$ ).
Resultado: Isso garante que as decisões de roteamento para tarefas antigas permaneçam consistentes, enquanto permite a adaptação para novas tarefas.

2.2 Escalonamento Sensível à Curvatura (Endereçando a Deriva do Especialista)

Para evitar que os especialistas sejam sobrescritos, o SAME regula as atualizações dos especialistas usando a geometria das entradas históricas.

Mecanismo: Em vez de minimizar uma restrição rígida sobre dados passados (que não estão disponíveis em configurações sem reuso), o método aproxima a geometria da entrada histórica usando a matriz de covariância acumulada ( $C_{t-1}$ ).
Otimização: Os autores formulam um problema de otimização restrita onde a degradação funcional (mudança esperada no quadrado da saída em entradas históricas) é limitada. Isso leva a uma atualização de gradiente Riemanniano onde o gradiente Euclidiano é pré-condicionado pelo inverso da matriz de covariância histórica ( $C_{t-1}^{-1}$ ).
Implementação: Para lidar com custos computacionais, o inverso é aproximado usando uma pseudo-inversa amortecida dos fatores de baixo rank retidos da decomposição espectral. Isso reduz o peso das atualizações ao longo de direções que foram fortemente utilizadas por tarefas anteriores, preservando sua funcionalidade.

2.3 Ativação Adaptativa de Especialistas

Para reduzir ainda mais a interferência e o custo computacional, o SAME introduz um mecanismo de congelamento ao nível da tarefa.

Mecanismo: Durante o treinamento de uma tarefa específica, os especialistas são avaliados com base em dois sinais:
1. Utilização Atual ( $U$ ): Com que frequência o especialista é ativado para a tarefa atual.
2. Importância Histórica ( $F_{pre}$ ): Um proxy para a importância histórica derivado do traço do Produto Externo do Gradiente Médio (AGOP), estimado via energia de entrada ponderada pelo roteamento.
Regra de Congelamento: Especialistas com baixa utilidade atual, mas alta importância histórica, são temporariamente congelados (tanto a propagação direta quanto a retroativa são ignoradas) durante o treinamento da tarefa atual. Eles são reativados para tarefas subsequentes.
Resultado: Isso reduz a computação redundante e evita a deriva de parâmetros desnecessária em especialistas que são críticos para tarefas passadas, mas não necessários para a tarefa atual.

3. Principais Contribuições

Diagnóstico de Deriva: O artigo isola e define empiricamente a deriva do roteador e a deriva do especialista como as causas primárias de esquecimento em MCIT baseado em MoE, demonstrando que ambos devem ser abordados simultaneamente.
Framework Estabilizado (SAME): A introdução de um framework sem reuso que combina roteamento sensível ao espectro, escalonamento Riemanniano sensível à curvatura e ativação adaptativa de especialistas para estabilizar o processo de adaptação de MoE.
Novo Benchmark (TriGap): Os autores introduzem o TriGap, um novo benchmark projetado para testar rigorosamente modelos de MCIT sob condições realistas. Diferente dos benchmarks existentes (CoIN, UCIT), o TriGap apresenta:
- Sequência Estendida: 10 tarefas sequenciais (contra 6–8 nos outros).
- Amplitude de Domínio: Domínios diversos incluindo medicina, ciência, sensoriamento remoto e compreensão de documentos.
- Lacuna de Escala: Conjuntos de dados altamente desbalanceados por tarefa (10k–40k amostras) para simular fluxos de dados do mundo real.
Eficiência: O método reduz o tempo de treinamento e o uso de memória GPU ao congelar especialistas de baixa utilidade, alcançando acelerações significativas sem sacrificar a precisão.

4. Resultados Experimentais

Os autores avaliaram o SAME em três benchmarks: CoIN, UCIT e o novo TriGap.

Desempenho: O SAME supera consistentemente as linhas de base de estado da arte (incluindo MoELoRA, HiDe-LLaVA, CL-MoE e ProgLoRA).
- No TriGap, o SAME alcançou uma precisão média de 46,53%, superando a melhor linha de base (MoELoRA) em +2,08%.
- No CoIN, o SAME atingiu 66,82% de precisão média, superando significativamente o recorde anterior.
- No UCIT, o SAME alcançou 67,12% de precisão média.
Análise de Esquecimento: O SAME demonstrou o menor esquecimento médio ( $\bar{F} = -4,23\%$ ) comparado ao MoELoRA ( $-19,04\%$ ) e HiDe-LLaVA ( $-6,38\%$ ).
Estabilidade de Formatação: Uma análise específica na tarefa ScienceQA revelou que os métodos de linha de base frequentemente sofrem de "esquecimento induzido por formato" (ex: mudar de respostas em letras maiúsculas para minúsculas). O SAME preservou com sucesso a formatação de saída específica da tarefa ao longo de toda a sequência.
Eficiência: A ativação adaptativa de especialistas reduziu o tempo de treinamento em uma média de 31,1 minutos por tarefa e o uso de memória GPU em 2,3 K MiB/GPU.

5. Significância e Alegações

O artigo afirma que o SAME fornece uma solução robusta para o Ajuste de Instrução Contínua Multimodal ao abordar as causas raízes do esquecimento em arquiteturas MoE. Sua significância reside em:

Operação Sem Reuso (Rehearsal-Free): Ele alcança uma forte retenção sem armazenar ou reproduzir dados passados, tornando-o adequado para ambientes sensíveis à privacidade ou com restrições de armazenamento.
Escalabilidade: O uso de aproximações de covariância de baixo rank e o congelamento adaptativo permitem que o método escale para longas sequências de tarefas e grandes modelos sem um overhead computacional proibitivo.
Generalização: A seleção de especialistas estabilizada e a preservação do conhecimento histórico permitem que o modelo retenha capacidades generalizáveis, como evidenciado pelo melhor desempenho Out-of-Distribution (OOD) no benchmark MMMU.

Os autores concluem que, ao estabilizar tanto o mecanismo de roteamento quanto os parâmetros dos especialistas, o SAME permite que os MLLMs aprendam continuamente novas capacidades de visão-linguagem enquanto preservam confiavelmente o conhecimento adquirido anteriormente.