💻 computer science

Mamba-CL: Optimizing Selective State Space Model in Null Space for Continual Learning

Este artigo introduz o Mamba-CL, um framework de aprendizagem contínua que mitiga o esquecimento catastrófico em modelos Mamba ao aplicar a projeção no nulidade para atualizar parâmetros ortogonalmente aos subespaços de tarefas anteriores, garantindo assim a consistência da saída entre as tarefas e alcançando um desempenho superior em benchmarks de incremento de classe.

Autores originais: De Cheng, Yue Lu, Lingfeng He, Shizhou Zhang, Xi Yang, Nannan Wang, Xinbo Gao

Publicado 2026-07-28

📖 3 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: De Cheng, Yue Lu, Lingfeng He, Shizhou Zhang, Xi Yang, Nannan Wang, Xinbo Gao

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô brilhante a reconhecer diferentes tipos de animais. Primeiro, você mostra fotos de gatos. Ele aprende perfeitamente. Depois, você mostra fotos de cachorros. O robô aprende os cachorros, mas, nesse processo, ele acidentalmente esquece como é um gato. Isso é um problema famoso na inteligência artificial chamado "esquecimento catastrófico". É como um aluno decorando para uma prova de história e imediatamente esquecendo tudo o que aprendeu na aula de matemática no dia anterior. Cientistas têm tentado construir uma IA que possa aprender coisas novas sem perder memórias antigas, um equilíbrio conhecido como o "dilema estabilidade-plasticidade". Para resolver isso, pesquisadores frequentemente usam uma técnica chamada "projeção ortogonal". Pense nisso como um bibliotecário rigoroso que só permite que você adicione novos livros à estante em um corredor completamente vazio, garantindo que você nunca derrube os livros de suas visitas anteriores. Recentemente, um novo tipo de arquitetura de IA chamado "Mamba" tornou-se muito popular porque é rápido e excelente em entender sequências, como frases ou quadros de vídeo. Mas, como o Mamba funciona de forma diferente dos modelos de IA mais antigos, as regras antigas do "bibliotecário" não se encaixavam bem em sua estrutura única.

Este artigo apresenta um novo método chamado Mamba-CL, que atua como um bibliotecário especializado treinado especificamente para a biblioteca Mamba. Os pesquisadores descobriram que, para impedir que o Mamba esqueça, eles não podiam usar apenas as regras padrão; eles tiveram que entender exatamente como o "estado" interno do Mamba (sua memória do passado) é atualizado quando ele vê novas informações. Eles descobriram que o esquecimento acontece quando o robô muda a maneira como processa entradas antigas enquanto aprende novas. Para corrigir isso, eles derivaram quatro regras matemáticas específicas que atuam como guardiões. Essas regras garantem que, quando o Mamba aprende uma nova tarefa, ele apenas atualiza seus "botões e seletores" em direções que são completamente invisíveis para as tarefas antigas.

A equipe testou isso ensinando o modelo Mamba uma sequência de diferentes tarefas de reconhecimento de imagens, como identificar objetos em fotos do ImageNet-R e CIFAR-100. Eles descobriram que o Mamba-CL foi incrivelmente eficaz em evitar que o robô esquecesse. Em testes com 10 tarefas diferentes, o novo método melhorou a precisão em cerca de 2% a 3% em comparação com os melhores métodos existentes, ao mesmo tempo em que reduziu drasticamente a quantidade de conhecimento perdido. Por exemplo, em um benchmark, a taxa de esquecimento caiu de mais de 28% em uma versão padrão para apenas 4%. O artigo sugere que, ao restringir cuidadosamente como o modelo atualiza seu estado interno, ele pode aprender novas habilidades sem apagar as antigas, mesmo em longas sequências de aprendizado. Os autores observam que essa abordagem funciona bem, quer o modelo seja pré-treinado em conjuntos de dados massivos ou treinado do zero, provando que essa estratégia de "guardrail" é uma maneira robusta de manter os modelos de IA inteligentes e estáveis ao longo do tempo.

Resumo Técnico: Mamba-CL

Definição do Problema

O Aprendizado Contínuo (CL - Continual Learning) visa permitir que modelos de IA aprendam uma sequência de tarefas ao longo do tempo sem esquecer o conhecimento adquirido anteriormente, abordando o dilema estabilidade-plasticidade. Embora os Modelos de Espaço de Estados (SSMs - State Space Models), particularmente a arquitetura Mamba, tenham alcançado um sucesso notável em visão computacional e modelagem de sequências, aplicar o CL a eles apresenta desafios únicos. Métodos de CL existentes, como a projeção de subespaço ortogonal, foram desenvolvidos primordialmente para Redes Neurais Convolucionais (CNNs) e Vision Transformers (ViTs). Aplicar diretamente esses métodos ao Mamba é difícil devido à sua estrutura de espaço de estados recorrente de ordem superior e seu mecanismo de discretização não linear. Especificamente, o esquecimento em SSMs seletivos pode ser entendido como mudanças nos processos de atualização de estado e geração de saída ativados por entradas de tarefas anteriores. O problema central é como realizar o ajuste fino (fine-tuning) de um modelo de fundação Mamba pré-treinado para novas tarefas enquanto se garante matematicamente que as saídas para tarefas anteriores permaneçam consistentes.

Metodologia

Os autores propõem o Mamba-CL, um framework que otimiza SSMs seletivos no espaço nulo para mitigar o esquecimento catastrófico. O método foca no ajuste fino dos blocos SSM principais dentro de um backbone Mamba pré-treinado (especificamente o De-focus Mamba), mantendo outros componentes congelados.

Derivação Teórica

O núcleo do Mamba-CL é a derivação de quatro condições de consistência suficiente para os parâmetros do bloco SSM. O objetivo é garantir que a saída do SSM para entradas de tarefas anteriores ( $X_t$ ) permaneça inalterada após o aprendizado de uma nova tarefa. Ao analisar o processo de propagação (forward process) do SSM, que envolve um parâmetro invariante à entrada $A$ e parâmetros condicionais à entrada $B$ , $C$ e $\delta$ (passo de discretização), os autores decompõem o requisito de consistência em restrições sobre as atualizações de parâmetros ( $\Delta$ ):

Passo de Discretização ( $\delta$ ) e Projeção de Entrada ( $W_\delta$ ): A atualização $\Delta W_\delta$ deve ser ortogonal ao espaço de características da entrada $X_t$ ( $X_t \Delta W_\delta = 0$ ).
Transição de Estado ( $A$ ): A atualização $\Delta A$ deve ser ortogonal ao parâmetro de passo de discretização $\delta_t$ ( $\delta_t \Delta A = 0$ ).
Injeção de Entrada ( $W_B$ ): A atualização $\Delta W_B$ deve ser ortogonal ao produto do passo de discretização e das características de entrada ( $\delta_t X_t \Delta W_B = 0$ ).
Leitura de Saída ( $W_C$ ): A atualização $\Delta W_C$ deve ser ortogonal ao espaço de características da entrada $X_t$ ( $X_t \Delta W_C = 0$ ).

Essas condições garantem que os processos de atualização de estado e geração de saída ativados pelas entradas de tarefas antigas sejam preservados.

Estratégia de Otimização

Para implementar essas restrições de forma eficiente, o Mamba-CL emprega projeção no espaço nulo (null-space projection):

Matrizes de Projeção: Os autores computam matrizes de covariância não centradas para os espaços de características ( $X_t$ , $\delta_t$ e $\delta_t X_t$ ) de tarefas anteriores. Usando Decomposição de Valor Singular (SVD), eles derivam matrizes de projeção ( $H_1, H_2, H_3$ ) que projetam os gradientes da nova tarefa nos espaços nulos desses subespaços de características.
Fator de Equilíbrio: Um hiperparâmetro $\eta \in [0, 1]$ é introduzido para relaxar as restrições de ortogonalidade. Isso permite um equilíbrio entre estabilidade (retenção do conhecimento antigo) e plasticidade (aprendizado de novas tarefas). Quando $\eta=1$ , uma projeção de espaço nulo estrita é aplicada; valores menores permitem maior plasticidade.
Implementação: Durante o treinamento, os gradientes para os parâmetros do SSM ( $A, W_B, W_C, W_\delta$ ) e a camada de projeção linear subsequente são projetados usando essas matrizes antes da etapa de atualização de parâmetros.

Principais Contribuições

Perspectiva de Preservação de Saída: O artigo formula a adaptação contínua de SSMs seletivos a partir de uma perspectiva de preservação de saída, ligando o mecanismo de varredura (scan) seletiva com restrições de subespaço ortogonal.
Derivação Teórica: Os autores derivam teoricamente quatro condições de consistência suficiente para o bloco SSM dentro do modelo Mamba, abordando as complexidades de sua estrutura recorrente e discretização não linear.
Aproximação de Espaço Nulo: Com base nessas condições, uma aproximação baseada em espaço nulo é introduzida para implementar eficientemente as projeções ortogonais de gradiente, permitindo a adaptação contínua de modelos de fundação Mamba de larga escala sem armazenar amostras de tarefas anteriores (livre de exemplares/exemplar-free).
Validação Empírica: Experimentos extensos demonstram a eficácia da abordagem em múltiplos benchmarks.

Resultados Experimentais

Os autores avaliaram o Mamba-CL em quatro benchmarks de incremento de classe:

Datasets: ImageNet-R com 10 e 20 divisões (splits), CIFAR-100 com 10 divisões e DomainNet com 10 divisões.
Baselines: O método foi comparado com métodos de CL de última geração (ex: L2P, DualPrompt, CODA-Prompt, EvoPrompt, EASE) e um baseline Mamba sem projeção ortogonal (Mamba-Seq).
Desempenho:
- O Mamba-CL alcançou desempenho superior em comparação aos métodos existentes. No ImageNet-R de 10 divisões, atingiu 81,67% de acurácia com 4,07% de esquecimento, superando significativamente o próximo melhor método (CL-LoRA com 78,48% de acurácia).
- Demonstrou melhorias substanciais sobre o baseline Mamba-Seq, aumentando a acurácia em 18%–45% e reduzindo o esquecimento em 24%–61% entre os benchmarks.
- O método demonstrou robustez em cenários de CL de sequências longas (50 e 100 tarefas), mantendo a liderança sobre outros métodos.
- Estudos de ablação confirmaram que a projeção do passo de discretização ( $\delta$ ) é o componente mais crítico para a anti-obliteração (anti-forgetting).
- A abordagem foi validada em diferentes variantes do Mamba (MambaVision, Vim, VMamba) e até mesmo em um cenário de "treinamento do zero", confirmando sua generalizabilidade.

Significância e Alegações

O artigo afirma que o Mamba-CL fornece uma maneira eficaz de adaptar continuamente os módulos centrais de SSM seletivo de modelos de fundação de larga escala, mitigando a interferência com o conhecimento adquirido anteriormente. Diferente de abordagens anteriores que exigem meta-treinamento episódico, expansão de backbone específica para a tarefa ou a retenção de exemplares, o Mamba-CL opera em um cenário livre de exemplares, sem operações adicionais durante a inferência.

Os autores enfatizam que seu método não é meramente uma aplicação direta de técnicas de projeção existentes, mas uma adaptação necessária à estrutura matemática específica dos SSMs. Ao derivar condições de consistência específicas para os parâmetros invariantes no tempo do modelo Mamba, eles preenchem a lacuna entre os requisitos teóricos do aprendizado contínuo e a implementação prática de modelos de espaço de estados. Os resultados sugerem que proteger explicitamente os processos de discretização dependentes da entrada, transição de estado, injeção de entrada e leitura de saída via projeção de espaço nulo é crucial para alcançar um forte desempenho de aprendizado contínuo em arquiteturas baseadas em Mamba.