💻 computer science

Mamba-FSCIL: Dynamic Adaptation with Selective State Space Model for Few-Shot Class-Incremental Learning

Este artigo apresenta o Mamba-FSCIL, uma nova abordagem para o Aprendizado de Classe Incremental de Poucos Disparos que aproveita os parâmetros dependentes da entrada dos Modelos de Espaço de Estados (SSMs) Seletivos para se adaptar dinamicamente a novas classes sem expandir a arquitetura do modelo, equilibrando efetivamente a preservação do conhecimento antigo com o aprendizado de novos conceitos por meio de um projetor seletivo duplo e um mecanismo de varredura sensível à classe.

Autores originais: Xiaojie Li, Yibo Yang, Jianlong Wu, Yue Yu, Ming-Hsuan Yang, Liqiang Nie, Min Zhang

Publicado 2026-06-24

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Xiaojie Li, Yibo Yang, Jianlong Wu, Yue Yu, Ming-Hsuan Yang, Liqiang Nie, Min Zhang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um chef mestre que passou anos aperfeiçoando uma receita para um prato clássico (vamos chamá-lo de "Classe Base"). Você conhece cada tempero, cada temperatura e cada textura de cor. Então, um novo cliente entra e pede um prato completamente novo ("Classe Novel") usando apenas alguns ingredientes que ele trouxe consigo.

O desafio? Você precisa aprender essa nova receita sem esquecer a antiga, e não pode simplesmente contratar novos chefs ou construir novas cozinhas toda vez que um novo cliente chega (isso ficaria muito caro e bagunçado).

Este é o problema que o Mamba-FSCIL resolve. É uma nova maneira de programas de computador (especificamente modelos de IA) aprenderem coisas novas ao longo do tempo sem "esquecer" o que já sabem, mesmo quando veem apenas alguns exemplos das coisas novas.

Aqui está como o artigo explica a solução deles, dividida em conceitos simples:

1. O Problema: O Dilema "Estático" vs. "Expansivo"

Antes deste artigo, a IA tinha duas opções ruins para aprender coisas novas:

O Chef Estático (Adaptação Estática): O chef usa o mesmo conjunto fixo de ferramentas e regras para cada prato. Quando tentam aprender a nova receita, eles acidentalmente sobrescrevem a antiga. O resultado? Eles esquecem o prato clássico.
A Cozinha Expansiva (Adaptação Dinâmica): Cada vez que um novo prato é solicitado, o chef constrói uma nova ala na cozinha com novas ferramentas. Embora isso salve as receitas antigas, a cozinha acaba se tornando um labirinto gigante, caro e difícil de gerenciar.

2. A Solução: O Chef "Inteligente e Mutável"

Os autores apresentam o Mamba-FSCIL, que utiliza uma tecnologia chamada Modelos de Espaço de Estados Seletivos (SSMs). Pense nisso como um chef que não precisa de novas cozinhas ou novas ferramentas. Em vez disso, suas mãos e sua mente mudam de forma instantaneamente dependendo do que ele está cozinhando.

Magia Dependente de Entrada: Normalmente, um chef usa a mesma faca para tudo. O Mamba é diferente: se você lhe entregar um bife, sua "faca" automaticamente se afia para carne. Se você lhe entregar um peixe delicado, a "faca" instantaneamente se torna uma ferramenta de filetagem fina. Ele muda seu comportamento com base no ingrediente específico (a entrada) que está segurando, sem precisar comprar novos equipamentos.

3. A Estratégia de Dois Ramos (O "Projetor Dual de SSM Seletivo")

Para garantir que o chef não se confunda, o sistema divide o trabalho em duas equipes especializadas (ramos):

A "Âncora de Estabilidade" (O Ramo Base Congelado):
Esta é a equipe que lembra das receitas clássicas. Eles são treinados nos pratos antigos e depois são "congelados" (param de aprender). No entanto, eles ainda são "espertos". Mesmo que não estejam aprendendo coisas novas, eles ainda usam sua habilidade de mudar de forma para olhar para a comida e dizer: "Ah, este é um prato clássico; eu o lidarei exatamente como sempre fiz". Isso garante que o conhecimento antigo permaneça seguro e estável.
O "Habilitador de Plasticidade" (O Ramo Incremental Dinâmico):
Esta é a equipe que aprende as novas receitas. Eles são os únicos permitidos a mudar. Quando um ingrediente novo e estranho chega, esta equipe entra em ação. Como eles usam a tecnologia Mamba de "mudança de forma", eles podem aprender a cozinhar o novo prato usando o mesmo conjunto de ferramentas, apenas ajustando como as utilizam. Eles não precisam de uma nova cozinha; eles só precisam adaptar sua técnica.

4. As Regras "Sensíveis à Classe" (O Mecanismo de Varredura Seletiva)

Como garantimos que a "Equipe Nova" não estrague acidentalmente o trabalho da "Equipe Antiga"? O artigo introduz duas regras específicas (funções de perda) para guiá-los:

A Regra do "Silêncio" (Perda de Supressão):
Se a "Equipe Nova" vê um prato clássico, eles são instruídos a ficar quietos. Eles não devem tentar mudar nada. Eles deixam a "Âncora de Estabilidade" fazer todo o trabalho. Isso evita que o novo aprendizado sobrescreva as memórias antigas.
A Regra do "Destaque" (Perda de Separação):
Se a "Equipe Nova" vê um prato novo, eles são instruídos a serem muito diferentes. Eles devem usar um estilo de cozinha completamente diferente do que usam para os pratos antigos. Isso garante que a nova receita seja distinta e clara, em vez de se misturar com a antiga.

5. Os Resultados

O artigo testou este "Chef Inteligente" em três diferentes competições culinárias (datasets: miniImageNet, CIFAR-100 e CUB-200).

O Resultado: O Mamba-FSCIL aprendeu novos pratos melhor do que qualquer método anterior e esqueceu muito menos os pratos antigos.
A Eficiência: Ao contrário dos métodos de "Cozinha Expansiva", o Mamba-FSCIL não precisou adicionar novos cômodos ou ferramentas. Ele manteve a cozinha do mesmo tamanho, mas tornou o chef muito mais inteligente.

Resumo

Em suma, o Mamba-FSCIL é um método que permite que uma IA aprenda novas categorias a partir de pouquíssimos exemplos, usando um mecanismo de "mudança de forma". Ele mantém o conhecimento antigo seguro ao congelar um "ramo de memória" dedicado, enquanto usa um "ramo de aprendizado" flexível para se adaptar a coisas novas, tudo isso sem precisar construir um modelo maior e mais complexo. É como ter um chef que pode alternar instantaneamente entre ser um mestre da tradição e um inovador do novo, mantendo a cozinha exatamente do mesmo tamanho.

Resumo Técnico de Mamba-FSCIL: Adaptação Dinâmica com Modelo de Espaço de Estados Seletivo para Aprendizado Incremental de Poucas Classes

Definição do Problema
O Aprendizado Incremental de Poucas Classes (FSCIL - Few-Shot Class-Incremental Learning) visa permitir que modelos aprendam continuamente novas classes a partir de exemplos limitados, enquanto retêm o conhecimento de classes base previamente aprendidas. As abordagens existentes enfrentam um dilema crítico em relação ao equilíbrio entre estabilidade e plasticidade. Métodos de adaptação estática empregam projetores de capacidade fixa compartilhados entre todas as sessões; no entanto, a atualização desses pesos compartilhados para novas classes frequentemente sobrescreve os parâmetros que codificam o conhecimento base, levando ao esquecimento catastrófico. Por outro lado, métodos de adaptação dinâmica com arquiteturas expansíveis alocam novos parâmetros para cada sessão para preservar a estabilidade, mas isso resulta em um crescimento ilimitado do modelo, aumentando os custos computacionais e limitando a escalabilidade. O desafio central é alcançar a adaptação dinâmica a novas classes e preservar o conhecimento antigo sem a expansão de parâmetros por sessão.

Metodologia
Os autores propõem o Mamba-FSCIL, um framework que utiliza Modelos de Espaço de Estados (SSMs) Seletivos, especificamente o Mamba, para permitir a computação dinâmica dependente da entrada dentro de uma arquitetura de capacidade fixa. Em vez de expandir o tamanho do modelo, o método explora a capacidade do Mamba de gerar parâmetros centrais ( $B_i, C_i, \Delta_i$ ) sob demanda (on-the-fly) com base no conteúdo da entrada. O framework consiste em três componentes primários:

Projetor de SSM Seletivo Duplo:
Para desacoplar estruturalmente estabilidade e plasticidade, o projetor é dividido em dois ramos paralelos:
- Ramo de SSM Seletivo Base ( $g_{base}$ ): Este ramo atua como uma "âncora de estabilidade". Ele é treinado exclusivamente durante a sessão base e, em seguida, congelado. Diferente dos módulos estáticos tradicionais congelados, o $g_{base}$ permanece computacionalmente dinâmico; ele continua a gerar parâmetros condicionadas à entrada mesmo quando congelado, fornecendo transformações estáveis e conscientes do contexto que preservam as representações fundamentais das classes base.
- Ramo de SSM Seletivo Incremental ( $g_{inc}$ ): Este ramo atua como um "facilitador de plasticidade". É um módulo Mamba de capacidade única e fixa, reutilizado em todas as sessões incrementais. Ele aproveita o mecanismo dependente da entrada do Mamba para capturar desvios residuais de características necessários para novas classes. Ao gerar parâmetros dinâmicos distintos baseados no contexto da entrada, o $g_{inc}$ se adapta a novas classes sem adicionar novos ramos específicos por sessão.
Mecanismo de Varredura Seletiva Sensível à Classe:
Para garantir que a adaptação dinâmica do $g_{inc}$ seja sensível à classe e não meramente consciente do conteúdo, os autores introduzem duas perdas de regularização:
- Perda de Supressão ( $\mathcal{L}_{supp}$ ): Esta perda minimiza a magnitude de ativação do fluxo de portão ( $Z_{inc}$ ) para entradas de classes base. Ao suprimir a contribuição do ramo incremental para classes conhecidas, ela evita a interferência com a âncora de estabilidade congelada. Por outro lado, ela incentiva uma norma maior para entradas de novas classes para facilitar a adaptação.
- Perda de Separação ( $\mathcal{L}_{sep}$ ): Esta perda minimiza a similaridade de cosseno absoluta entre os parâmetros de espaço de estados médios ( $B, C, \Delta$ ) gerados para classes base versus novas classes. Isso incentiva o modelo a formar caminhos de transformação distintos para novos conceitos, reduzindo a sobreposição representacional e aumentando a plasticidade.
Estratégia de Otimização:
O framework utiliza um classificador de Matriz de Estrutura Equiangular Simplex (ETF) fixo. Durante a sessão base, o backbone, o ramo de identidade e o $g_{base}$ são otimizados conjuntamente. Nas sessões incrementais, o backbone e o $g_{base}$ são congelados, e apenas o $g_{inc}$ é otimizado usando uma combinação de perda de Regressão por Ponto (DR), perda de supressão e perda de separação. O sistema opera sem armazenar ou reproduzir imagens brutas de sessões anteriores, baseando-se em uma memória compacta de protótipos de média de classe ao nível de características.

Principais Contribuições

Framework Mamba-FSCIL: O primeiro framework que aplica a computação dinâmica dependente da entrada do Mamba ao FSCIL, alcançando adaptação sensível à classe dentro de um modelo de capacidade fixa.
Projetor de SSM Seletivo Duplo: Uma inovação estrutural que separa o processamento de classes base e novas classes através de um ramo base computacionalmente dinâmico e congelado e um ramo incremental reutilizável, equilibrando estabilidade e plasticidade sem expansão de parâmetros.
Mecanismo de Varredura Seletiva Sensível à Classe: Uma estratégia de regularização inovadora usando perdas de supressão e separação para guiar explicitamente a geração de parâmetros dinâmicos do ramo incremental, garantindo padrões de processamento distintos para classes base e novas classes.
Desempenho de Estado da Arte: Experimentos extensivos demonstram que o Mamba-FSCIL supera os métodos estáticos e dinâmicos existentes no miniImageNet, CIFAR-100 e CUB-200.

Resultos Experimentais
O artigo reporta avaliações extensivas em três conjuntos de dados de referência:

miniImageNet: Usando um backbone ResNet-12, o Mamba-FSCIL atinge uma acurácia média (AVG) de 69,74% e uma acurácia da sessão final de 59,29%, superando o estado da arte anterior (NC-FSCIL) em 1,92 e 0,98 pontos, respectivamente.
CIFAR-100: Com ResNet-12, o método atinge um AVG de 68,19% e uma acurácia final de 57,52%, melhorando significativamente em relação ao NC-FSCIL e FeSSSS.
CUB-200: Neste conjunto de dados de granularidade fina, o Mamba-FSCIL atinge um AVG de 68,11% e uma acurácia final de 61,52%. Ao utilizar backbones de Transformer (ex: Swin-T, ViT-B/16), o método atinge consistentemente o desempenho mais alto ou altamente competitivo, reduzindo notavelmente a queda de desempenho (PD) em comparação com métodos baseados em expansão como o DSN.
Estudos de Ablação: Experimentos confirmam que o design de duplo ramo e as perdas sensíveis à classe são críticos, com o modelo completo superando variantes que utilizam projetores estáticos, ramos de SSM únicos ou que carecem de regularização. Análises qualitativas via mapas de ativação e visualizações t-SNE validam ainda mais a capacidade do modelo de manter representações estáveis de classes base enquanto se adapta dinamicamente a novas classes.

Significância
O artigo afirma que o Mamba-FSCIL oferece uma alternativa prática e escalável tanto para os paradigmas de compartilhamento quanto de expansão de parâmetros. Ao utilizar a computação dinâmica dependente da entrada, ele resolve o dilema estabilidade-plasticidade sem o custo computacional de expandir continuamente as arquiteturas do modelo. O trabalho demonstra que os Modelos de Espaço de Estados Seletivos podem mitigar efetivamente o esquecimento catastrófico em configurações de poucas classes incrementais, gerando padrões de processamento distintos e sensíveis à classe para novos dados, enquanto preservam a integridade do conhecimento estabelecido.