🤖 machine learning

CI-CBM: Class-Incremental Concept Bottleneck Model for Interpretable Continual Learning

O artigo apresenta o CI-CBM, um modelo de gargalo de conceito incremental que supera o esquecimento catastrófico na aprendizagem contínua de classes, mantendo a interpretabilidade e alcançando ganhos significativos de precisão em comparação com abordagens anteriores.

Autores originais: Amirhosein Javadi, Tuomas Oikarinen, Tara Javidi, Tsui-Wei Weng

Publicado 2026-04-17

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Amirhosein Javadi, Tuomas Oikarinen, Tara Javidi, Tsui-Wei Weng

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está aprendendo uma nova habilidade, como tocar violão. O problema é que, toda vez que você aprende uma nova música, seu cérebro começa a esquecer as músicas antigas. Na inteligência artificial, isso é chamado de "esquecimento catastrófico". É como se, ao aprender a tocar "Parabéns pra Você", você esquecesse completamente como segurar o violão.

A maioria dos modelos de IA modernos sofre muito com isso. Eles são como "caixas-pretas": funcionam muito bem, mas ninguém sabe como eles tomam as decisões. Se você perguntar a um médico por que um modelo de IA disse que um paciente está doente, ele não consegue explicar; ele apenas dá a resposta.

Os autores deste paper, CI-CBM, criaram uma solução inteligente que resolve dois problemas de uma vez só:

Aprender coisas novas sem esquecer as antigas.
Explicar como pensam (serem transparentes).

Vamos usar uma analogia para entender como eles fizeram isso:

A Analogia da "Caixa de Ferramentas com Etiquetas"

Imagine que a IA é um marceneiro (o modelo) e as conceitos são as ferramentas na caixa dele (martelo, serra, lixa, cola).

1. O Problema Antigo (O Aprendizado Tradicional)

Antes, quando o marceneiro aprendia a fazer um novo tipo de móvel (uma nova "classe" de dados), ele tinha que reorganizar toda a caixa de ferramentas. Muitas vezes, ele tirava as ferramentas antigas da caixa para fazer espaço para as novas, ou as misturava de tal forma que ele não sabia mais qual ferramenta era usada para o que. O resultado? Ele fazia o novo móvel, mas estragava os antigos. Além disso, ninguém sabia quais ferramentas ele estava usando para fazer o trabalho.

2. A Solução CI-CBM (O Novo Método)

Os autores criaram um sistema onde o marceneiro mantém uma lista de ferramentas com etiquetas claras (Conceitos). Em vez de apenas ver a madeira bruta (a imagem), o modelo primeiro identifica características humanas: "tem uma cauda azul", "não tem patas laranjas", "tem um bico curvo".

Aqui estão os dois "truques de mágica" que eles usaram:

Truque 1: O "Guardião de Memória" (Regularização de Conceitos)
Quando o marceneiro aprende a fazer um novo móvel, ele precisa adicionar novas ferramentas à caixa. Mas ele tem medo de esquecer como usar as antigas.

O que o CI-CBM faz: Ele coloca um "guardião" que vigia as ferramentas antigas. Ele diz: "Ei, você ainda precisa saber usar o martelo para o móvel antigo, mesmo enquanto aprende a usar a serra para o novo". Isso impede que o conhecimento antigo seja apagado ou distorcido.

Truque 2: O "Fantasma de Ferramentas" (Geração de Pseudo-Conceitos)
Este é o mais genial. O problema do aprendizado contínuo é que, para aprender o novo, você geralmente precisa ver exemplos do velho. Mas, por questões de privacidade ou espaço, você não pode guardar as fotos dos móveis antigos.

A solução: O CI-CBM cria "fantasmas". Ele olha para o novo móvel que está aprendendo e pensa: "Se eu pegar as características deste novo móvel e mudar um pouco a cor ou o formato para parecer com o móvel antigo, consigo simular como seria o móvel antigo".
Ele cria esses "exemplos fantasma" (pseudo-conceitos) na hora. Assim, ele pode treinar o cérebro para lembrar do móvel antigo sem precisar ter a foto real guardada na memória. É como se ele estivesse praticando com um manequim que se parece com o cliente antigo.

Por que isso é importante?

Transparência (Interpretabilidade): Como o modelo usa uma lista de "ferramentas" (conceitos) que os humanos entendem, ele pode dizer: "Eu classifiquei este pássaro como 'Andorinha' porque ele tem uma cauda em forma de garfo e não tem patas laranjas". Você entende o raciocínio.
Eficiência: Eles provaram que esse método funciona tão bem quanto os modelos "caixa-preta" (que são mais precisos, mas não explicam nada), mas com a vantagem de serem explicáveis.
Versatilidade: Funciona tanto se você começar do zero (treinando o modelo do início) quanto se usar um modelo que já foi treinado antes.

Resumo em uma frase

O CI-CBM é como um marceneiro que, ao aprender uma nova técnica, usa "fantasmas" para praticar as técnicas antigas sem precisar guardar as fotos dos trabalhos anteriores, e mantém um caderno de anotações claro que explica exatamente quais ferramentas ele está usando para cada trabalho.

Isso permite que a inteligência artificial aprenda continuamente, sem esquecer o passado, e ainda nos conte a história de como chegou àquela conclusão.

1. Problema Abordado

O artigo foca no desafio do Aprendizado Contínuo (Continual Learning - CL), especificamente no cenário de Aprendizado Incremental de Classes (Class-Incremental Learning - CIL). Neste cenário, o modelo deve aprender novas classes de dados sequencialmente ao longo do tempo, sem acesso aos dados das fases anteriores, enquanto mantém a capacidade de classificar corretamente todas as classes aprendidas anteriormente.

Os principais desafios identificados são:

Esquecimento Catastrófico: A tendência de redes neurais de "esquecer" conhecimento antigo ao serem ajustadas para novas tarefas.
Compromisso entre Interpretabilidade e Desempenho: Métodos existentes para mitigar o esquecimento (como replay de dados ou regularização) geralmente sacrificam a interpretabilidade do modelo, tornando-o uma "caixa preta". Por outro lado, modelos inerentemente interpretáveis (como os baseados em conceitos) frequentemente sofrem com quedas significativas de precisão em comparação a modelos não interpretáveis no cenário CIL.
Aprendizado sem Exemplos (Exemplar-Free): A restrição de não poder armazenar amostras de dados passados (por questões de privacidade e armazenamento), o que torna a tarefa ainda mais difícil.

2. Metodologia: CI-CBM

Os autores propõem o CI-CBM (Class-Incremental Concept Bottleneck Model), uma extensão do Concept Bottleneck Model (CBM) adaptada para o cenário de aprendizado incremental sem exemplos. A arquitetura mantém uma camada intermediária onde as previsões são baseadas em conceitos humanos interpretáveis.

O método é composto por três módulos principais:

A. Expansão Curada do Conjunto de Conceitos (Module I)

Para cada nova fase de aprendizado, novos conceitos são gerados automaticamente para as novas classes usando Grandes Modelos de Linguagem (LLMs, como GPT-3).
Um processo de filtragem rigoroso remove conceitos redundantes, muito longos ou semanticamente similares a nomes de classes existentes ou a conceitos já aprendidos. Isso garante que o conjunto de conceitos cresça de forma eficiente e não inflacione desnecessariamente o modelo.

B. Aprendizado do Caminho de Conceitos com Regularização e Destilação (Module II)

Para evitar que os conceitos aprendidos anteriormente mudem de significado (concept drift) ao aprender novas classes, o CI-CBM utiliza uma função de perda de destilação.
Ao treinar a camada de gargalo de conceitos ( $W_C$ ) para a nova fase, o modelo penaliza desvios nas ativações dos conceitos antigos em relação às ativações que seriam produzidas pelo modelo da fase anterior. Isso preserva a funcionalidade dos conceitos antigos sem congelá-los completamente, permitindo adaptabilidade.

C. Geração de Pseudo-Conceitos e Adaptação Dinâmica (Module III)

Como não há dados das classes antigas para treinar o classificador final, o CI-CBM gera pseudo-conceitos para as classes passadas.
Mecanismo de Geração: O modelo identifica a nova classe mais próxima (em termos de centróide no espaço de características do backbone) para cada classe antiga. Em seguida, gera "pseudo-recursos" deslocando a distribuição de características da nova classe para a média da classe antiga.
Esses pseudo-recursos são projetados através da camada de gargalo de conceitos atualizada para criar pseudo-conceitos.
O classificador final esparsa ( $W_F$ ) é treinado usando conceitos reais para as novas classes e pseudo-conceitos para as classes antigas. Isso permite que o modelo aprenda a distinguir entre classes novas e antigas sem armazenar nenhum dado real das fases anteriores.

3. Contribuições Principais

Primeiro Modelo Interpretável Robusto para CIL Sem Exemplos: O CI-CBM é apresentado como o primeiro modelo de aprendizado incremental de classes que é inerentemente interpretável e demonstra robustez tanto em cenários com backbones pré-treinados quanto treinados do zero (não pré-treinados).
Superação do Trade-off Desempenho-Interpretabilidade: O método reduz drasticamente a lacuna de desempenho entre modelos interpretáveis e modelos "caixa preta" no CIL.
Técnicas Inovadoras de Estabilização:
- Regularização de Conceitos: Previne a perda de funcionalidade dos conceitos antigos.
- Geração de Pseudo-Conceitos: Permite o treinamento do classificador final para classes passadas sem acesso aos dados originais, mantendo a geometria do espaço de decisão.
Validação Abrangente: O modelo foi testado em sete conjuntos de dados (CIFAR-10/100, CUB, TinyImageNet, ImageNet, Places365) e comparado com o estado da arte (SOTA) em métodos interpretáveis e não interpretáveis.

4. Resultados Experimentais

Os resultados demonstram a superioridade do CI-CBM em múltiplas frentes:

Comparação com Métodos Interpretáveis: O CI-CBM superou significativamente todos os métodos interpretáveis existentes (como ICICLE, IN2, CONCIL, CLG-CBM).
- Ganho médio de 36% na precisão incremental em comparação com abordagens anteriores.
- Em benchmarks específicos como CIFAR-100 e CUB, as melhorias variaram de 25% a 43%.
Comparação com Métodos Não Interpretáveis (Caixa Preta):
- O CI-CBM alcançou desempenho comparável a modelos de backbone não interpretáveis (como backbones ResNet e DeiT treinados do zero), com uma diferença de precisão mínima (apenas ~7.5% em alguns cenários).
- Em cenários com backbones pré-treinados (ViT), o CI-CBM superou o modelo interpretável anterior (CLG-CBM) e manteve-se competitivo com métodos SOTA baseados em prompts.
Robustez: O modelo manteve alta precisão incremental mesmo com o aumento do número de fases (T) e em cenários de aprendizado sem exemplos (EFCIL).
Interpretabilidade: As visualizações (Sankey diagrams e atribuições de conceitos) mostraram que o modelo mantém conceitos positivos consistentes ao longo das fases e incorpora conceitos negativos ("NOT") discriminativos conforme novas classes são introduzidas, permitindo explicações locais e globais claras.

5. Significado e Impacto

O trabalho é significativo porque resolve uma das maiores barreiras para a adoção de IA em aplicações críticas (como saúde e robótica): a necessidade de modelos que não apenas sejam precisos, mas também explicáveis e capazes de aprender continuamente sem violar privacidade (sem armazenar dados antigos).

Viabilidade Prática: Ao demonstrar que é possível ter alta precisão e interpretabilidade simultaneamente no CIL, o CI-CBM remove o incentivo para usar modelos de "caixa preta" em cenários onde a transparência é obrigatória.
Generalização: A capacidade de funcionar tanto com modelos pré-treinados quanto treinados do zero torna a abordagem aplicável a diversos domínios, desde aqueles com grandes recursos computacionais até cenários com restrições de dados e pré-treinamento.
Futuro do Aprendizado Contínuo: O uso de pseudo-conceitos e regularização de destilação oferece um novo paradigma para lidar com o esquecimento catastrófico em modelos estruturados, sugerindo caminhos para futuras pesquisas em modelos interpretáveis dinâmicos.

Em resumo, o CI-CBM estabelece um novo padrão de referência para o aprendizado incremental de classes, provando que a interpretabilidade não precisa ser sacrificada em prol da precisão ou da capacidade de aprendizado contínuo.