🤖 machine learning

CI-CBM: Class-Incremental Concept Bottleneck Model for Interpretable Continual Learning

El artículo presenta CI-CBM, un modelo de aprendizaje continuo que combina técnicas de regularización de conceptos y generación de pseudo-conceptos para resolver el olvido catastrófico en el aprendizaje incremental de clases, logrando un rendimiento comparable a los modelos de caja negra y una mejora del 36% sobre enfoques interpretables anteriores sin sacrificar la explicabilidad.

Autores originales: Amirhosein Javadi, Tuomas Oikarinen, Tara Javidi, Tsui-Wei Weng

Publicado 2026-04-17

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Amirhosein Javadi, Tuomas Oikarinen, Tara Javidi, Tsui-Wei Weng

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que estás aprendiendo un nuevo idioma. Primero aprendes español, luego francés, después italiano. El problema con los "cerebros de computadora" (los modelos de IA) es que cuando aprenden francés, a menudo olvidan todo lo que sabían de español. A esto los científicos le llaman "olvido catastrófico".

Además, cuando estas computadoras aprenden, suelen hacerlo como una "caja negra": te dicen la respuesta correcta, pero no te explican por qué. Es como si un médico te dijera "tienes gripe" sin explicarte que te duele la garganta o tienes fiebre.

Aquí es donde entra la propuesta de este paper, llamada CI-CBM. Vamos a desglosarlo con analogías sencillas:

1. El Problema: El Amnesia y la Caja Negra

Imagina un estudiante muy inteligente que estudia para un examen de biología (aprende sobre pájaros). Luego, le piden estudiar química. Si el estudiante es como una IA normal, al estudiar química, su cerebro se "reorganiza" y borra los nombres de los pájaros para hacer espacio. Además, cuando le preguntas "¿por qué elegiste este pájaro?", el estudiante solo dice: "Porque mi cerebro lo sintió así", sin poder darte razones claras.

2. La Solución: CI-CBM (El Estudiante Organizado)

Los autores crearon un nuevo sistema llamado CI-CBM. Imagina que en lugar de un cerebro que borra cosas, tienen un estudiante con un cuaderno de conceptos muy bien organizado.

En lugar de aprender "imágenes" directamente, este estudiante aprende conceptos que tú y yo entendemos.

En lugar de ver una foto de un "Pájaro Azul", el estudiante aprende conceptos como: "tiene pico amarillo", "tiene alas azules", "no tiene patas rojas".

Estos conceptos son como las piezas de un rompecabezas o los ingredientes de una receta.

3. ¿Cómo aprende sin olvidar? (Los Dos Trucos Mágicos)

El gran desafío es que, cuando llega una nueva fase de aprendizaje (por ejemplo, aprender sobre "mariposas"), el estudiante no puede borrar lo que sabía de los "pájaros". CI-CBM usa dos trucos geniales:

Truco A: El "Guardián de Conceptos" (Regularización)

Imagina que cada vez que el estudiante aprende algo nuevo, un guardián le susurra al oído: "Oye, no olvides que los pájaros tienen pico".
Técnicamente, esto se llama regularización de conceptos. El sistema vigila que las ideas que ya aprendió (como "pico amarillo") no cambien ni se borren cuando aprende cosas nuevas. Es como tener un ancla que mantiene fijos los conocimientos antiguos mientras se construyen nuevos pisos en el edificio.

Truco B: Los "Fantasmas de Datos" (Pseudo-conceptos)

Aquí viene la parte más creativa. En el aprendizaje continuo, a veces no podemos guardar fotos de los pájaros que aprendimos antes (por privacidad o falta de espacio).

El problema: Si no tengo fotos de pájaros, ¿cómo le enseño al modelo a reconocerlos si ahora está aprendiendo sobre mariposas?
La solución: El sistema crea "fantasmas" o datos simulados.
- Imagina que el modelo sabe que una "mariposa" tiene alas grandes.
- El modelo toma esa idea de "alas grandes" y la combina con la "media" (el promedio) de cómo se veía un pájaro antes.
- ¡Boom! Crea un "pájaro fantasma" (un pseudo-concepto) que el modelo puede usar para practicar y recordar cómo era el pájaro, sin necesidad de tener la foto real guardada.

Es como si, para recordar cómo se veía tu abuela antes de que te mudaras, tu cerebro usara una foto de tu tío (que tiene rasgos similares) y ajustara los detalles mentalmente para recrear la imagen de tu abuela. ¡Funciona!

4. El Resultado: ¡Inteligente y Explicativo!

Gracias a estos trucos, CI-CBM logra dos cosas increíbles:

No olvida: Aprende cosas nuevas (mariposas) sin borrar las viejas (pájaros).
Explica su trabajo: Cuando el modelo dice "Esto es un Pájaro Azul", puede mostrarte una lista de razones: "Es un pájaro porque tiene pico amarillo (positivo) y NO tiene patas rojas (negativo)".

En resumen

Este paper nos presenta a un estudiante de IA que tiene un cuaderno de notas perfecto. Cuando llega un nuevo tema, no borra sus apuntes viejos; en su lugar, usa un sistema de "fantasmas" para repasar lo viejo mientras aprende lo nuevo.

Lo mejor de todo es que no es una caja negra. Si le preguntas por qué tomó una decisión, te responde con conceptos humanos que cualquiera puede entender, como "tiene alas azules" o "no es de color rojo". Es como tener un médico que no solo te da el diagnóstico, sino que te explica exactamente qué síntomas lo llevaron a esa conclusión, y que nunca olvida lo que aprendió en sus años de práctica.

¡Y lo mejor! Funciona tanto si el estudiante ya tenía una base de conocimientos (pre-entrenado) como si empieza desde cero. ¡Una herramienta muy potente para el futuro de la IA!

Resumen Técnico: CI-CBM

1. El Problema: Olvido Catastrófico y la Compensación entre Interpretabilidad y Precisión

El aprendizaje continuo (Continual Learning - CL) busca que los modelos aprendan de flujos de datos evolutivos sin olvidar el conocimiento adquirido anteriormente. El escenario más desafiante es el Aprendizaje Incremental de Clases (CIL), donde el modelo se entrena secuencialmente en nuevas clases que son disjuntas a las anteriores, sin acceso a los datos de las fases previas.

Olvido Catastrófico: Al ajustar el modelo para nuevas tareas, se suele degradar drásticamente el rendimiento en las tareas antiguas.
Limitaciones de los Métodos Actuales:
- Los métodos basados en replay (guardar ejemplos anteriores) plantean problemas de privacidad y almacenamiento.
- Los métodos sin ejemplos (Exemplar-Free) suelen depender de backbones preentrenados masivamente (como ImageNet), lo que cuestiona si el modelo está aprendiendo realmente "nuevos" conocimientos o solo adaptando lo preexistente.
- Compensación (Trade-off): Las soluciones existentes para CIL a menudo sacrifican la interpretabilidad (modelos de caja negra) o sufren una pérdida significativa de precisión cuando se intenta hacerlos interpretables. Los modelos interpretables actuales en CIL tienen un rendimiento muy inferior al de los modelos no interpretables.

2. Metodología: CI-CBM (Modelo de Cuello de Botella de Conceptos Incremental de Clases)

El authors proponen CI-CBM, una extensión del Concept Bottleneck Model (CBM) diseñada específicamente para el escenario Exemplar-Free CIL (EFCIL). El objetivo es mantener un proceso de decisión interpretable (basado en conceptos humanos) mientras se aprenden nuevas clases sin olvidar las anteriores.

La arquitectura se basa en tres módulos principales:

A. Expansión Curada del Conjunto de Conceptos (Módulo I)

En lugar de usar un conjunto fijo de conceptos, CI-CBM expande dinámicamente el conjunto de conceptos cada vez que llegan nuevas clases.
Utiliza un LLM (GPT-3) para generar conceptos candidatos para las nuevas clases.
Filtrado: Se eliminan conceptos redundantes o similares a nombres de clases existentes mediante similitud cosena en el espacio de embeddings de texto (usando Sentence-Transformer y CLIP/SigLIP). Esto asegura que el modelo solo aprenda conceptos únicos y no duplique información.

B. Aprendizaje del Cuello de Botella de Conceptos con Distilación (Módulo II)

Problema: Al añadir nuevos conceptos, el ajuste fino de la capa de proyección ( $W_C$ ) podría alterar la funcionalidad de los conceptos ya aprendidos (deriva de conceptos).
Solución: Se introduce una pérdida de regularización por distilación. Antes de expandir la capa para nuevos conceptos, se guardan las salidas de los conceptos antiguos. Durante el entrenamiento, se penaliza cualquier desviación de las nuevas salidas respecto a las antiguas.
Esto permite que el modelo aprenda nuevos conceptos sin "olvidar" la semántica de los anteriores.

C. Adaptación Dinámica de la Capa de Predicción y Generación de Pseudo-Conceptos (Módulo III)

Desafío: Sin datos de las clases antiguas, el clasificador final no puede aprender a distinguir entre las nuevas y las viejas clases.
Solución (Pseudo-Conceptos):
1. Se generan pseudo-características para las clases antiguas. Esto se hace identificando la nueva clase más cercana (en el espacio de características del backbone) a una clase antigua y desplazando su distribución de características hacia el centroide de la clase antigua.
2. Estas pseudo-características se proyectan a través de la capa de cuello de botella actual para generar pseudo-conceptos.
3. El clasificador final (una capa lineal dispersa) se entrena utilizando los conceptos reales de las nuevas clases y los pseudo-conceptos de las clases antiguas.
Esto permite entrenar el clasificador global sin necesidad de almacenar ni un solo ejemplo de las fases anteriores, manteniendo solo los centroides de clase.

3. Contribuciones Clave

Nuevo Marco de Trabajo: Presentación de CI-CBM, el primer modelo interpretable para CIL que demuestra robustez tanto en escenarios con backbones preentrenados como entrenados desde cero (no preentrenados).
Técnicas Innovadoras:
- Regularización de Conceptos: Previene la deriva semántica de los conceptos aprendidos durante las fases incrementales.
- Generación de Pseudo-Conceptos: Permite el entrenamiento del clasificador en fases posteriores sin acceso a datos históricos, superando la limitación de los métodos anteriores que requerían anotaciones por muestra o backbones fijos.
Rendimiento Superior: Logra cerrar la brecha de rendimiento entre modelos interpretables y de "caja negra", superando a los enfoques interpretables anteriores en CIL.

4. Resultados Experimentales

Los autores evaluaron CI-CBM en siete conjuntos de datos (CIFAR-10/100, CUB, TinyImageNet, ImageNet, Places365) bajo diversos escenarios (preentrenado y sin preentrenamiento).

Comparación con Modelos Interpretables: CI-CBM supera a los métodos del estado del arte (ICICLE, IN2, CONCIL, CLG-CBM) con un aumento promedio de precisión del 36%.
- En CIFAR-100, mejora un 35-40% sobre los baselines.
- En CUB (dataset de aves de alta granularidad), mejora un 43% sobre los baselines.
Comparación con Modelos de Caja Negra (No Interpretables):
- En escenarios sin preentrenamiento (entrenando el backbone desde cero), CI-CBM alcanza un rendimiento muy cercano a los modelos no interpretables de vanguardia (como FeTrIL, PASS, SSRE), con una diferencia de precisión mínima (aprox. 7.5%).
- Esto demuestra que la interpretabilidad no tiene por qué implicar una pérdida drástica de rendimiento.
Robustez: El método mantiene su precisión incluso a medida que aumenta el número de fases incrementales, mientras que otros métodos interpretables colapsan.
Análisis de Componentes (Ablación):
- Sin la generación de pseudo-conceptos, la precisión de las clases antiguas cae a cero.
- Sin la regularización de conceptos, la fidelidad semántica de los conceptos aprendidos se degrada.
- El uso de SigLIP en lugar de CLIP para alinear conceptos mejora ligeramente la precisión y la fidelidad.

5. Significado e Impacto

Viabilidad Práctica: CI-CBM demuestra que es posible construir sistemas de aprendizaje continuo que sean tanto altamente precisos como totalmente interpretables. Esto es crucial para dominios de alto riesgo (salud, justicia, robótica) donde no solo se necesita que el modelo funcione, sino que se pueda entender por qué toma una decisión.
Independencia del Preentrenamiento: A diferencia de muchos métodos recientes que dependen de modelos preentrenados en ImageNet (lo que limita la capacidad de aprender verdaderamente "nuevos" conocimientos), CI-CBM funciona eficazmente cuando el backbone se entrena desde cero en los datos de la primera fase.
Transparencia Global y Local: El modelo proporciona explicaciones globales (qué conceptos definen qué clases a lo largo del tiempo) y locales (qué conceptos específicos activaron una predicción para una imagen concreta), permitiendo a los humanos rastrear la evolución del razonamiento del modelo a medida que aprende nuevas clases.

En conclusión, CI-CBM representa un avance significativo al resolver el dilema clásico entre interpretabilidad y rendimiento en el aprendizaje continuo, ofreciendo un marco escalable y robusto para la adquisición incremental de conocimiento basado en conceptos humanos.