🤖 machine learning

Continual Distillation Learning for Rehearsal-Free Class-Incremental Learning via Decoupled Prompting

Este artículo presenta el Aprendizaje de Destilación Continua Desacoplada (D-CDL, por sus siglas en inglés), un nuevo marco para el aprendizaje incremental de clases sin ensayo que mejora la transferencia de conocimiento de Vision Transformers más grandes a más pequeños mediante el desacoplamiento explícito de la adaptación específica de la tarea de la destilación a través de prompts de destilación de conocimiento globales y persistentes.

Autores originales: Qifan Zhang, Yunhui Guo, Yu Xiang

Publicado 2026-08-14

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Qifan Zhang, Yunhui Guo, Yu Xiang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot a reconocer animales. Comienzas con gatos, luego perros, después pájaros. La parte difícil es que, a medida que el robot aprende sobre pájaros, tiende a olvidar cómo se ve un gato. Este es un dolor de cabeza famoso en el mundo de la inteligencia artificial llamado "olvido catastrófico". Para solucionar esto, los científicos han desarrollado un truco ingenioso llamado "aprendizaje basado en prompts" (o instrucciones). En lugar de reentrenar todo el cerebro del robot (que es enorme y costoso), le dan una pequeña nota adhesiva, un "prompt", que le dice cómo pensar sobre la tarea actual. De esta manera, el robot mantiene su cerebro original congelado y seguro, cambiando solo las notas adhesivas para adaptarse a nuevos animales.

Sin embargo, hay un inconveniente: los cerebros más grandes son generalmente mejores para reconocer cosas. Un cerebro de robot gigante (un modelo grande) es mucho más inteligente que uno pequeño y eficiente. Pero los cerebros gigantes son lentos y consumen demasiada energía para los dispositivos cotidianos. El sueño es tomar el conocimiento de un cerebro gigante y exprimirlo dentro del cerebro pequeño y rápido para que el pequeño sea igual de inteligente sin el peso excesivo. Este proceso se llama "destilación de conocimiento". Normalmente, puedes hacer esto fácilmente si tienes una gran pila de fotos antiguas para estudiar. Pero en el mundo real del aprendizaje continuo, no obtienes las fotos antiguas; solo recibes las nuevas imágenes de animales a medida que llegan, una por una. Esto crea un rompecabezas único: ¿Cómo puedes enseñar a un robot pequeño a aprender de uno grande, paso a paso, sin que el robot pequeño olvide las lecciones del grande cada vez que aparece un nuevo animal?

Este es exactamente el rompecabezas que aborda un nuevo artículo de investigadores de la Universidad de Texas en Dallas. Descubrieron que las formas estándar de intentar exprimir el conocimiento de un cerebro grande a uno pequeño en realidad fallan en este escenario específico de "paso a paso". Encontraron que el robot pequeño sigue olvidando las lecciones del maestro porque los "prompts" que utiliza para aprender se intercambian constantemente por otros nuevos. Para solucionar esto, inventaron un nuevo método llamado Knowledge Distillation based on Prompts (KDP) (Destilación de Conocimiento basada en Prompts). En lugar de depender de los prompts que se intercambian, añadieron un "prompt maestro" especial y permanente que se queda con el robot para siempre, actuando como un puente dedicado al conocimiento del maestro. Sus experimentos muestran que este nuevo método ayuda al robot pequeño a aprender mucho mejor y a olvidar mucho menos, permitiéndole funcionar con la inteligencia del cerebro gigante pero con la velocidad de uno pequeño.

El Probleo: El fallo de la "Nota Adhesiva Intercambiable"

Para entender por vez esto es difícil, veamos cómo funcionan estos robots "basados en prompts". Imagina que el robot tiene una biblioteca de notas adhesivas (prompts). Cuando ve un gato, elige una "nota de gato". Cuando ve un perro, elige una "nota de perro". Esto es genial para aprender cosas nuevas sin olvidar las anteriores porque el robot simplemente cambia la nota.

Pero aquí es donde la "destilación" (enseñar desde un cerebro grande) falla. Los investigadores descubrieron que cuando intentaron enseñar al robot pequeño usando al grande, el robot pequeño elegía una "nota de gato" para aprender del gran maestro. Luego, cuando llegaba una nueva tarea (como pájaros), tiraba la "nota de gato" y elegía una "nota de pájaro". ¿El problema? Las lecciones que el gran maestro le enseñó sobre los gatos estaban atrapadas dentro de esa "nota de gato". Una vez que la nota era cambiada, el robot pequeño olvidaba todo lo que el maestro le había enseñado sobre los gatos. Los investigadores llaman a esto "olvido de información de destilación". Es como intentar aprender un idioma de un profesor, pero cada vez que cambias de capítulo, tiras el cuaderno donde el profesor escribió tu tarea.

Los investigadores probaron los trucos habituales, como observar las respuestas finales del maestro (logits) o sus pensamientos intermedios (características), pero estos no funcionaron bien porque el mecanismo de "intercambio de notas" seguía borrando el tablero. Incluso probaron descongelar parte del cerebro del robot para permitirle aprender de forma permanente, pero eso hizo que el robot olvidara sus tareas anteriores aún más rápido, invalidando todo el propósito.

La Solución: El "Puente Eterno"

Para solucionar esto, el equipo introdujo un nuevo tipo de nota adhesiva llamada KD Prompt (Prompt de Destilación de Conocimiento). A diferencia de las notas regulares que se intercambian para cada nuevo animal, estos KD Prompts son especiales. Son globalmente accesibles, lo que significa que permanecen con el robot sin importar qué tarea esté realizando.

Piénsalo de esta manera:

Prompts Regulares: Son como tarjetas de estudio temporales. Usas una "Tarjeta de Gato" para los gatos, luego la tiras y agarras una "Tarjeta de Perro" para los perros.
KD Prompts: Son como una pizarra permanente y no borrable adherida a la pared del robot. No importa qué animal estés mirando, el robot siempre puede escribir las lecciones del maestro en esta pizarra.

Al insertar estos KD Prompts permanentes en el cerebro del robot, el modelo pequeño tiene un espacio dedicado para almacenar la sabiduría del gran maestro que nunca se desecha. También añadieron un "KD Classifier" especial (un segundo cerebro para calificar) que verifica específicamente si el robot está copiando correctamente al maestro, independientemente de la tarea principal del robot de reconocer animales.

Lo que Encontraron

Los investigadores probaron esta idea en dos conjuntos de datos de imágenes famosos: CIFAR-100 (100 tipos de imágenes pequeñas) e ImageNet-R (100 tipos de representaciones artísticas de objetos). Configuraron un escenario donde el robot tenía que aprender 10 tareas diferentes, una tras otra, con 10 clases en cada una.

Compararon su nuevo método KDP contra métodos más antiguos como la destilación de conocimiento estándar y la destilación de características. Los resultados fueron claros:

Métodos Antiguos: Al usar la destilación estándar, la precisión del robot pequeño solo aumentaba un poco, y de hecho olvidaba las tareas previas más de lo que lo hacía sin ninguna ayuda. Por ejemplo, en el conjunto de datos ImageNet-R, un método estándar llamado "KD" obtuvo una precisión promedio del 69.91% con una tasa de olvido del 7.64%.
El Nuevo Método (KDP): Con su enfoque de "Puente Eterno", el robot pequeño se volvió significativamente más inteligente y olvidó mucho menos. Usando el mismo conjunto de datos, el método KDP aumentó la precisión promedio al 71.92% y redujo la tasa de olvido a solo 5.61%.

Cuando probaron esto con un maestro aún más grande (un modelo "ViT-Large") enseñando a un estudiante de tamaño medio ("ViT-Base"), la brecha se amplió aún más. El método KDP logró una precisión promedio de 78.62% con una tasa de olvido de 3.46%, superando a todos los demás métodos que probaron.

Por qué es Importante

El artículo sugiere que esto no es solo un pequeño ajuste; es una solución fundamental para un tipo específico de problema de aprendizaje. Al separar las notas de "aprender nuevas tareas" de las notas de "aprender del maestro", resolvieron el problema del olvido que plagaba los intentos anteriores.

Los investigadores señalan que esto conlleva un costo: tienes que entrenar tanto al gran maestro como al pequeño estudiante al mismo tiempo, lo que requiere más tiempo y memoria informática. Sin embargo, una vez terminada la formación, el modelo estudiante pequeño está listo para funcionar. Puede ejecutarse en dispositivos que necesitan ser rápidos y eficientes, y aun así posee la inteligencia de un modelo mucho más grande.

En resumen, el artículo demuestra que si quieres que una IA pequeña y rápida aprenda continuamente sin olvidar, no puedes simplemente copiar y pegar el cerebro del maestro. Tienes que darle al estudiante un espacio permanente y dedicado para mantener seguras las lecciones del maestro, sin importar qué nuevas cosas encuentre después.

Resumen Técnico: Aprendizaje de Destilación Continua (CDL)

1. Definición del Problema: Aprendizaje de Destilación Continua (CDL)

El artículo introduce un nuevo problema de investigación denominado Aprendizaje de Destilación Continua (CDL). Este problema aborda el desafío de mejorar la eficiencia de la inferencia de los modelos de Aprendizaje Continuo (CL) basados en prompts sin sacrificar el rendimiento.

Contexto: En el CL basado en prompts (por ejemplo, L2P, DualPrompt, CODA-Prompt), se mantiene congelado un backbone de Vision Transformer (ViT) preentrenado, y el aprendizaje se desplaza hacia la optimización de un conjunto de "prompts". Las observaciones empíricas muestran que los backbones de ViT más grandes (por ejemplo, ViT-Large) ofrecen un mejor rendimiento que los más pequeños (por ejemplo, ViT-Small) en estos entornos de CL.
El Desafío: Aunque los modelos grandes funcionan mejor, incurren en altos costos computacionales durante la inferencia. El objetivo de CDL es destilar el conocimiento de un ViT "Maestro" grande a un ViT "Estudiante" más pequeño dentro de un entorno de aprendizaje incremental de tareas sin reherencia (rehearsal-free).
Distinción de la KD Tradicional: A diferencia de la Destilación de Conocimiento (KD) tradicional, que utiliza un conjunto de datos offline para entrenar a un maestro y luego destilar a un estudiante, CDL opera de forma secuencial. El modelo maestro se actualiza tarea por tarea, y el estudiante debe aprender del maestro utilizando únicamente los datos de la tarea actual, sin acceso a datos pasados.

2. Observación Clave: Olvido de la Información de Destilación

Los autores encontraron empíricamente que los métodos de KD existentes (Destilación de Logits y Destilación de Características) no logran mejorar eficazmente los modelos estudiantes en la configuración de CDL. Identifican la causa raíz como el Olvido de la Información de Destilación:

Mecanismo: En el CL basado en prompts, diferentes tareas seleccionan diferentes subconjuntos de prompts de un conjunto de prompts mediante un mecanismo de consulta-clave (query-key).
El Fallo: El conocimiento destilado del maestro se incrusta en los prompts específicos seleccionados para una tarea determinada. Cuando llega una nueva tarea, el estudiante selecciona un conjunto de prompts diferente. Dado que el backbone está congelado, el conocimiento transferido en los prompts de la tarea anterior se descarta efectivamente para la nueva tarea. El estudiante debe volver a aprender el conocimiento del maestro desde cero para cada nueva tarea, lo que conduce a una transferencia de conocimiento inter-tarea deficiente.
Alternativas Fallidas: El artículo señala que descongelar partes del backbone de ViT para permitir actualizaciones no es una solución viable, ya que conduce a un olvido catastrófico de las tareas anteriores, violando el principio fundamental del CL basado en prompts.

3. Metodología: Destilación de Conocimiento basada en Prompts (KDP)

Para abordar el Olvido de la Información de Destilación, los autores proponen la Destilación de Conocimiento basada en Prompts (KDP).

Componentes Principales

Prompts de KD:
- Se introduce un nuevo tipo de prompt diseñado específicamente para la destilación de conocimiento.
- A diferencia de los prompts estándar de CL que son específicos de la tarea y se seleccionan mediante un mecanismo de consulta-clave, los Prompts de KD son globalmente accesibles y compartidos entre todas las tareas.
- No dependen del mecanismo de selección; se insertan en el backbone de ViT congelado del modelo estudiante para cada tarea.
- Se insertan utilizando Prefix-Tuning, dividiendo el prompt en componentes de Clave ( $P_K$ ) y Valor ( $P_V$ ) y adjuntándolos a las capas MSA del ViT.
Token de KD y Clasificador:
- Se inserta un Token de Destilación (Token de KD) dedicado al final de la primera capa del backbone de ViT.
- Este token se propaga a través de la red y se conecta a un Clasificador de KD separado.
- El Clasificador de KD se entrena para minimizar la divergencia entre la salida del estudiante y la salida del maestro (soft labels) utilizando una pérdida de destilación de logits estándar (divergencia KL con temperatura $\tau$ ).
Objetivo de Entrenamiento:
La función de pérdida total del modelo estudiante ( $L_S$ ) combina tres términos:
- Pérdida de Clasificación del Estudiante: Pérdida de entropía cruzada estándar para la tarea actual utilizando el clasificador principal del estudiante.
- Pérdida de Destilación de Conocimiento: La pérdida entre el clasificador de KD del estudiante y el clasificador del maestro.
- Pérdida del Conjunto de Prompts: La pérdida asociada con la selección/optimización de los prompts de CL originales (específica del método de CL subyacente, por ejemplo, L2P o CODA-Prompt).

4. Resultados Experimentales

Los autores evaluaron KDP en los conjuntos de datos CIFAR-100 e ImageNet-R utilizando un entorno de incremento de clases (10 tareas, 10 clases cada una). Probaron tres backbones de CL basados en prompts: L2P, DualPrompt y CODA-Prompt.

Pares Maestro-Estudiante: Los experimentos se realizaron con ViT-Large $\to$ ViT-Base y ViT-Base $\to$ ViT-Small.
Rendimiento:
- Los métodos de KD existentes (KD, DKD, FitNets, ReviewKD) mostraron mejoras insignificantes o incluso aumentaron las tasas de olvido en comparación con el estudiante base.
- KDP superó consistentemente a todos los baselines. Por ejemplo, en ImageNet-R con CODA-Prompt (ViT-Base $\to$ ViT-Small), KDP logró un 71.92% de precisión promedio con un 5.61% de olvido, en comparación con el 67.44% y 8.52% del estudiante base sin destilación.
- La combinación de CODA-Prompt y KDP alcanzó un rendimiento de Estado del Arte (SOTA), acercándose a la precisión de los modelos más grandes mientras mantiene la eficiencia de los modelos más pequeños.
Estudios de Ablación:
- Prompts de KD vs. Clasificador de KD: Ambos componentes son necesarios para un rendimiento óptimo.
- Descongelar el Backbone: Descongelar la última capa del ViT resultó en un olvido severo (la precisión cayó a ~30%), confirmando la necesidad de mantener el backbone congelado.
- Posición del Prompt: Simplemente añadir más prompts entrenables al conjunto de prompts de CL estándar (sin el mecanismo de prompt de KD global) no produjo los mismos beneficios, demostando que la naturaleza global y trans-tarea de los prompts de KD es el factor clave.

5. Significado y Contribuciones

El artículo reclama las siguientes contribuciones:

Formulación del Problema: Introduce el problema de CDL, definiendo el desafío específico de destilar conocimiento de modelos grandes a pequeños dentro de las restricciones de un aprendizaje continuo basado en prompts sin reherencia.
Descubrimiento de una Limitación: Es el primero en identificar y analizar el Olvido de la Información de Destilación, explicando por qué los métodos de KD estándar fallan en el CL basado en prompts debido a la naturaleza específica de la tarea de la selección de prompts.
Método Novedoso (KDP): Propone KDP, un método que utiliza prompts compartidos globalmente y un token de destilación dedicado para facilitar la transferencia continua de conocimiento entre tareas sin descongelar el backbone.
Validación Empírica: El método demuestra mejoras significativas en la precisión y reducciones en el olvido a través de múltiples marcos de CL basados en prompts y conjuntos de datos, estableciendo un nuevo estándar para el aprendizaje continuo eficiente.

Los autores concluyen que KDP cierra eficazmente la brecha entre el alto rendimiento de los modelos grandes y los requisitos de eficiencia de los modelos pequeños en escenarios de aprendizaje continuo.