One-Prompt Strikes Back: Sparse Mixture of Experts for Prompt-based Continual Learning

El artículo presenta SMoPE, un marco novedoso que integra una arquitectura de Mezcla de Expertos Escasos (MoE) en el aprendizaje continuo basado en prompts para equilibrar la eficiencia computacional y el rendimiento, mitigando la interferencia de conocimientos mediante la activación dinámica de expertos compartidos y mecanismos de pérdida basados en prototipos.

Lo esencial

Imagina que tienes un chef experto (una Inteligencia Artificial) que ya sabe cocinar miles de platos. Tu objetivo es enseñarle a cocinar nuevos menús cada semana sin que olvide los anteriores. Este es el desafío del Aprendizaje Continuo.

El problema es que, si le das una sola receta nueva cada semana, el chef empieza a confundirse: mezcla ingredientes de la pizza con los de la paella y al final no sabe hacer ninguna bien. Esto se llama "olvido catastrófico".

Aquí es donde entra el nuevo método del paper, llamado SMoPE. Vamos a explicarlo con una analogía sencilla:

1. El Problema: Dos formas de fallar

Antes de SMoPE, había dos formas de intentar enseñar al chef:

• El método de "Un Chef por Plato" (Prompts Específicos): Creas un chef nuevo y exclusivo para cada menú.
  • Ventaja: No se confunden entre ellos.
  • Desventaja: ¡Es una locura! Necesitas contratar a un chef nuevo cada semana. Tu cocina se llena de gente, el presupuesto se dispara y es muy lento. Además, si un día no sabes qué plato te pidieron, tienes que probar a todos los chefs uno por uno para ver quién es el correcto.
• El método de "Un Solo Chef para Todo" (Prompt Compartido): Usas al mismo chef de siempre y solo le das una pequeña nota mental (un "prompt") para cambiar de plato.
  • Ventaja: Muy eficiente, barato y rápido.
  • Desventaja: El chef se confunde. Si le dices "hoy es pizza" y luego "hoy es sushi", sus notas mentales se mezclan y empieza a poner wasabi en la pizza.

2. La Solución: SMoPE (El Chef con un Equipo de Especialistas)

Los autores proponen SMoPE, que es como tener un solo chef principal, pero con un equipo secreto de especialistas dentro de su mente.

Imagina que el "chef" es en realidad una caja llena de 25 pequeños expertos (llamados "expertos de prompt").

• Cuando llega un pedido de Pizza, el sistema activa automáticamente solo a los 5 expertos que saben de masa y queso.
• Cuando llega un pedido de Sushi, activa a otros 5 expertos que saben de arroz y pescado.
• Los expertos de la pizza no se tocan cuando se hace sushi, y viceversa.

¿Por qué es genial esto?

• Eficiencia: Solo usas un equipo (un solo "prompt" compartido), no necesitas contratar nuevos chefs.
• Sin Confusión: Como cada tarea usa a un subgrupo diferente, la pizza no se mezcla con el sushi.
• Velocidad: El sistema sabe instantáneamente qué 5 expertos activar sin tener que revisar a todos los demás.

3. Los Trucos Mágicos del Sistema

Para que este sistema funcione perfecto, los autores añadieron tres "reglas de oro":

• El Ruido Adaptativo (La "Semilla de la Curiosidad): A veces, el sistema se vuelve perezoso y siempre elige a los mismos 5 expertos favoritos, ignorando a los demás. Para evitarlo, el sistema les da un pequeño "empujón" (ruido) a los expertos que no se usan mucho, obligándolos a participar. Es como decirle al chef: "Oye, tú que nunca cocinas postres, ¡hoy toca un pastel!". Esto asegura que todos los expertos aprendan y estén listos.
• La Memoria Implícita (Los "Prototipos"): El sistema guarda una "foto mental" de cómo se veían los ingredientes de las tareas pasadas. Si llega una nueva tarea, el sistema compara los ingredientes con esas fotos mentales para saber qué expertos activar, sin necesidad de tener los platos antiguos guardados en la nevera.
• Entrenamiento Densito al Inicio: Al principio, cuando el chef empieza, deja que todos los expertos trabajen juntos para aprender las bases. Luego, cuando ya sabe lo básico, empieza a seleccionar solo a los expertos necesarios para cada tarea.

En Resumen

SMoPE es como tener un equipo de superhéroes dentro de un solo cerebro.

• No necesitas un cerebro nuevo para cada misión (ahorro de dinero y espacio).
• No mezclas los poderes de Batman con los de Superman (evitas el olvido y la confusión).
• Solo activas a los héroes necesarios para el problema del día (ahorro de energía y tiempo).

El resultado es un sistema que aprende cosas nuevas constantemente, recuerda todo lo que sabía antes, y lo hace mucho más rápido y barato que los métodos anteriores. ¡Es como si el chef pudiera cocinar cualquier menú del mundo sin nunca olvidar su receta favorita!

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "ONE-PROMPT STRIKES BACK: SPARSE MIXTURE OF EXPERTS FOR PROMPT-BASED CONTINUAL LEARNING", presentado en ICLR 2026.

1. El Problema: Continual Learning (CL) y el Dilema de los Prompts

El Aprendizaje Continuo (CL) busca entrenar redes neuronales en una secuencia de tareas sin olvidar el conocimiento adquirido en tareas anteriores. Un desafío central es el olvido catastrófico.

En el ámbito del CL basado en prompts (instrucciones aprendibles insertadas en modelos preentrenados), existen dos paradigmas principales con compensaciones (trade-offs) significativas:

• Prompts Específicos por Tarea: Asignan un subconjunto dedicado de parámetros de prompt a cada tarea. Aunque son efectivos, sufren de:
  • Ineficiencia computacional: Requieren inferir la identidad de la tarea (a menudo pasando el input por todo el modelo) para seleccionar el prompt correcto.
  • Escalabilidad pobre: El número de parámetros crece linealmente con el número de tareas, lo que es inviable a largo plazo.
  • Aislamiento de conocimiento: Dificultan la transferencia positiva de conocimiento entre tareas.
• Prompt Compartido Único: Utilizan un solo prompt compartido para todas las tareas (ej. OVOR). Son altamente eficientes en parámetros y cómputo, pero sufren de:
  • Interferencia de conocimiento: La actualización constante del mismo prompt para nuevas tareas degrada el rendimiento en tareas anteriores debido a la sobrescritura de información.

La pregunta clave: ¿Es posible lograr la eficiencia de un prompt único manteniendo un rendimiento competitivo con los métodos específicos por tarea?

2. Metodología: SMoPE (Sparse Mixture of Prompt Experts)

Los autores proponen SMoPE, un marco innovador que integra la arquitectura de Mezcla de Expertos Escasos (Sparse Mixture of Experts - SMoE) dentro del ajuste de Prefix Tuning. La idea central es tratar un prompt compartido no como un bloque monolítico, sino como un conjunto de "expertos de prompt" donde solo un subconjunto se activa para cada entrada.

Componentes Clave de la Metodología:

1. Estructura SMoE en Prefix Tuning:

   • Basándose en hallazgos recientes que ven las cabezas de atención como composiciones de modelos MoE, SMoPE organiza el prompt compartido en $N_p$ "expertos de prompt".
   • Para cada entrada, el modelo activa dinámicamente solo los $K$ expertos más relevantes (donde $K \ll N_p$), creando una partición implícita de parámetros.

2. Agregación de Puntuaciones de Atención (Prompt-Attention Score Aggregation):

   • En el ajuste de prefix, cada experto tiene múltiples funciones de puntuación (una por token). Calcular todas es costoso.
   • SMoPE introduce un puntuación proxy unificada ($\tilde{s}_{j'}$) calculada promediando las representaciones de los tokens ($\tilde{x}$). Esto reduce la complejidad computacional de $O(N \cdot d_k)$ a $O(d_k)$ por entrada, permitiendo una selección de expertos eficiente sin necesidad de una pasada completa del modelo para inferir la tarea.

3. Mecanismo de Ruido Adaptativo (Adaptive Noise):

   • Un problema común en MoE es el desequilibrio en el uso de expertos (algunos dominan, otros se ignoran).
   • SMoPE introduce un ruido adaptativo que penaliza las puntuaciones de los expertos que han sido activados con alta frecuencia en tareas anteriores.
   • Objetivo: Fomentar la exploración de expertos subutilizados para nuevas tareas, protegiendo al mismo tiempo el conocimiento esencial almacenado en los expertos críticos (que ya tienen alta frecuencia de activación).

4. Pérdida Basada en Prototipos (Prototype-Based Loss):

   • Para mejorar la especialización de los expertos y prevenir el olvido, los autores utilizan las llaves de prefijo (prefix keys) como representaciones implícitas de memoria de las distribuciones de entrada pasadas.
   • Se define una pérdida ($L_{proto}$) que trata las llaves de prefijo de tareas anteriores como prototipos, asegurando que los nuevos ajustes no sobrescriban las regiones del espacio de entrada donde los expertos anteriores eran efectivos.

5. Estrategias de Entrenamiento:

   • Entrenamiento Densidad Inicial: En las primeras épocas de la primera tarea, se entrena con todos los expertos activos (sin selección escasa) para estabilizar las representaciones.
   • Predicción Adaptativa a la Tarea: Se ajusta el clasificador para mitigar el sesgo hacia las clases nuevas, utilizando estadísticas de las clases previas.

3. Contribuciones Principales

1. SMoPE: Un nuevo enfoque que integra una arquitectura MoE escasa en el marco de Prefix Tuning, permitiendo un prompt compartido pero con partición dinámica de parámetros.
2. Mecanismos de Estabilización: Introducción de un mecanismo de ruido adaptativo para equilibrar el uso de expertos y una función de pérdida basada en prototipos que utiliza las llaves de prefijo como memoria implícita.
3. Eficiencia y Rendimiento: Demostración de que es posible superar a los métodos de prompts específicos por tarea y igualar a los métodos más avanzados (SOTA), reduciendo simultáneamente los parámetros aprendibles y los costos computacionales.

4. Resultados Experimentales

Los autores evaluaron SMoPE en tres benchmarks estándar de CL: ImageNet-R, CIFAR-100 y CUB-200, utilizando diferentes divisiones de tareas (5, 10, 20 y hasta 50 tareas).

• Rendimiento General: SMoPE superó consistentemente a los métodos basados en prompts específicos por tarea (como DualPrompt, HiDe-Prompt, NoRGa) y a métodos de prompt único (OVOR) en las métricas de Precisión Promedio Final (FAA) y Precisión Promedio Acumulada (CAA).
  • Ejemplo: En ImageNet-R (10 tareas), SMoPE alcanzó un FAA de 79.32%, superando a HiDe-Prompt (74.25%) y OVOR (75.25%).
• Eficiencia Computacional:
  • Parámetros: SMoPE utiliza significativamente menos parámetros aprendibles (0.38M) en comparación con métodos como Deep L2P++ (4.78M) o DualPrompt (1.10M).
  • Costo de Inferencia: Al no requerir pasar la entrada por todo el modelo para inferir la tarea, SMoPE reduce el costo de inferencia en un 50% en comparación con los métodos que requieren selección de tarea explícita.
• Robustez: Los resultados se mantuvieron sólidos bajo diferentes paradigmas de pre-entrenamiento (supervisado, iBOT, DINO) y variaciones en la longitud del prompt y el número de expertos.

5. Significado e Impacto

El trabajo de SMoPE es significativo porque resuelve la dicotomía histórica entre la eficiencia de los prompts compartidos y el rendimiento de los prompts específicos por tarea en el Aprendizaje Continuo.

• Paradigma de Eficiencia: Demuestra que la escalabilidad lineal de los parámetros no es necesaria para un buen rendimiento en CL. Se puede lograr un alto rendimiento con un conjunto fijo y pequeño de parámetros compartidos.
• Mecanismo de Interferencia: Proporciona una solución elegante al problema de la interferencia de conocimiento mediante la selección escasa dinámica y el uso de ruido adaptativo, en lugar de depender de almacenamiento de datos pasados o modelos externos.
• Generalización: La arquitectura propuesta es aplicable más allá de los Transformers visuales, sugiriendo un camino para hacer que los modelos fundacionales sean más adaptables y eficientes en entornos dinámicos sin sacrificar la capacidad de retención de conocimiento.

En resumen, SMoPE representa un avance importante hacia sistemas de IA que pueden aprender continuamente de manera eficiente, manteniendo la especialización necesaria para tareas diversas sin explotar los recursos computacionales o de memoria.