🤖 machine learning

SAME: Stabilized Mixture-of-Experts for Multimodal Continual Instruction Tuning

El artículo propone SAME, un marco de Mezcla de Expertos estabilizado para el Ajuste de Instrucciones Multimodal Continuo que mitiga la deriva del enrutador y de los expertos mediante el enrutamiento de subespacios ortogonales, el escalado sensible a la curvatura y la activación adaptativa de expertos, logrando un rendimiento de vanguardia en un nuevo referente de secuencias largas.

Autores originales: Zhen-Hao Xie, Jun-Tao Tang, Yu-Cheng Shi, Han-Jia Ye, De-Chuan Zhan, Da-Wei Zhou

Publicado 2026-08-27

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Zhen-Hao Xie, Jun-Tao Tang, Yu-Cheng Shi, Han-Jia Ye, De-Chuan Zhan, Da-Wei Zhou

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina a un estudiante que es brillante resolviendo problemas matemáticos pero que, cuando se le pide leer un poema, de repente olvida cómo contar. Este es el desafío central que enfrentan los sistemas modernos de inteligencia artificial conocidos como modelos de lenguaje de gran tamaño multimodales. Estos son computadores potentes que pueden ver imágenes y leer texto, aprendiendo a responder preguntas sobre el mundo mediante el estudio de vastas cantidades de datos. Están entrenados para seguir instrucciones, como "describe al gato en la foto" o "resuelve este problema de física". Sin embargo, en el mundo real, estos sistemas no lo aprenden todo a la vez. En su lugar, encuentran nuevos tipos de tareas una tras otra, como un estudiante pasando de una clase de matemáticas a una de historia y luego a una de arte. El problema es que, a medida que estos modelos aprenden nuevas habilidades, a menudo olvidan las anteriores, un fenómeno que los científicos llaman olvido catastrófico. Para mantener estos modelos útiles, los investigadores necesitan una forma de enseñarles cosas nuevas sin borrar lo que ya saben.

Durante algún tiempo, los expertos han intentado resolver esto dándole al modelo un equipo de ayudantes especializados, una estructura conocida como mezcla de expertos. Piensa en el modelo como una gran oficina donde diferentes trabajadores, o "expertos", se encargan de diferentes tipos de trabajos. Cuando llega una pregunta, un gerente, llamado enrutador, decide qué trabajador es el más adecuado para responderla. Si la pregunta es sobre un gráfico, el enrutador la envía al analista de datos; si es sobre un poema, va al escritor. Este sistema funciona bien cuando las tareas son estables, pero los investigadores descubrieron una falla cuando el modelo tenía que aprender una larga secuencia de nuevas tareas. A medida que el modelo aprendía nuevas habilidades, el gerente comenzaba a cometer errores, enviando tipos de preguntas antiguas a los trabajadores equivocados. Simultáneamente, los trabajadores mismos comenzaban a cambiar, perdiendo las habilidades específicas que habían desarrollado para tareas anteriores. Este doble fallo significaba que el modelo no solo estaba enviando las preguntas a las personas equivocadas, sino que también estaba olvidando cómo realizar los trabajos que esas personas debían hacer.

Un equipo de investigadores ha propuesto ahora un nuevo método llamado SAME para solucionar estos problemas. Descubrieron que la confusión del gerente y la pérdida de memoria de los trabajadores eran dos problemas distintos que requerían soluciones diferentes. Para evitar que el gerente se confunda, los investigadores diseñaron un sistema que rastrea cuidadosamente cómo el modelo ve el mundo. En lugar de permitir que el gerente cambie de opinión completamente con cada nueva lección, restringen cuánto puede cambiar su enfoque. Permiten que el gerente aprenda nuevas formas de clasificar preguntas, pero protegen las formas antiguas de clasificar que eran esenciales para tareas previas. Esto asegura que una pregunta sobre una imagen médica, por ejemplo, continúe yendo al experto médico, incluso después de que el modelo haya aprendido a leer mapas o resolver problemas de química.

Para evitar que los trabajadores olviden sus trabajos, los investigadores introdujeron una forma de medir cuánto podría dañar el nuevo aprendizaje de un trabajador sus habilidades previas. Analizaron los tipos de datos que los trabajadores habían visto en el pasado y utilizaron ese historial para ralentizar los cambios que podrían dañar esas viejas habilidades. Es como decirle a un trabajador: "Puedes aprender esta nueva habilidad, pero hazlo de una manera que no borre cómo reparabas las máquinas antiguas". Al hacer esto, el modelo preserva las capacidades específicas que obtuvo de tareas anteriores mientras sigue siendo capaz de adaptarse a nuevas. Además, los investigadores descubrieron que no todos los trabajadores necesitan estar activos para cada lección. Crearon una regla para pausar temporalmente a los trabajadores que no son necesarios para la tarea actual, lo que ahorra energía y evita que sean cambiados accidentalmente por información irrelevante.

El equipo probó este nuevo enfoque en una serie de evaluaciones desafiantes, incluyendo un nuevo conjunto de tareas que crearon para imitar la realidad desordenada y variada del mundo real. Esta nueva prueba incluyó diez tipos diferentes de tareas, que van desde la lectura de documentos médicos y el análisis de gráficos científicos hasta la comprensión de escenas viales complejas y fórmulas químicas. Los resultados mostraron que su método, SAME, era significativamente mejor para recordar tareas antiguas que los métodos anteriores. En una prueba específica que involucraba una larga secuencia de ocho tareas, el nuevo método mantuvo un nivel de precisión mucho más alto en la primera tarea en comparación con otros enfoques. También demostró ser más eficiente, requiriendo menos tiempo y memoria de computadora para el entrenamiento porque solo actualizaba a los trabajadores necesarios.

Quizás lo más importante es que los investigadores observaron que su método prevenía un tipo de falla sutil pero común donde el modelo obtenía la respuesta correcta pero la formateaba incorrectamente. Por ejemplo, si una tarea requería una respuesta en letras mayúsculas, el modelo podría empezar a dar la respuesta en letras minúsculas después de aprender una nueva tarea que utilizaba minúsculas. El nuevo sistema mantuvo al modelo consistente, asegurando que siguiera las reglas de formato específicas de cada tarea sin confundirse por el estilo de la siguiente. Al estabilizar tanto la decisión de quién responde la pregunta como la memoria de la persona que responde, este trabajo ofrece una forma más confiable para que la inteligencia artificial aprenda continuamente, expandiendo sus capacidades sin perder la base de lo que ya sabe.

Resumen Técnico: SAME – Mezcla de Expertos Estabilizada para el Ajuste de Instrucciones Multimodales Continuas

1. Declaración del Problema

Los Modelos de Lenguaje de Gran Escala Multimodales (MLLM) han demostrado una fuerte generalización mediante el ajuste de instrucciones. Sin embargo, el despliegue en el mundo real requiere que estos modelos expandan continuamente sus capacidades mediante el aprendizaje de flujos secuenciales de tareas multimodales (Ajuste de Instrucciones Multimodales Continuas, o MCIT). Un desafío principal en este escenario es el olvido catastrófico, donde el aprendizaje de nuevas tareas degrada el rendimiento en las tareas aprendidas previamente.

Los enfoques recientes utilizan arquitecturas de Mezcla de Expertos (MoE) combinadas con LoRA (Adaptación de Bajo Rango) para promover la especialización de tareas mediante el enrutamiento disperso. A pesar de su promesa, los autores identifican que los métodos actuales de MCIT basados en MoE sufren dos fuentes distintas pero acopladas de olvido:

Deriva del Enrutador (Router Drift): A medida que la distribución de los datos evoluciona con nuevas tareas, el proceso de toma de decisiones del enrutador se vuelve inestable. Las entradas de tareas anteriores que previamente activaban expertos específicos de "localización" o "anclaje" son reasignadas cada vez más a expertos irrelevantes. Esto conduce a un acceso inconsistente a los módulos funcionales correctos.
Deriva del Experto (Expert Drift): Incluso si el enrutador identifica correctamente al experto relevante, los parámetros internos del experto son sobrescritos por actualizaciones de nuevas tareas. Esto causa que el experto pierda su funcionalidad original (por ejemplo, convenciones de formato o capacidades de razonamiento específicas) adquirida durante las etapas de entrenamiento anteriores.

Los autores demuestran, mediante experimentos de diagnóstico, que el olvido persiste incluso cuando el enrutador es reentrenado para coincidir con la distribución de la tarea original, confirmando que la degradación de los propios expertos es un modo de falla crítico.

2. Metodología: SAME

Los autores proponen Mezcla de Expertos Estabilizada (SAME), un marco diseñado para mitigar tanto la deriva del enrutador como la del experto sin requerir el ensayo de datos (almacenamiento de datos pasados). SAME consta de tres componentes principales:

2.1 Enrutamiento Consciente del Espectro (Para abordar la Deriva del Enrutador)

Para estabilizar la selección de expertos, SAME descompone la dinámica de enrutamiento en subespacios ortogonales basados en el historial de covarianza de la entrada.

Mecanismo: El método mantiene una matriz de covarianza no centrada de las entradas ocultas del enrutador. A través de la Descomposición en Valores Singulares (SVD), separa el espacio de actualización en un subespacio de señal (direcciones de alta energía relevantes para nuevas tareas) y un subespacio nulo aproximado (direcciones de baja energía asociadas con tareas históricas).
Estrategia de Actualización: Los gradientes del enrutador se proyectan sobre estos subespacios. Las actualizaciones en el subespacio de señal se escalan utilizando un promedio de ventana deslizante de los valores singulares para evitar cambios agresivos en direcciones críticas para las tareas antiguas. Las actualizaciones en el espacio nulo se proyectan para asegurar que tengan un impacto insignificante en las entradas históricas ( $V_\perp^T x_{old} \approx 0$ ).
Resultado: Esto asegura que las decisiones de enrutamiento para las tareas antiguas permanezcan consistentes mientras se permite la adaptación para las nuevas tareas.

2.2 Escalamiento Consciente de la Curvatura (Para abordar la Deriva del Experto)

Para evitar que los expertos sean sobrescritos, SAME regula las actualizaciones de los expertos utilizando la geometría de las entradas históricas.

Mecanismo: En lugar de minimizar una restricción estricta sobre datos pasados (que no están disponibles en entornos sin ensayo), el método aproxima la geometría de la entrada histórica utilizando la matriz de covarianza acumulada ( $C_{t-1}$ ).
Optimización: Los autores formulan un problema de optimización restringida donde la degradación funcional (el cambio esperado del cuadrado de la salida en las entradas históricas) está acotada. Esto conduce a una actualización de gradiente de Riemann donde el gradiente euclidiano es precondicionado por la inversa de la matriz de covarianza histórica ( $C_{t-1}^{-1}$ ).
Implementación: Para manejar los costos computacionales, la inversa se aproxima mediante una pseudo-inversa amortiguada de los factores de bajo rango retenidos de la descomposición espectral. Esto pondera hacia abajo las actualizaciones a lo largo de las direcciones en las que se dependió fuertmente de las tareas previas, preservando su funcionalidad.

2.3 Activación Adaptativa de Expertos

Para reducir aún más la interferencia y el costo computacional, SAME introduce un mecanismo de congelación a nivel de tarea.

Mecanismo: Durante el entrenamiento de una tarea específica, los expertos se evalúan basándose en dos señales:
1. Utilización Actual ( $U$ ): Con qué frecuencia se activa el experto para la tarea actual.
2. Importancia Histórica ( $F_{pre}$ ): Un proxy de la importancia histórica derivado de la traza del Producto Exterior del Gradiente Promedio (AGOP), estimado mediante la energía de entrada ponderada por el enrutamiento.
Regla de Congelación: Los expertos con baja utilidad actual pero alta importancia histórica se congelan temporalmente (se omiten tanto la propagación hacia adelante como la hacia atrás) durante el entrenamiento de la tarea actual. Se reactivan para las tareas subsiguientes.
Resultado: Esto reduce la computación redundante y evita la deriva de parámetros innecesaria en expertos que son críticos para tareas pasadas pero no necesarios para la actual.

3. Contribuciones Clave

Diagnóstico de la Deriva: El artículo aísla y define empíricamente la deriva del enrutador y la deriva del experto como las causas primarias del olvido en MCIT basado en MoE, demostrando que ambas deben abordarse simultáneamente.
Marco Estabilizado (SAME): La introducción de un marco sin necesidad de ensayo que combina el enrutamiento consciente del espectro, el escalamiento de Riemann consciente de la curvatura y la activación adaptativa de expertos para estabilizar el proceso de adaptación de MoE.
Nuevo Benchmark (TriGap): Los autores introducen TriGap, un nuevo benchmark diseñado para poner a prueba los modelos de MCIT bajo condiciones realistas. A diferencia de los benchmarks existentes (CoIN, UCIT), TriGap presenta:
- Secuencia Extendida: 10 tareas secuenciales (frente a 6–8 en otros).
- Alcance de Dominio: Dominios diversos que incluyen medicina, ciencia, teledetección y comprensión de documentos.
- Brecha de Escala: Datasets altamente desequilibrados en tamaño por tarea (10k–40k muestras) para simular flujos de datos del mundo real.
Eficiencia: El método reduce el tiempo de entrenamiento y el uso de memoria de la GPU al congelar los expertos de baja utilidad, logrando aceleraciones significativas sin sacrificar la precisión.

4. Resultados Experimentales

Los autores evaluaron SAME en tres benchmarks: CoIN, UCIT y el nuevo TriGap.

Rendimiento: SAME supera consistentemente a las líneas base de vanguardia (incluyendo MoELoRA, HiDe-LLaVA, CL-MoE y ProgLoRA).
- En TriGap, SAME alcanzó una precisión promedio del 46.53%, superando a la mejor línea base (MoELoRA) por un +2.08%.
- En CoIN, SAME alcanzó una precisión promedio del 66.82%, superando significativamente al mejor modelo anterior.
- En UCIT, SAME logró un 67.12% de precisión promedio.
Análisis de Olvido: SAME demostró el menor olvido promedio ( $\bar{F} = -4.23\%$ ) en comparación con MoELoRA ( $-19.04\%$ ) e HiDe-LLaVA ( $-6.38\%$ ).
Estabilidad de Formato: Un análisis específico en la tarea ScienceQA reveló que los métodos de línea base suelen sufrir de "olvido inducido por el formato" (por ejemplo, cambiar de respuestas en mayúsculas a minúsculas). SAME preservó con éxito el formato de salida específico de la tarea a lo largo de toda la secuencia.
Eficiencia: La activación adaptativa de expertos redujo el tiempo de entrenamiento en un promedio de 32.1 minutos por tarea y el uso de memoria de la GPU en 2.3 K MiB/GPU.

5. Significación y Reivindicaciones

El artículo afirma que SAME proporciona una solución robusta para el Ajuste de Instrucciones Multimodales Continuas al abordar las causas raíz del olvido en las arquitecturas MoE. Su significación radica en:

Operación Sin Ensayo (Rehearsal-Free): Logra una fuerte retención sin almacenar o reproducir datos pasados, lo que lo hace adecuado para entornos con sensibilidad a la privacidad o restricciones de almacenamiento.
Escalabilidad: El uso de aproximaciones de covarianza de bajo rango y la congelación adaptativa permite que el método escale a secuencias de tareas largas y modelos grandes sin un costo computacional prohibitivo.
Generalización: La selección de expertos estabilizada y la preservación del conocimiento histórico permiten que el modelo retenga capacidades generalizables, como lo demuestra el mejor desempeño Fuera de Distribución (OOD) en el benchmark MMMU.

Los autores concluyen que, al estabilizar tanto el mecanismo de enrutamiento como los parámetros de los expertos, SAME permite que los MLLM aprendan continuamente nuevas capacidades de visión y lenguaje mientras preservan de manera confiable el conocimiento adquirido previamente.