🤖 AI

Beyond Routing Saturation: A Long-Horizon Class-Incremental Perspective on Expert Routing in Multimodal Continual Instruction Tuning

Este artículo presenta FLEX, un desafiante banco de pruebas de 34 tareas que expone las limitaciones del enrutamiento de expertos actual en el ajuste de instrucciones multimodales continuas mediante la eliminación de huellas textuales y la extensión de los horizontes de las tareas, al tiempo que propone un marco de aprendizaje incremental de clases basado en principios que mejora significativamente la precisión del enrutamiento y el rendimiento general.

Autores originales: Huiyu Yi, Yongqi Xu, Bogang Zhang, Dunwei Tu, Xu Zhiming, Zhen-Hao Xie, Baile Xu, Furao Shen

Publicado 2026-08-04

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Huiyu Yi, Yongqi Xu, Bogang Zhang, Dunwei Tu, Xu Zhiming, Zhen-Hao Xie, Baile Xu, Furao Shen

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que le estás enseñando a un robot superinteligente a ser maestro en muchas habilidades diferentes, una tras otra. Primero, le enseñas a reconocer gatos y perros. Luego, le enseñas a resolver problemas matemáticos. Después, le enseñas a leer radiografías médicas. Esto se llama Aprendizaje Continuo (Continual Learning). La parte difícil es que, a medida que el robot aprende nuevas habilidades, a menudo olvida las anteriores o se confunde sobre qué habilidad usar cuando le haces una pregunta.

Para solucionar esto, los científicos le dan al robot una "caja de herramientas" de ayudantes especializados, llamados expertos LoRA. Piensa en estos expertos como diferentes chefs en una cocina masiva. Un chef es increíble cocinando repostería, otro es experto en la parrilla y otro en hacer sushi. Cuando pides una comida, necesitas un Router —un camarero inteligente— que observe tu pedido y lo envíe al chef adecuado. Si el camarero envía un pedido de sushi al chef de la parrilla, la comida será un desastre. La gran pregunta en este campo es: ¿Puede nuestro camarero mejorar su capacidad para saber exactamente qué chef elegir, especialmente cuando el restaurante crece para tener docenas de chefs y los pedidos empiezan a parecerse mucho entre sí?

El Problema: El Camarero Depende de Atajos (Pero Solo Porque el Menú es Demasiado Fácil)

Un equipo de investigadores de la Universidad de Nanjing decidió investigar qué tan bien están haciendo su trabajo estos "camareros" (routers). Analizaron las pruebas estándar utilizadas para entrenar a estos robots y encontraron algo sospechoso: los camareros obtenían puntuaciones perfectas, pero dependían de atajos.

En las pruebas existentes, los "menús" (las instrucciones dadas al robot) tenían pistas obvias. Por ejemplo, un problema matemático podría comenzar siempre con la frase "Calcula la suma", mientras que una descripción de imagen podría comenzar siempre con "Describe la imagen". El camarero no necesitaba mirar la imagen ni entender la matemática; solo necesitaba leer las primeras palabras de la instrucción para saber qué chef elegir. Los investigadores llaman a estas pistas "huellas dactilares textuales".

Debido a que las pruebas solo tenían pocas tareas (como de 6 a 10 chefs) y los menús eran tan obvios, el problema de enrutamiento estaba "saturado". Era como un camarero en un restaurante diminuto con solo tres mesas; podía memorizar los números de las mesas sin siquiera aprender los nombres de los clientes. Los investigadores se dieron cuenta de que si queremos construir un robot que pueda aprender cientos de habilidades a lo largo del tiempo, necesitamos una prueba mucho más difícil donde los menús se vean iguales, obligando al camarero a entender realmente el contenido.

La Solución: Un Nuevo y Más Difícil Restaurante (FLEX)

Para solucionar esto, el equipo creó un nuevo benchmark llamado FLEX (Examen de Expertos de Largo Alcance con Reducción de Huellas Dactilares, por sus siglas en inglés).

Imagina a FLEX como un restaurante masivo y caótico con 34 chefs diferentes (tareas) en lugar de solo unos pocos. En este restaurante, cada chef utiliza exactamente la misma plantilla de menú. Ya sea que estés pidiendo un problema matemático, un diagnóstico médico o la descripción de un atardecer, la instrucción parece idéntica. La única forma de saber qué chef elegir es mirar realmente la imagen y entender el contexto.

Los investigadores también eliminaron las pistas de "atajo". Se aseguraron de que las instrucciones para un problema de química no parecieran diferentes de las de un problema de historia del arte. Esto obligó al sistema de enrutamiento a dejar de depender de atajos y empezar a hacer el trabajo duro de descifrar cuál es la tarea real.

La Gran Idea: El Camarero es Simplemente un Clasificador

Aquí está el giro ingenioso que introduce el artículo. Los investigadores se dieron cuenta de que el trabajo del camarero (el router) es en realidad el mismo que un problema clásico de aprendizaje automático llamado Aprendizaje Incremental de Clases (Class-Incremental Learning o CIL).

En CIL, le enseñas a una computadora a reconocer nuevas categorías (como "gatos", luego "perros", luego "pájaros") sin olvidar las anteriores. Los investigadores demostraron que elegir al experto LoRA adecuado es exactamente lo mismo que elegir la categoría adecuada.

Tarea 1 (Matemáticas) = Clase 1
Tarea 2 (Arte) = Clase 2
Tarea 34 (Medicina) = Clase 34

Al ver el problema de esta manera, pudieron tomar poderosas técnicas de "entrenamiento de camareros" que ya habían sido inventadas para CIL. Tomaron cuatro métodos diferentes (HC, HC-SOINN, RanPAC y DDAS) y los integraron en los sistemas de enrutamiento de los robots existentes.

Los Resultados: Un Camarero Mucho Más Inteligente

Cuando probaron estos nuevos camareros "plug-in" en el difícil restaurante FLEX, los resultados fueron impresionantes:

Mejor Precisión: Los nuevos routers identificaron correctamente al chef adecuado hasta un 16.3 por ciento más de las veces que los antiguos.
Mejor Desempeño: El rendimiento general de los robots (llamado MacroScore) mejoró hasta 4.6 puntos.
Cerrando la Brecha: Los nuevos routers lograron recuperar entre el 28% y el 50% de la brecha entre el rendimiento actual y el "rendimiento perfecto" (donde el robot siempre sabe el chef correcto).

Sin embargo, el artículo también encontró que no todos los robots se benefician por igual. Algunos sistemas existentes (como HiDe-LLaVA) están diseñados de tal manera que incluso un camarero perfecto no podría mejorar mucho el plato final, porque el problema estaba realmente en cómo cocinan los chefs, no en cómo el camarero toma el pedido. Pero para los sistemas que dependían fuertemente del camarero (como DISCO y SAME), la mejora fue enorme.

Por Qué Esto Importa

Este artículo sugiere que, para que un robot pueda aprender verdaderamente de forma continua durante un largo periodo, no podemos simplemente darle pruebas fáciles con pistas obvias. Necesitamos construir entornos donde el robot tenga que entender realmente la tarea, no solo leer la etiqueta. Al tratar el problema de "¿a quién llamo?" como un problema de "¿qué categoría es esta?", podemos usar herramientas existentes y poderosas para hacer que nuestra IA sea mucho más confiable.

Los investigadores no solo sugirieron esto; construyeron la nueva prueba (FLEX), demostraron que las pruebas antiguas eran demasiado fáciles y mostraron que intercambiar estos nuevos métodos de enrutamiento funciona. No pretendieron haberlo resuelto todo —la brecha hacia la perfección aún existe— pero mostraron un camino claro y basado en principios para hacer una IA multimodal que realmente pueda seguir aprendiendo sin confundirse.

Resumen Técnico: Más allá de la saturación del enrutamiento en el ajuste de instrucciones multimodal continuo

Declaración del Problema

El Ajuste de Instrucciones Multimodal Continuo (MCIT, por sus siglas en inglés) tiene como objetivo permitir que los Modelos de Lenguaje Grande Multimodales (MLLM) aprendan nuevas tareas secuencialmente mientras retienen las capacidades previas. Los enfoques recientes suelen emplear un paradigma de "enrutamiento–composición–inferencia", donde se mantienen expertos de Adaptación de Bajo Rango (LoRA) específicos para cada tarea, y un enrutador selecciona o pondera estos expertos durante la inferencia.

Los autores identifican una limitación crítica y poco explorada en la evaluación actual del MCIT: la Saturación del Enrutamiento de Expertos. En los benchmarks ampliamente utilizados (p. ej., CoIN, UCIT, TriGap), los mecanismos de enrutamiento alcanzan una precisión casi perfecta (a menudo >96% de coincidencia) no porque hayan aprendido representaciones de tareas robustas, sino debido a dos factores de confusión:

Huellas Digitales Textuales: Patrones de instrucción superficiales (p. ej., plantillas únicas, campos específicos como "Token OCR de referencia" o disposiciones de opciones distintas) permiten que los enrutadores identifiquen la identidad del conjunto de datos mediante el texto solo, evitando la necesidad de comprensión visual o análisis semántico profundo.
Horizontes Cortos: Los benchmarks existentes suelen contener solo 6–10 tareas. Esto limita el número de expertos LoRA en competencia, haciendo que el problema de identificación de la tarea sea trivial incluso para enrutadores dominados por el texto.

En consecuencia, la escalabilidad del enrutamiento de expertos en escenarios de largo horizonte y del mundo real permanece sin probar, y la dificultad de distinguir entre tareas semánticamente similares con diversos dominios visuales queda oscurecida.

Metodología

1. FLEX: Un Nuevo Benchmark

Para exponer la verdadera dificultad del enrutamiento de expertos, los autores introducen FLEX (Fingerprint-reduced Long-horizon Expert eXamination).

Escala: FLEX consta de 34 tareas, expandiendo significativamente el grupo de expertos en comparación con los benchmarks anteriores.
Diseño: Agrupa conjuntos de datos con formatos de instrucción/respuesta similares pero con dominios visuales y de conocimiento diversos (p. ej., 5 divisiones de ImageNet-200, 2 de descripción de imágenes, 7 de opción múltiple, 20 de VQA de respuesta corta).
Reducción de Huellas Digitales: El benchmark normaliza las plantillas de formato de respuesta externa y elimina las señales de interfaz únicas que actúan como "atajos". Esto obliga a los enrutadores a depender de una comprensión multimodal genuina en lugar de patrones textuales superficiales.
Composición: Las tareas abarcan clasificación, descripción de imágenes, opción múltiple y VQA de respuesta corta, asegurando una mezcla de complejidad visual y textual.

2. Reformulación Teórica: Soft Task-as-Class MCIL

Los autores proponen una nueva perspectiva teórica: El enrutamiento de Progressive-LoRA puede formularse como Soft Task-as-Class Multimodal Class-Incremental Learning (MCIL).

Mapeo: En un grupo de LoRA progresivo, cada tarea entrante $t$ corresponde a un experto LoRA único $t$ . El problema de enrutamiento se convierte en identificar la clase (tarea) correcta entre un conjunto en expansión de $t$ clases.
Soft vs. Hard: A diferencia del MCIL estándar que típicamente produce una predicción de argmax "hard", el MCIT suele requerir una distribución "soft" de puntuaciones para ponderar múltiples expertos LoRA simultáneamente.
- Enrutamiento Hard: Equivalente a la clasificación incremental de clase estándar ( $\alpha_{k} = \mathbb{I}[k = \arg\max]$ ).
- Enrutamiento Soft: Una relajación continua donde la distribución completa de puntuaciones sirve como pesos de mezcla ( $\alpha_{k} \propto \exp(\tau s_k)$ ).
Implicación: Esta reformulación permite que los métodos establecidos de Aprendizaje Incremental de Clase (CIL) se adapten directamente como enrutadores "plug-in" para marcos de trabajo de MCIT sin tener que reentrenar los expertos LoRA o alterar el flujo de generación.

3. Baseline PureLoRA y Adaptación del Enrutador

Para aislar el efecto del enrutamiento, los autores introducen PureLoRA, un baseline controlado que:

Entrena expertos LoRA independientes para cada tarea.
Utiliza un enrutador prototipo multimodal congelado (basado en CLIP).
Realiza una composición LoRA suave (soft).
No contiene expertos compartidos, redes de compuerta (gating networks) o buffers de repetición (replay buffers).

Los autores luego adaptan cuatro métodos existentes de CIL/MCIL para servir como enrutadores para PureLoRA, HiDe-LLaVA, DISCO y SAME:

HC (Clustering Jerárquico): Utiliza prototipos de clusters jerárquicos y similitud de coseno.
HC-SOINN: Hace crecer dinámicamente los nodos prototipo mediante una red autoorganizada.
RanPAC: Utiliza proyecciones aleatorias y un clasificador de regresión de cresta de forma cerrada.
DDAS: Utiliza autoencoders específicos de la tarea y puntuaciones de enrutamiento basadas en el error de reconstrucción.

Resultados Clave

Saturación de Enrutamiento en FLEX

La evaluación en FLEX revela que el enrutamiento está lejos de estar saturado:

Peso de Verdad de Terreno (G): FLEX reduce significativamente el peso de la verdad de terreno macro en comparación con los benchmarks existentes (p. ej., cayendo de ~99% en UCIT a ~53–80% en FLEX dependiendo del método).
Coincidencia Estricta (R): La coincidencia estricta de tarea-LoRA cae de niveles casi perfectos a ~64–84%, indicando un desafío genuino de identificación de tareas.
Atajos Textuales: Los estudios de ablación confirman que restaurar las "fuertes" huellas digitales textuales (sufijos únicos) en FLEX restaura inmediatamente las altas tasas de coincidencia, demostrando que la dificultad en FLEX proviene de la eliminación de estos atajos.

Mejoras de Rendimiento

La adaptación de métodos CIL como enrutadores plug-in genera mejoras consistentes:

Calidad de Enrutamiento: Los 12 trasplantes de CIL en marcos sensibles al enrutamiento (DISCO, SAME, PureLoRA) mejoraron tanto el MacroScore (M) como el Peso de Verdad de Terreno (G).
Ganancias de MacroScore:
- DISCO: Mejoró hasta en +4.61 puntos (usando DDAS).
- SAME: Mejoró hasta en +4.05 puntos (usando RanPAC).
- PureLoRA: Mejoró hasta en +1.54 puntos (usando RanPAC).
Recuperación de la Brecha del Oráculo: El mejor enrutador recuperó entre el 28.3% y el 50.2% de la brecha de rendimiento entre el enrutador base y el límite superior del "Oráculo" (enrutamiento perfecto).
Insensibilidad de HiDe-LLaVA: HiDe-LLaVA mostró mejoras mínimas en el rendimiento downstream a pesar de las mejoras en el enrutamiento. El análisis revela que esto se debe a su cuello de botella arquitectónico: una capa "remain" compartida que promedia todos los expertos históricos independientemente de la decisión de enrutamiento de la capa superior, limitando el impacto de una mejor identificación de la tarea.

Calibración y Enrutamiento Suave (Soft Routing)

El artículo demuestra que las mezclas suaves calibradas superan a la selección top-1 "hard". Incluso cuando el experto top-1 se identifica correctamente, una mezcla suave que reutiliza LoRAs compatibles de tareas relacionadas produce un mayor rendimiento (hasta +2.01 puntos sobre el enrutamiento hard en PureLoRA).

Significado y Reivindicaciones

El artículo reclama tres contribuciones primarias:

Diagnóstico de la Saturación: Revela que los benchmarks actuales de MCIT sufren de "saturación de enrutamiento" causada por huellas digitales textuales y secuencias de tareas cortas, lo que enmascara los verdaderos desafíos de escalabilidad del enrutamiento de expertos.
Benchmark FLEX: Introduce FLEX, un benchmark de 34 tareas con huellas digitales textuales debilitadas, que expone con éxito un problema de expansión de la identificación de tareas y proporciona un banco de pruebas riguroso para la escalabilidad del enrutamiento.
Puente Teórico: Establece una conexión directa entre el enrutamiento de expertos y el Aprendizaje Incremental de Clase Multimodal (MCIL). Al formular el enrutamiento como un "soft task-as-class MCIL", los autores demuestran que los clasificadores CIL establecidos pueden transferirse eficazmente como enrutadores plug-in, mejorando sustancialmente tanto la calidad del enrutamiento como el rendimiento de las tareas downstream sin modificar los expertos LoRA subyacentes.

Los autores concluyen que los sistemas de MCIT futuros deben abordar tanto la identificación de tareas de largo horizonte (mediante métodos como los adaptados de CIL) como la composición de expertos consciente de la compatibilidad (mediante mezclas suaves calibradas) para superar las limitaciones de los paradigmas de enrutamiento actuales.