Seeing but Not Thinking: Routing Distraction in Multimodal Mixture-of-Experts

1. El Problema: "Ver pero no Pensar"

Los autores identifican un fenómeno paradójico en los modelos de Mezcla de Expertos Multimodales (MoE) de visión-lingüística: "Seeing but Not Thinking".

• Fenómeno: Los modelos pueden percibir y extraer con precisión el contenido visual de una imagen (por ejemplo, números y texto en un problema matemático), pero fallan estrepitosamente en el razonamiento lógico necesario para resolverlo. Sin embargo, si se presenta el mismo problema como texto puro, el modelo lo resuelve correctamente.
• Evidencia: En experimentos controlados con el conjunto de datos MATH500 (problemas renderizados como imágenes de alta resolución), el 68-73% de los fallos se debieron a errores de razonamiento, no a errores de percepción.
• Hipótesis inicial descartada: Inicialmente se podría pensar que es un fallo de alineación semántica entre modalidades, pero el análisis demuestra que la alineación semántica existe en las capas intermedias de los modelos MoE.

2. Metodología y Análisis Mecanístico

El equipo propuso una investigación en tres etapas para entender la causa raíz:

A. Verificación de Compartición Semántica Cruzada

Realizaron experimentos de intervención en conceptos cruzando modalidades. Manipularon los estados ocultos de las imágenes inyectando representaciones de texto.

• Resultado: Descubrieron un patrón en forma de "U invertida" en la tasa de éxito de la intervención: baja en capas iniciales, alta (>90%) en capas medias y baja en capas finales. Esto confirma que la alineación semántica sí existe en las capas medias, descartando la falta de alineación como la única causa del problema.

B. Especialización de Expertos por Capas

Analizaron la distribución espacial de los "expertos" (unidades de procesamiento) dentro de la arquitectura MoE.

• Hallazgo Clave: Existe una separación por capas:
  • Los expertos visuales se concentran en las capas iniciales (codificación) y finales (salida).
  • Los expertos de dominio (específicos para razonamiento, como matemáticas) se agrupan en las capas medias.
• Problema: Cuando se introduce una imagen, el mecanismo de enrutamiento (routing) induce una divergencia significativa en las capas medias, desviando la activación lejos de los expertos de dominio necesarios para el razonamiento.

C. Hipótesis de Distracción de Enrutamiento (Routing Distraction)

Basándose en lo anterior, proponen que el fallo no es de capacidad de razonamiento intrínseca, sino de selección de expertos.

• Al procesar entradas visuales, el enrutador falla al activar adecuadamente a los expertos de razonamiento en las capas medias, dirigiendo la computación hacia expertos menos adecuados para la tarea, a pesar de que la información semántica está alineada.

3. Contribuciones Clave

1. Caracterización del Fenómeno: Documentación sistemática de "Ver pero no Pensar" en múltiples modelos MoE de última generación (Qwen3-VL, Kimi-VL, Llama4-Scout).
2. Insight Mecanístico: Demostración de que la causa es la Distracción de Enrutamiento debido a la separación de capas entre expertos visuales y de dominio, y la divergencia de enrutamiento inducida por la entrada visual.
3. Método de Intervención: Propuesta y validación de una estrategia de intervención guiada por enrutamiento para mitigar este problema.

4. Resultados Experimentales

Los autores diseñaron un método de intervención que aumenta explícitamente los pesos de enrutamiento de los expertos de dominio identificados durante la inferencia.

• Estrategia:

  • Identificación de Expertos: Se comparan las frecuencias de activación entre datos de dominio (ej. matemáticas) y datos generales para identificar qué expertos son críticos.
  • Intervención Suave (Soft): Se añade un valor moderado a los logits de los expertos de dominio identificados, preservando la flexibilidad del enrutador.
  • Intervención Dura (Hard): Se fuerzan los logits al máximo (menos efectivo en ciertos modelos por rigidez).

• Rendimiento:

  • Se evaluaron 3 modelos en 6 benchmarks (incluyendo escenarios semánticamente equivalentes y escenarios visuales naturales complejos).
  • Mejoras Consistentes: La intervención suave mejoró el rendimiento en todos los modelos.
  • Ganancia Máxima: Se logró un aumento de hasta 3.17% en tareas de razonamiento visual complejo (ej. MathVerse).
  • Robustez: La identificación de expertos es robusta incluso si la referencia de texto no es semánticamente idéntica a la imagen, siempre que el texto elicie patrones de razonamiento del dominio objetivo.

5. Significado e Impacto

• Comprensión Teórica: El trabajo desafía la noción de que los fallos en modelos multimodales se deben únicamente a la percepción o a la falta de alineación semántica. Revela que la arquitectura MoE tiene un "cuello de botella" en la gestión de recursos computacionales (enrutamiento) cuando se procesan entradas visuales.
• Solución Práctica: Ofrece un método de intervención en tiempo de inferencia (inference-time) que no requiere reentrenamiento costoso, mejorando la capacidad de razonamiento de modelos existentes.
• Generalización: Sugiere que la identificación de expertos localiza unidades computacionales responsables de funciones cognitivas específicas, lo que permite transferir mejoras entre tareas con estructuras de información diferentes (ej. de texto a diagramas complejos).
• Limitaciones: El método no corrige errores de percepción (si la imagen se lee mal, el razonamiento no ayuda) y requiere configuración específica para cada modelo y tarea, aunque la identificación de expertos es robusta a la completitud de la información de referencia.

En resumen, el artículo demuestra que los modelos MoE "ven" bien pero "piensan" mal porque el mecanismo de enrutamiento se distrae con la entrada visual, desviando el procesamiento lejos de los expertos especializados en razonamiento, y propone una solución técnica simple pero efectiva para corregir este desvío.