Resumen Técnico: LatentRouter

Enunciado del Problema

Los Modelos de Lenguaje Multimodal Grandes (MLLMs) exhiben una heterogeneidad significativa en sus fortalezas a través de tareas como el Reconocimiento Óptico de Caracteres (OCR), la comprensión de gráficos, el razonamiento espacial y la respuesta a preguntas visuales (VQA), así como en sus costos operativos y latencias. Si bien un "mejor" rendimiento promedio no implica que un solo modelo sea universalmente óptimo, el enrutamiento efectivo requiere igualar los requisitos específicos de consultas multimodales (por ejemplo, texto denso frente a diseño de diagramas) con las capacidades de los modelos candidatos.

Los enfoques de enrutamiento existentes para sistemas Multi-LLM están predominantemente diseñados para entradas de solo texto, dependiendo de la estimación de la dificultad de la consulta, puntuaciones de confianza o políticas en cascada. Estos métodos a menudo fallan en el dominio multimodal porque la elección óptima del modelo depende de señales visuales, sensibilidad al diseño e interacciones imagen-pregunta que no pueden capturarse completamente solo con características derivadas del texto. Convertir imágenes a texto explícito (por ejemplo, subtítulos, OCR) es costoso, incompleto y a menudo insuficiente para la información visual relevante para el enrutamiento. En consecuencia, el enrutamiento de MLLM enfrenta dos desafíos acoplados: preservar señales de enrutamiento multimodales compactas pero informativas de la entrada y alinear estos requisitos de consulta con capacidades de modelos heterogéneas para predecir la utilidad.

Metodología: LATENTROUTER

Los autores proponen LATENTROUTER, un enrutador que formula el enrutamiento de MLLM como predicción de utilidad multimodal contrafactual. En lugar de mapear directamente una consulta a un ID de modelo fijo, el enrutador estima cómo se desempeñaría cada MLLM candidato en la entrada actual de imagen-pregunta y selecciona el modelo con la utilidad predicha más alta.

Arquitectura Central

El sistema consta de cinco componentes clave:

1. Cápsulas de Enrutamiento Multimodal:
   En lugar de utilizar un único vector de consulta agrupado, LATENTROUTER representa la consulta como un pequeño conjunto de cápsulas de enrutamiento multimodal aprendidas ($R(x)$). Estas se extraen mediante la atención cruzada de consultas de cápsulas aprendidas a la secuencia conjunta de imagen-pregunta. Se entrenan de extremo a extremo para retener solo la información necesaria para predecir qué modelo candidato se desempeñará bien.

2. Tokens de Capacidad del Modelo:
   Cada MLLM candidato se representa mediante un token de capacidad ($a_i$) construido a partir de metadatos que incluyen perfiles de calibración, costo normalizado, latencia y estadísticas de comportamiento a nivel de segmento o por pares. Esto permite que el enrutador maneje grupos de modelos variables sin una dimensión de clasificador fija.

3. Comunicación Latente:
   El enrutador alinea los requisitos de la consulta con las capacidades del modelo a través de un proceso de comunicación latente de múltiples pasos:

   • Atención Condicionada al Modelo: Cada token de modelo lee las cápsulas de enrutamiento, permitiendo que diferentes modelos atiendan a diferentes señales (por ejemplo, texto visual frente a pistas espaciales).
   • Comparación por Pares: Los tokens de modelo interactúan mediante autoatención enmascarada por disponibilidad con sesgos de comparación por pares para evaluar las fortalezas relativas.
   • Retroalimentación: Las cápsulas de enrutamiento reciben retroalimentación ponderada de los estados del modelo, enfatizando los candidatos cercanos al límite de decisión para refinar la representación de la consulta.

4. Predicción de Resultados Contrafactuales Distribucionales:
   Una cabeza compartida predice una distribución (media $\mu_i$ e incertidumbre $\sigma_i$) sobre la calidad de la respuesta para cada modelo candidato. Este enfoque distribucional aprovecha el vector completo de resultados observados de trazas de entrenamiento para modelar fortalezas y debilidades relativas.

5. Corrección de Cápsula Acotada:
   Se añade un término de corrección residual ($\Delta^{cap}_i$) a la media predicha. Esta corrección está acotada por un escalar $\rho$ (utilizando una activación $\tanh$), asegurando que refine decisiones cercanas sin permitir que señales residuales ruidosas dominen las predicciones base confiables.

Entrenamiento y Política

El enrutador se entrena en trazas de resultados de grupos de modelos utilizando una función de pérdida compuesta:

• Pérdida Distribucional: Verosimilitud negativa gaussiana heterocedástica para predecir la media y la incertidumbre.
• Pérdida de Clasificación por Pares: Fomenta puntuaciones más altas para modelos con mayor utilidad observada.
• Pérdida Listwise: Ajusta la distribución de utilidad predicha a la distribución observada.
• Regresión de Utilidad y Regularización: Regresión de utilidad directa y regularización residual.

La política de enrutamiento final selecciona el modelo $m_i$ que maximiza $s_i(x) = \tilde{\mu}_i(x) - \lambda c_i$, donde $\lambda$ controla la compensación entre rendimiento y costo. Los modelos no disponibles se enmascaran durante la puntuación.

Contribuciones Clave

1. Formulación de Utilidad Contrafactual: El artículo reformula el enrutamiento de MLLM como la predicción del resultado de cada modelo candidato en la misma consulta, apoyando el enrutamiento orientado al rendimiento y al rendimiento-costo, así como grupos de modelos dinámicos mediante puntuación compartida y enmascaramiento de disponibilidad.
2. Arquitectura de Ajuste de Capacidades Latente: La introducción de un enrutador que utiliza cápsulas de enrutamiento aprendidas y tokens de capacidad de modelo conectados mediante comunicación latente para alinear los requisitos de la consulta con las capacidades del modelo.
3. Evaluación Exhaustiva: Experimentos extensos en MMR-Bench y VL-RouterBench que demuestran la superioridad sobre líneas base de modelo fijo, a nivel de características y enrutadores aprendidos.

Resultados Experimentales

• Rendimiento: LATENTROUTER logra los mejores resultados no oráculo en ambas pruebas en configuraciones orientadas al rendimiento y rendimiento-costo. Las mejoras son estadísticamente significativas (por ejemplo, $p < 0.001$ en la configuración de costos de VL-RouterBench).
• Sensibilidad a la Tarea: Las ganancias son más pronunciadas en tareas que requieren señales multimodales finas, como OCR, comprensión de gráficos/diagramas y razonamiento matemático/Ciencias, donde la elección del modelo depende altamente de características visuales y de diseño.
• Predicción Contrafactual: El enrutador supera a las líneas base en métricas de clasificación (NDCG, correlación de Spearman, recuperación Top-3), indicando que predice efectivamente el orden relativo de las capacidades del modelo en lugar de solo las puntuaciones promedio.
• Estudios de Ablación: La comunicación latente se identifica como el contribuyente principal a las ganancias de rendimiento. Su eliminación causa la mayor caída de rendimiento. La cabeza distribucional y la corrección acotada proporcionan mejoras consistentes pero menores.
• Flexibilidad y Eficiencia: El enrutador maneja grupos de candidatos cambiantes de manera efectiva mediante enmascaramiento de disponibilidad. Logra la mejor métrica principal promedio mientras mantiene la latencia más baja entre los enrutadores aprendidos (0.06 ms frente a 0.10–0.17 ms para otros).

Significado y Afirmaciones

El artículo afirma que LATENTROUTER aborda las limitaciones específicas del enrutamiento centrado en texto en sistemas multimodales al modelar explícitamente la interacción entre los requisitos visuales específicos de la consulta y las capacidades del modelo. Los autores afirman que las ganancias provienen de un mecanismo de ajuste consulta-modelo más efectivo en lugar de atajos específicos de la prueba.

El trabajo demuestra que tratar el enrutamiento como un problema de predicción contrafactual, combinado con comunicación latente entre cápsulas de consulta y tokens de modelo, permite una selección robusta a través de grupos de modelos heterogéneos. Los autores señalan que, aunque el enrutador mejora la eficiencia y la rentabilidad, depende de datos de calibración para los perfiles de capacidad del modelo, y se necesita trabajo futuro para el despliegue en vivo, la calibración adaptativa para nuevos modelos y extensiones al enrutamiento de múltiples pasos. El artículo enfatiza que el enrutador es un mecanismo de selección de modelos y no una garantía de corrección o seguridad, particularmente en dominios de alto riesgo.