Resumen Técnico: CogniRoute

Planteamiento del Problema

Los modelos omnimodales, que ingieren video, audio y texto dentro de un sistema autorregresivo unificado, han demostrado capacidades sólidas en la percepción multimodal. Sin embargo, persiste una brecha crítica entre tener acceso a múltiples modalidades y utilizar eficazmente la evidencia adecuada para responder a una pregunta específica. Este problema es particularmente agudo en el procesamiento de preguntas y respuestas (QA) de videos sociales, donde la respuesta correcta suele depender de señales sutiles como gestos, tono vocal, orden temporal o conflictos entre las palabras habladas y las expresiones visuales.

Los benchmarks existentes suelen supervisar únicamente la respuesta final, dejando la estructura de la evidencia subyacente implícita. En consecuencia, los modelos pueden producir respuestas correctas apoyándose en la modalidad equivocada, atendiendo a segmentos temporales irrelevantes o explotando sesgos previos del conjunto de datos. Además, los mecanismos de enrutamiento estándar de Mezcla de Expertos (MoE), que típicamente se optimizan mediante la predicción del siguiente token y el equilibrio de carga, carecen de una supervisión explícita a nivel de muestra para distinguir entre diferentes tipos de razonamiento multimodal (por ejemplo, percepción puramente visual frente a resolución de conflictos audiovisual).

Metodología: CogniRoute

Para abordar estos desafíos, los autores presentan CogniRoute, un marco de entrenamiento MoE guiado por esquemas diseñado para el razonamiento social omnimodal. El marco alinea el enrutamiento de los expertos con la estructura de evidencia latente de cada entrada a través de dos etapas primarias:

1. Enrutamiento Predictivo Alineado al Esquema (SAPR)

Durante el ajuste fino supervisado (SFT), CogniRoute introduce un Esquema Cognitivo exclusivo para el entrenamiento que factoriza cada ejemplo en tres dimensiones:

• Fuente de Evidencia: La relación entre la evidencia de audio y visual (Visual, Audio, Conjunta o Conflicto).
• Demanda de Razonamiento: La operación de razonamiento requerida (por ejemplo, Percepción Directa, Norma Social, Estado Mental, Sarcasmo).
• Alcance Temporal: La ventana de tiempo de las claves relevantes (Momento, Ventana Local, Largo Alcance, Multi-segmento).

El método calcula una firma de enrutamiento global agrupando las distribuciones de probabilidad del enrutador sobre los tokens de entrada (video, audio, pregunta) a través de todas las capas MoE. Una cabeza de predicción ligera mapea esta firma a un embedding objetivo derivado de las etiquetas del esquema. La pérdida SAPR fomenta que el enrutador produzca firmas distintas para muestras con diferentes estructuras de evidencia, enseñando efectivamente al modelo a "saber" qué modalidad y tipo de razonamiento requiere una pregunta antes de generar la respuesta.

2. Aprendizaje por Refuerzo de MoE Consciente de la Ruta (RMRL)

La verosimilitud de la respuesta estándar es insuficiente para optimizar la asignación de expertos, ya que las respuestas correctas pueden generarse mediante rutas internas incorrectas. CogniRoute introduce una segunda etapa de entrenamiento utilizando Aprendizaje por Refuerzo de MoE Consciente de la Ruta (RMRL). Esta etapa optimiza conjuntamente la generación de tokens y el enrutamiento de expertos utilizando una señal de recompensa compuesta:

• Corrección de la Respuesta ($\mathcal{R}_{ans}$): Una recompensa binaria para la respuesta final.
• Razonamiento Consistente con la Modalidad ($\mathcal{R}_{mcr}$): Una recompensa (calculada mediante un juez LLM congelado) que verifica si la traza de razonamiento generada fundamenta explícitamente la respuesta en la evidencia de la modalidad requerida (visual, audio o ambas) y caracteriza correctamente su relación.
• Anclaje Temporal Cognitivo ($\mathcal{R}_{ctg}$): Una recompensa que mide si el estado de razonamiento final del modelo se centra en el segmento de evidencia temporal anotado. Esto se calcula utilizando los pesos de atención causal del propio modelo sobre los tokens de audio-visual, convertidos en una distribución temporal y comparados con el segmento de evidencia real mediante la divergencia KL.

El objetivo de RL actualiza tanto la política de generación de tokens como la selección de la puerta del enrutador utilizando ventajas a nivel de despliegue (rollout), asegurando que las generaciones exitosas sean aquellas que no solo son correctas, sino también conscientes de la evidencia y ancladas temporalmente.

Contribuciones Clave

1. Marco CogniRoute: Un marco MoE guiado por esquemas que alinea el enrutamiento de expertos con la estructura de evidencia de las preguntas de video social, permitiendo que el modelo distinga cuándo depender de modalidades específicas, resolver conflictos o realizar inferencias ancladas temporalmente.
2. Aprendizaje por Refuerzo Consciente de la Ruta: Un nuevo objetivo de RL que optimiza conjuntamente la generación de respuestas y la asignación de expertos mediante recompensas por corrección, consistencia de modalidad y anclaje temporal, yendo más allá de la simple supervisión de la respuesta.
3. OmniSocialBench: Un recurso de diagnóstico de QA de video social que contiene 118K ejemplos de entrenamiento estructurados y un conjunto de evaluación verificado manualmente. A diferencia de los benchmarks estándar, proporciona supervisión explícita para la evidencia de la modalidad, las relaciones audio-visuales, las demandas de razonamiento y los segmentos de evidencia temporal.

Resultados

Evaluado en OmniSocialBench, CogniRoute logra una precisión promedio del 59.38%.

• Supera al baseline propietario más fuerte (Gemini 3.1 Pro) por 15.33 puntos porcentuales.
• Supera al baseline omnimodal de código abierto más fuerte (Qwen3 Omni) por 26.77 puntos porcentuales.
• Las ganancias más significativas se observan en categorías que requieren coordinación compleja, como Objetivo de Acción (+18.79% sobre el mejor baseline) e inferencia de Norma Social (+24.80%).

Más allá de OmniSocialBench, CogniRoute mejora el rendimiento en 8 de los 10 benchmarks públicos de razonamiento audiovisual y de video (incluyendo OmniBench, WorldSense y Video-MME-v2), demostrando que el enrutamiento y los objetivos de refuerzo propuestos se generalizan a tareas multimodales más amplias.

Significado y Reivindicaciones

El artículo sostiene que el enrutamiento estructurado por evidencia es una señal de entrenamiento efectiva para mejorar el razonamiento social omnimodal. Al supervisar explícitamente el comportamiento de enrutamiento interno del modelo según la estructura de la evidencia (relación de modalidad, demanda de razonamiento y alcance temporal), CogniRoute obliga al modelo a participar en una computación más interpretable y apropiada.

Los autores enfatizan que su enfoque aborda la naturaleza de "caja negra" del razonamiento multimodal, donde los modelos a menudo llegan a respuestas correctas mediante correlaciones espurias. CogniRoute demuestra que alinear la asignación de expertos con el esquema cognitivo de la tarea conduce a mejoras sustancialas en tareas que requieren coordinación transmodal, resolución de conflictos e inferencia social anclada temporalmente. El trabajo posiciona el QA de video social como un banco de pruebas sólido para la comprensión omnimodal, destacando que el acceso a múltiples modalidades es necesario pero insuficiente sin mecanismos para seleccionar e integrar la evidencia correcta.