CoGR-MoE: Concept-Guided Expert Routing with Consistent Selection and Flexible Reasoning for Visual Question Answering

1. Problema y Motivación

El Visual Question Answering (VQA) requiere que los modelos identifiquen la respuesta correcta basándose en evidencia visual y textual. Aunque las arquitecturas recientes de Mezcla de Expertos (MoE) han mejorado el razonamiento al especializar diferentes "expertos" en patrones visuales o textuales, enfrentan dos desafíos principales:

1. Inestabilidad de Enrutamiento: Las decisiones de enrutamiento pueden ser inconsistentes para preguntas que requieren la misma respuesta pero están formuladas de manera diferente. Esto lleva a una selección de expertos errática.
2. Rigidez de la Selección: Por otro lado, los métodos que buscan estabilidad (asignando conceptos similares al mismo experto) pueden volverse demasiado rígidos. Una vez que el conjunto de expertos activados (Top-K) se fija para un tipo de pregunta, el modelo pierde flexibilidad para discriminar entre opciones de respuesta específicas, fallando en captar la evidencia distintiva necesaria para cada candidato.

El objetivo de CoGR-MoE es equilibrar la estabilidad del enrutamiento (seleccionar expertos consistentes para la misma semántica) con la flexibilidad en el nivel de opción (ajustar la contribución de esos expertos para distinguir entre respuestas correctas e incorrectas).

2. Metodología: CoGR-MoE

El marco propuesto, CoGR-MoE, introduce un mecanismo de enrutamiento guiado por conceptos y un reponderamiento consciente de la opción. El proceso se divide en las siguientes etapas:

A. Generación de Pistas Semánticas (Semantic Cues)

Un Modelo de Lenguaje Grande (LLM) genera descripciones de pistas positivas (lo que debe aparecer en la imagen para que la opción sea correcta) y pistas negativas (lo que no debe aparecer) para cada opción de respuesta.

• Se calcula un puntuación de acuerdo (Agr) y una puntuación de varianza (Var) para medir la estabilidad de estas pistas frente a la imagen.
• Se define una incertidumbre ($unc$) basada en la relación entre la varianza y el acuerdo. Si la incertidumbre es alta, las pistas se regeneran.

B. Enrutamiento de Expertos Guiado por Conceptos (Concept-Guided Routing)

Para estabilizar la selección de expertos, el modelo utiliza las pistas de la respuesta correcta (durante el entrenamiento) para guiar el enrutador:

1. Se construye un vector de dirección semántica ($s_a$) a partir de la diferencia entre las embeddings de las pistas positivas y negativas de la respuesta correcta.
2. Este vector se inyecta en los logits del enrutador (Router T) para guiar la selección del conjunto Top-K de expertos.
3. Se utiliza distilación de conocimiento: El Router T (que usa pistas) entrena a un Router S (estudiante) que no usa pistas durante la inferencia, pero aprende a seleccionar los mismos expertos alineados con la dirección semántica correcta.

C. Reponderamiento Consciente de la Opción (Option-Aware Reweighting)

Una vez seleccionado el conjunto compartido de expertos Top-K, el modelo debe discriminar entre las opciones:

1. Cada opción $j$ utiliza sus propias pistas semánticas ($s_j$) para reponderar los pesos de los expertos seleccionados.
2. Esto permite que, aunque todas las opciones compartan los mismos expertos base, cada una genere una representación agregada ($\tilde{h}_j$) única y discriminativa.
3. La puntuación final se calcula mediante la similitud coseno entre la representación de la opción y su texto.

D. Función de Pérdida

El entrenamiento optimiza tres componentes:

• Pérdida Principal ($L_{main}$): Entropía cruzada ponderada por la incertidumbre de las pistas.
• Pérdida Contrastiva ($L_{contrast}$): Alinea la representación de la opción correcta con sus pistas positivas y aleja las incorrectas de las negativas.
• Pérdida de Distilación ($L_{distill}$): Asegura que el Router S imite la distribución de enrutamiento del Router T.

3. Contribuciones Clave

1. Marco CoGR-MoE: Un nuevo enfoque de MoE que estabiliza la selección de expertos inyectando características semánticas de la respuesta correcta en el proceso de enrutamiento.
2. Mecanismo de Reponderamiento Dinámico: Ajusta la contribución de los expertos basándose en el contenido de cada opción, mejorando la discriminación a nivel de opción sin romper la consistencia del enrutamiento.
3. Validación Experimental: Demostración de que el método supera a varias líneas base fuertes en múltiples tareas de VQA, logrando ganancias de precisión absolutas de hasta 4.9%.

4. Resultados Experimentales

El modelo fue evaluado en benchmarks de razonamiento visión-idioma como VMCBench y MRAG-Bench, utilizando backbones como MoE-LLaVA y Qwen3-VL.

• Rendimiento General: CoGR-MoE alcanzó la mayor precisión general en ambos backbones (63.25% en MoE-LLaVA y 68.96% en Qwen3-VL-A3B-30B).
• Mejoras Específicas: Se observaron ganancias notables en tareas de Perspectiva y Transformación (ej. cambios de punto de vista, deformaciones), donde la capacidad de reponderar expertos es crucial.
• Análisis de Ablación:
  • La eliminación de la dirección semántica ($s_a$) o la pérdida de distilación causó las caídas más grandes en el rendimiento.
  • La configuración óptima se encontró con 8 expertos totales y 2 expertos activados (Top-2).
• Estabilidad del Enrutamiento: Los análisis mostraron que CoGR-MoE produce un enrutamiento más "nítido" (sharp) y con menor varianza intra-categoría en comparación con MoE-LLaVA, confirmando que las preguntas semánticamente similares activan consistentemente el mismo subconjunto de expertos.

5. Significado y Limitaciones

Significado:
El trabajo demuestra que es posible resolver la tensión entre la estabilidad del enrutamiento y la flexibilidad de razonamiento en modelos MoE. Al separar la selección de expertos (guiada por la semántica global de la pregunta) de la discriminación de opciones (guiada por pistas específicas de cada opción), el modelo logra un razonamiento multimodal más robusto y interpretable.

Limitaciones:

1. Dependencia de LLM: Requiere un LLM externo para generar las pistas semánticas durante el entrenamiento, lo que añade costo computacional y dependencia de modelos externos.
2. Sesgos del LLM: El modelo puede ser sensible a sesgos sistemáticos o alucinaciones del LLM generador de pistas, especialmente en conceptos visualmente ambiguos.
3. Alcance: La evaluación se limitó a preguntas de opción múltiple; la eficacia en generación abierta u otras tareas de razonamiento multimodal aún debe explorarse.

En conclusión, CoGR-MoE representa un avance significativo en la arquitectura de modelos de lenguaje multimodal, ofreciendo una solución elegante para mejorar la precisión y la consistencia en tareas complejas de razonamiento visual.