Beyond Accuracy: Benchmarking Cross-Task Consistency in Unified Multimodal Models

Aquí se presenta un resumen técnico detallado del artículo "Beyond Accuracy: Benchmarking Cross-Task Consistency in Unified Multimodal Models" (XTC-Bench).

1. Planteamiento del Problema

Los Modelos Multimodales Unificados (uMMs) buscan realizar tanto la comprensión visual (percepción) como la generación visual (síntesis) dentro de un espacio arquitectónico y representacional compartido. Si bien las evaluaciones actuales examinan estas capacidades de forma independiente (por ejemplo, VQA para la comprensión, puntuaciones FID/CLIP para la generación), no logran evaluar la coherencia semántica entre ambas tareas.

El Problema Central: Un modelo podría sobresalir al responder preguntas sobre una imagen (comprensión) pero fallar al generar esos mismos detalles cuando se le solicita (generación), o viceversa. Esto indica una asimetría estructural en la representación interna del modelo. Las altas puntuaciones en tareas aisladas pueden enmascarar una falta fundamental de alineación semántica unificada, donde el modelo aprende a "alucinar" de manera consistente a través de las tareas en lugar de fundamentar ambas en una realidad compartida.

2. Metodología: XTC-Bench

Los autores introducen XTC-Bench, un marco de evaluación basado en grafos de escena diseñado para medir la consistencia semántica visual entre tareas.

A. Pipeline de Construcción de Datos

• Fuente: 2.000 imágenes curadas manualmente de COCO 2017 y Visual Genome.
• Extracción de Grafos de Escena: Se utiliza un pipeline de dos etapas para crear un "Grafo de Escena de Referencia" ($G$) para cada imagen:
  1. Detección de Objetos y Segmentación: Utiliza kMaX-DeepLab para segmentación panóptica.
  2. Predicción de Relaciones: Utiliza Fair-PSG para predecir relaciones entre pares.
  3. Refinamiento:
     • Filtrado: Se aplican umbrales de alta confianza para eliminar relaciones espurias.
     • Verificación por VLM: Un Modelo Grande de Visión-Lenguaje (Qwen3-VL-235B) verifica las relaciones y atributos utilizando anotaciones de cuadros delimitadores.
     • Generación de Atributos: Utiliza un enfoque de "Vista Dual" (Semántica Spotlight + Recorte de Detalle) para asegurar un reconocimiento preciso de atributos para objetos específicos.
• Generación de Prompts y Consultas:
  • Prompts de Generación: El grafo de escena se linealiza en un prompt de lenguaje natural para la generación de imágenes.
  • Consultas de Comprensión: Se generan preguntas VQA alineadas con hechos para cada hecho atómico (objeto, atributo, relación) en el grafo de escena.

B. Protocolo de Evaluación

Para un modelo dado $M$:

1. Generación: El modelo genera una imagen ($\hat{I}$) a partir del prompt. Esta imagen se analiza de nuevo para obtener un grafo de escena predicho ($\hat{G}$) utilizando el mismo pipeline de extracción.
2. Comprensión: El modelo responde a las preguntas VQA basándose en la imagen original.
3. Emparejamiento: Un algoritmo de emparejamiento de grafos semánticos en dos etapas (utilizando el algoritmo húngaro) alinea los nodos y aristas entre el grafo de verdad fundamental $G$ y el grafo predicho $\hat{G}$.

C. Métricas

El marco introduce tres métricas clave:

1. Puntuación de Generación ($G$) y Puntuación de Comprensión ($U$): Evaluadas utilizando un LLM como Juez (Qwen3-235B) que califica la equivalencia semántica (escala de 0 a 5) entre la salida del modelo y la verdad fundamental, en lugar de una coincidencia exacta de cadenas.
2. Acuerdo Continuo entre Tareas (CCTA):
   • Mide la consistencia entre las respuestas de generación y comprensión para los mismos hechos atómicos.
   • Fórmula: $CCTA = \frac{\sum (1 - |g_f - u_f|)}{\sum 1}$.
   • Limitación: Un modelo que está consistentemente equivocado (alucinando el mismo error en ambas tareas) obtendrá una puntuación alta en CCTA.
3. CCTA Ponderado por Precisión (AW-CCTA):
   • Aborda el defecto de la "alucinación consistente" escalando el término de consistencia por la precisión conjunta media.
   • Fórmula: $AW\text{-}CCTA = \frac{\sum (1 - |g_f - u_f|) \cdot \frac{g_f + u_f}{2}}{\sum 1}$.
   • Esta métrica penaliza a los modelos que son incorrectos simétricamente, recompensando solo a aquellos que son correctos simétricamente.

3. Contribuciones Clave

1. Formalización de la Consistencia entre Tareas: Se define la consistencia como una propiedad medible distinta de la precisión independiente, introduciendo CCTA y AW-CCTA para cuantificar la simetría representacional.
2. Marco XTC-Bench: Un benchmark completamente automatizado y basado en grafos de escena que evalúa conjuntamente la generación, la comprensión y su alineación bajo una representación estructurada compartida.
3. Descubrimiento Empírico: Se demostró que los uMMs actuales exhiben una asimetría estructural sistemática. Un alto rendimiento en una tarea no garantiza la alineación en la otra, y la unificación arquitectónica por sí sola no asegura la coherencia semántica.

4. Resultados Experimentales

Los autores evaluaron 8 modelos de código abierto (por ejemplo, BAGEL, OmniGen, Show-o, Janus-Pro) y 2 modelos comerciales (Gemini, GPT-5).

• Correlación Débil: Existe una relación predictiva débil entre el rendimiento de tareas independientes ($G$ o $U$) y la consistencia entre tareas (AW-CCTA). Un modelo puede tener altas puntuaciones de generación pero baja alineación.
• Modo de Fallo de "Alucinación Consistente":
  • Modelos como MMaDA-8B mostraron un CCTA crudo alto (0.630) pero un AW-CCTA cercano a cero (0.144). Esto indica que el modelo genera y comprende los mismos hechos incorrectos, un modo de fallo invisible para las métricas estándar.
  • BAGEL-7B y Gemini-2.5 Flash lograron el AW-CCTA más alto, indicando un mejor rendimiento equilibrado.
• Perspectivas Arquitectónicas:
  • Los modelos Puramente Autoregresivos (AR) (por ejemplo, OmniGen, Janus-Pro) mostraron el AW-CCTA medio más alto, sugiriendo que un objetivo unificado de predicción de siguiente token acopla las tareas de manera más natural.
  • Los modelos AR + Difusión mostraron la mayor brecha entre generación y comprensión, indicando sensibilidad a la calibración entre ambos componentes.
  • Los modelos Puramente de Difusión mostraron alta consistencia cruda pero baja consistencia ponderada por precisión.
• Comprensión > Generación: La mayoría de los modelos obtuvieron puntuaciones más altas en comprensión que en generación, lo que sugiere que los objetivos de entrenamiento actuales favorecen la fundamentación perceptual sobre la fidelidad generativa.

5. Significado y Direcciones Futuras

• Más allá de Métricas Aisladas: XTC-Bench demuestra que evaluar uMMs requiere ir más allá de la precisión aislada para medir la coherencia de la representación interna.
• Herramienta Diagnóstica: La divergencia entre CCTA y AW-CCTA sirve como un diagnóstico crítico para las "alucinaciones consistentes", un modo de fallo peligroso en aplicaciones críticas para la seguridad.
• Orientación para el Entrenamiento: Los resultados sugieren que simplemente unificar arquitecturas es insuficiente; la investigación futura debe centrarse en acoplar objetivos de aprendizaje a través de modalidades para asegurar que la percepción y la síntesis compartan la misma base semántica.
• Limitaciones: El marco depende actualmente de modelos maestros automatizados (que pueden heredar sesgos) e imágenes estáticas. El trabajo futuro debería explorar la sondeo de caja blanca para localizar puntos de divergencia en la arquitectura y extender el marco a video y audio.

En conclusión, XTC-Bench proporciona un método riguroso y reproducible para exponer la "brecha semántica" en los modelos multimodales unificados, ofreciendo un camino concreto hacia el desarrollo de modelos que realmente comprendan y generen una realidad consistente.