XModBench: Benchmarking Cross-Modal Capabilities and Consistency in Omni-Language Models

1. Problema y Motivación

Los Modelos de Lenguaje Omni (OLLMs) buscan unificar la comprensión de texto, visión y audio en un solo marco. Sin embargo, existe una incertidumbre crítica: ¿Razonan estos modelos de manera verdaderamente invariante a la modalidad, o exhiben sesgos sistemáticos dependientes de la entrada?

Los benchmarks existentes evalúan principalmente la capacidad general de respuesta a preguntas multimodales, pero no diagnostican si el modelo mantiene la misma respuesta lógica cuando el mismo contenido semántico se presenta en diferentes formas (audio, imagen o texto). La falta de consistencia cruzada sugiere que los modelos podrían depender de patrones superficiales de una modalidad específica en lugar de construir representaciones semánticas compartidas.

2. Metodología: XModBench

El artículo introduce XModBench, un benchmark de escala masiva diseñado específicamente para medir la consistencia cruzada de modalidades.

• Diseño Tri-Modal Equilibrado:

  • El núcleo del benchmark son 61,320 pares de preguntas-respuesta (basados en 10,220 instancias únicas).
  • Cada instancia semántica se genera en seis configuraciones de modalidad diferentes, permutando sistemáticamente el contexto (la pregunta) y los candidatos (las opciones) entre Texto (T), Visión (V) y Audio (A).
  • Las seis configuraciones son: $T \to A, T \to V, A \to T, A \to V, V \to T, V \to A$.
  • Esto permite un diagnóstico fino de la invariancia de la modalidad, la disparidad y el desequilibrio direccional.

• Taxonomía de Tareas (5 Familias, 17 Subtareas):

  1. Percepción: Reconocimiento de objetos, actividades, sonidos ambientales e instrumentos musicales (general y de alta granularidad).
  2. Razonamiento Espacial: Disposición 2D, localización 3D (dirección de eventos) y comprensión de movimiento 3D (trayectorias).
  3. Razonamiento Temporal: Orden de eventos, conteo de repeticiones y cálculo temporal (aritmética basada en repeticiones).
  4. Comprensión Lingüística: Reconocimiento de texto (OCR/ASR), traducción (Inglés-Chino) y clasificación de emociones en diálogos.
  5. Conocimiento Externo: Identificación de películas, géneros musicales y cantantes.

• Curación de Datos:

  • Se combinaron datos re-etiquetados de conjuntos existentes (VGG-Sound, STARSS23, URMP), contenido sintético generado por modelos (TTS, imágenes renderizadas) y recolección web dirigida.
  • Se aplicó un filtro de doble verificación (IA + humana) para garantizar la calidad y la alineación semántica perfecta entre las tres modalidades.

3. Métricas de Diagnóstico

El benchmark introduce tres dimensiones de evaluación más allá de la precisión global:

1. Competencia de Tarea: Precisión promedio sobre todas las configuraciones de modalidad para evaluar la capacidad general.
2. Disparidad de Modalidad ($\Delta$): Mide la diferencia de rendimiento cuando el mismo contenido se presenta en diferentes modalidades (ej. Audio vs. Texto). Un valor alto indica dependencia de la modalidad.
3. Desequilibrio Direccional: Compara configuraciones inversas (ej. $V \to T$ vs. $T \to V$) para detectar asimetrías en la alineación cruzada.

4. Resultados Clave

Se evaluaron múltiples modelos de última generación (Gemini 1.5/2.0/2.5, Qwen2.5-Omni, EchoInk-R1, etc.) y se obtuvieron los siguientes hallazgos:

• Rendimiento General: Incluso el modelo más fuerte, Gemini 2.5 Pro, alcanza solo un 70.6% de precisión promedio, muy por debajo del rendimiento humano (91.5%).
• Debilidad en Razonamiento: Los modelos tienen dificultades significativas en razonamiento espacial y temporal, con puntuaciones inferiores al 60% (Gemini 2.5 Pro: 50.1% en espacial, 60.8% en temporal).
• La Modalidad de Audio es el "Eslabón Débil":
  • Existe una disparidad masiva entre audio y texto. La precisión cae drásticamente (más de 20-40 puntos) cuando el contexto o las respuestas son audio en lugar de texto.
  • Las combinaciones Audio-Visión sin anclaje textual son las más difíciles.
• Desequilibrio Direccional:
  • Los modelos rinden mejor cuando el texto es el candidato (salida) en comparación con cuando es el contexto.
  • Hay asimetrías notables en pares Texto-Visión y Audio-Texto, sugiriendo sesgos en los datos de entrenamiento donde el texto domina la alineación.
• Análisis de Fallos: Los modelos a menudo fallan en mantener la coherencia semántica al cambiar de modalidad (ej. identificar correctamente un instrumento por texto pero fallar al elegir la imagen correspondiente).

5. Contribuciones y Significado

• Primer Benchmark de Consistencia Tri-Modal: XModBench es el primer conjunto de datos que cubre sistemáticamente las seis direcciones de mapeo entre audio, visión y texto para evaluar la invariancia de la modalidad.
• Herramienta Diagnóstica: Proporciona métricas específicas (disparidad y desequilibrio) que revelan debilidades estructurales en los OLLMs actuales que los benchmarks tradicionales ocultan.
• Insights para el Desarrollo de Modelos:
  • Datos Entrelazados: Se observa que los modelos entrenados con datos multimodales entrelazados (mezcla de audio-visión-texto en el contexto) muestran menos desequilibrio direccional.
  • Brechas de Cobertura: Los modelos tienen sesgos hacia el habla humana, fallando en sonidos no hablados y razonamiento espacial.
  • Alineación Post-Entrenamiento: El ajuste fino (fine-tuning) en datos no entrelazados puede degradar la alineación cruzada lograda durante el pre-entrenamiento.

Conclusión:
El artículo concluye que los OLLMs actuales están lejos de lograr un razonamiento verdaderamente invariante a la modalidad. Aunque son fuertes en percepción y lenguaje, carecen de una comprensión semántica unificada robusta, especialmente cuando involucra audio y razonamiento espacial-temporal. XModBench se posiciona como una herramienta fundamental para guiar el desarrollo de arquitecturas y estrategias de entrenamiento más robustas para la inteligencia omni-modal.