Resumen Técnico: Evaluación y Dirección de las Preferencias de Modalidad en Modelos de Lenguaje Multimodales

Declaración del Problema

Los Modelos de Lenguaje Multimodales (MLLM) han demostrado capacidades excepcionales para procesar datos heterogéneos (texto, imágenes, video). Sin embargo, persiste una brecha crítica en la comprensión de si estos modelos exhiben una preferencia de modalidad—una tendencia sistemática a favorecer una modalidad sobre otra al procesar contextos multimodales conflictivos. Los métodos de evaluación existentes suelen aislar las modalidades (por ejemplo, probando entradas de solo texto frente a solo imagen) o dependen de los valores de Shapley, los cuales no logran reflejar escenarios realistas donde las modalidades coocurren y potencialmente entran en conflicto. Además, no está claro si estas preferencias intrínsecas son controlables o si se correlacionan con el rendimiento en tareas de ejecución posterior (downstream).

Metodología

1. El Benchmark MC2

Para evaluar rigurosamente la preferencia de modalidad, los autores introducen MC2 (Modality Context Conflict), un benchmark diseñado para crear escenarios controlados de conflicto de evidencia.

• Construcción de Datos: El conjunto de datos comprende 2,000 muestras en ocho tareas (por ejemplo, conteo, reconocimiento de atributos, análisis de sentimiento). Se deriva de TDIUC y MS-COCO.
• Mecanismo de Conflicto: Para cada muestra, se construye un contexto visual ($c_v$) y un contexto textual ($c_t$) para proporcionar evidencia contradictoria respecto a una pregunta específica ($q$).
• Validación: El proceso de construcción asegura que los modelos puedan comprender con precisión ambas modalidades de forma aislada (alcanzando una precisión >95% en pruebas de una sola modalidad) antes de ser probados en el conflicto. Esto elimina factores de confusión como un pobre reconocimiento visual o un sesgo de conocimiento interno.
• Anotación: Un marco semiautomático utilizando LLMs (DeepSeekV3, GPT-4o-mini) genera respuestas distractoras y textos conflictivos, seguido de una verificación humana para asegurar la inconsistencia semántica entre las modalidades.

2. Métrica de Evaluación: Ratio de Visión

Los autores definen el Ratio de Visión para cuantificar la preferencia:
$$\text{Ratio de Visión} = \frac{S_{\text{visión}}}{S_{\text{visión}} + S_{\text{texto}}}$$
Donde $S$ representa la proporción de muestras donde la respuesta del modelo se alinea con el contexto visual o textual, respectivamente. Un ratio > 0.5 indica una preferencia por la visión; < 0.5 indica una preferencia por el texto.

3. Análisis de Motores de Cambio

El estudio investiga los factores que impulsan estas preferencias:

• Patrones de Atención: Los autores correlacionan el Ratio de Visión con el Ratio de Atención (atención visual frente a atención total), encontrando que una distribución desigual de la atención impulsa la preferencia.
• Escala y Entrenamiento: Los experimentos muestran que los modelos más grandes generalmente exhiben preferencias visuales más fuertes. Además, el ajuste fino (fine-tuning) con datos de conflicto multimodal desplaza las preferencias, lo que sugiere que la exposición a contextos conflictivos durante el entrenamiento influye en estos sesgos.

4. Ingeniería de Representación para la Dirección (Steering)

Basándose en el hallazgo de que la preferencia de modalidad está codificada en las representaciones latentes, los autores proponen un método de dirección sin entrenamiento:

• Sondeo (Probing): Se interroga al modelo con instrucciones para priorizar la visión o el texto. Se calcula la diferencia en los estados ocultos ($x^t_{i,\ell} - x^v_{i,\ell}$) en el último token a través de las capas para identificar el vector de dirección de preferencia de modalidad ($u^\ell_t$).
• Selección de Capas: El análisis revela que las capas 20–23 (en modelos como Qwen2.5VL) exhiben las señales de preferencia más estables y significativas.
• Dirección (Steering): Durante la inferencia, se añade un vector de dirección escalado ($s^\ell = w \cdot u^\ell$) a los estados ocultos en la capa seleccionada. El peso $w$ se calcula para alinear la media de la dirección sondeada con la distribución original, asegurando que la intervención sea efectiva sin interrumpir las capacidades lingüísticas.

Resultados Clave

Preferencias de Modalidad en MLLMs

• Prevalencia: Los 20 MLLMs probados exhiben claras preferencias de modalidad.
• Sesgo de Texto: La mayoría de los modelos (por ejemplo, LLaVA1.5-7B) muestran una fuerte preferencia de texto (Ratio de Visión ~13.4%), lo que concuerda con la hipótesis del "prior de lenguaje".
• Preferencia Visual: Modelos como Qwen2.5VL e InternVL3 muestran una preferencia visual más fuerte, la cual aumenta con la escala del modelo.
• Correlación: Existe una fuerte correlación positiva ($\rho = 0.964$) entre el Ratio de Visión y el rendimiento de comprensión visual en benchmarks de tareas posteriores (por ejemplo, MathVista, TallyQA), lo que sugiere que la preferencia es un indicador fiable de la capacidad.

Efectividad de la Dirección (Steering)

El método de ingeniería de representación propuesto dirige con éxito a los modelos hacia la modalidad deseada sin necesidad de ajuste fino:

• Rendimiento en MC2: El método supera a las líneas base (Zero-shot, Diseño de Instrucciones, Cadena de Pensamiento, Few-shot) en el ajuste del Ratio de Visión. Por ejemplo, dirigir Qwen2.5VL-7B hacia el texto aumentó su puntuación de alineación con el texto del 35.4% al 63.6%.
• Tareas Posteriores:
  • Razonamiento: Mejora la precisión en MathVista (62.3% frente al 59.0% de la línea base) y TallyQA (76.6% frente al 74.4%).
  • Mitigación de Alucinaciones: En el benchmark PhD (específicamente el subconjunto con texto engañoso), la dirección hacia la visión redujo significamente las alucinaciones causadas por texto conflictivo.
  • Traducción: En AmbigCaps (traducción automática multimodal), la dirección hacia el texto mejoró las puntuaciones BLEU al reducir la dependencia de pistas visuales espurias.

Mecanismo Interno

El análisis de atención confirma que el método de dirección altera con éxito la distribución de atención del modelo. Cuando se dirige hacia el texto, el peso de atención en los tokens de texto aumenta significamente (por ejemplo, de ~55% a ~83%) mientras que la atención visual disminuye, validando que la intervención opera a nivel de representación.

Significancia y Reivindicaciones

El artículo reivindica tres contribuciones primarias:

1. Marco de Evaluación: La introducción de MC2 proporciona el primer benchmark controlado y a gran escala para evaluar sistemáticamente la preferencia de modalidad en MLLMs, desacoplando la preferencia de las capacidades de comprensión.
2. Perspectiva del Espacio Latente: El estudio revela que las preferencias de modalidad son direccionables e identificables dentro de las representaciones latentes de los MLLMs, ofreciendo una nueva perspectiva sobre los mecanismos de razonamiento multimodal.
3. Control sin Entrenamiento: El método de sondeo y dirección propuesto permite el ajuste explícito y controlable de la preferencia de modalidad sin datos adicionales ni ajuste fino. Esto mejora el rendimiento en tareas posteriores donde la dependencia de una modalidad específica es crítica (por ejemplo, evitar alucinaciones inducidas por el texto en el razonamiento visual).

Los autores concluyen que comprender y controlar la preferencia de modalidad es esencial para desarrollar sistemas multimodales más fiables y robustos, particularmente en escenarios donde existe información conflictiva.