Resumen Técnico: Vías de Flujo de Información Visual en Modelos de Visión-Lenguaje

Declaración del Problema

Aunque los Modelos de Visión-Lenguaje (VLMs) resuelven con éxito tareas multimodales complejas, los mecanismos específicos mediante los cuales la información visual es enrutada e integrada dentro del modelo de lenguaje durante la generación de texto siguen sin estar claros. Investigaciones previas han arrojado conclusiones contradictorias respecto a estos mecanismos: algunos estudios sugieren que la información visual fluye directamente desde los tokens de imagen hacia el token de salida final (vía directa), mientras que otros argumentan que la información visual siempre es mediada por los tokens de texto/consulta antes de llegar al token final (vía mediada por texto).

Una limitación crítica en el trabajo previo es la dependencia de intervenciones de atención (p. ej., eliminaciones de atención o attention knockouts). Estos métodos prueban primordialmente la necesidad (si un modelo puede resolver una tarea sin un componente específico) en lugar del uso (si el modelo utiliza típicamente ese componente durante la inferencia estándar). En consecuencia, sigue siendo incierto cómo los VLMs enrutan realmente la información bajo condiciones normales y si existen vías alternativas como mecanismos de reserva (fallbacks) latentes.

Metodología

Los autores emplean el parcheo causal (causal patching) con ejemplos contrafácticos para distinguir entre lo que los modelos podrían hacer frente a lo que típicamente hacen. El estudio utiliza un diseño experimental controlado a través de tres tareas visuales:

1. Reconocimiento de Objetos: Identificación de entidades.
2. Relaciones Espaciales: Razonamiento sobre las posiciones entre entidades.
3. Localización de Objetos: Mapeo de entidades a posiciones globales.

Datos: Los experimentos se realizan tanto en conjuntos de datos sintéticos (formas de colores con primitivas controladas) como en conjuntos de datos naturales (p. ej., COCO, Visual Genome, What's Up) para probar la generalización.

Modelos: El estudio evalúa Qwen3-VL-4B, InternVL3.5-4B y LLaVA-1.5-7B.

Intervenciones:

• Parcheo Causal: Las representaciones ocultas de un ejemplo contrafáctico (imagen diferente, mismo texto) se insertan en la pasada hacia adelante (forward pass) de un input original en capas específicas. Esto mide la "Puntuación de Restauración", indicando si el conjunto de tokens parcheados contiene información suficiente para cambiar la predicción del modelo.
• Eliminaciones de Atención (Attention Knockouts): Se suprimen bordes de atención específicos para probar la necesidad de una vía.
• Parcheo de Entrada Corrupta: Las representaciones de texto de una imagen válida se parchean en una ejecución de inferencia donde la imagen ha sido reemplazada por ruido aleatorio, probando si los tokens de texto por sí solos codifican una señal visual suficiente.

Definiciones de Vías:

• Vía Directa ($r_{I \to last}$): El token final atiende directamente a los tokens de la imagen.
• Vía Mediada por Texto ($r_{I \to T} \to r_{T \to last}$): La información visual se transfiere de los tokens de imagen a los tokens de texto/consulta, los cuales son luego leídos por el token final.

Resultados Clave

1. Selección de Vía Dependiente de la Tarea

El estudio identifica que los VLMs utilizan vías distintas dependiendo de la tarea específica:

• Reconocimiento de Objetos: Depende de la vía directa. El parcheo causal muestra que el token final lee la información visual directamente de los tokens de imagen a lo largo de la red; el parchear los tokens de texto no tiene efecto en la salida.
• Relaciones Espacales: Depende de la vía mediada por texto. La información visual se transfiere a los tokens de texto en capas intermedias. Una vez que ocurre esta transferencia, el parcheo de los tokens de imagen ya no afecta la predicción, lo que indica que el token final depende de las representaciones de texto.
• Localización de Objetos: La selección de la vía está modulada por la distribución de los datos.
  • En datos sintéticos, los modelos utilizan la vía directa.
  • En datos naturales, los modelos cambian a la vía mediada por texto, probablemente debido a la mayor complejidad visual y la necesidad de fundamentación en escenas con abundantes distractores.

2. Modulación por Diseño de Prompts

El diseño del prompt influye en la selección de la vía. Para el reconocimiento de objetos, un protocolo de generación "abierto" (texto libre) mantiene la vía directa. Sin embargo, un protocolo de "opciones" (selección de un conjunto fijo de candidatos) induce un cambio hacia la vía mediada por texto, lo que sugiere que las restricciones del espacio de salida alteran la estrategia de enrutamiento interno.

3. Vías como Mecanismos de Reserva Flexibles

Un hallazgo significativo es que estas vías no son rígidas; coexisten como alternativas de respaldo.

• Parcheo de Entrada Corrupta: Cuando la entrada de imagen es reemplazada por ruido, los modelos aún pueden recuperar respuestas correctas utilizando únicamente la vía mediada por texto. Esto se mantiene incluso para tareas (como el reconocimiento de objetos) donde la vía directa es dominante bajo la inferencia normal.
• Eliminaciones de Atención: Bloquear la vía directa ($r_{I \to last}$) tiene un impacto insignificante en la precisión. El modelo logra redirigir el flujo a través de la vía mediada por texto para mantener el rendimiento. Por el contrario, la interrupción de la vía mediada por texto provoca caídas sustanciales en el rendimiento.

Significancia y Reivindicaciones

El artículo afirma proporcionar una caracterización mecánica del flujo de información visual, unificando los hallazgos previamente contradictorios en la literatura. Los autores argumentan que:

1. Sesgo de Intervención: Las intervenciones basadas en la ablación estándar (como las eliminaciones de atención) corren el riesgo de activar vías de reserva. La capacidad de un modelo para resolver una tarea sin un componente no implica que use normalmente dicho componente. Esto explica por qué diferentes estudios han reportado mecanismos contradictorios para las mismas tareas.
2. Flexibilidad de los Mecanismos Internos: Los VLMs poseen estrategias de enrutamiento flexibles. La vía mediada por texto codifica suficiente información visual para resolver tareas incluso cuando la corriente visual directa es ablada o corrupta.
3. Implicación Metodológica: Para caracterizar con precisión cómo los modelos procesan la información, los investigadores deben combinar intervenciones sensibles al uso (parcheo causal) con pruebas de necesidad (eliminaciones). Depender de un solo método puede conducir a conclusiones incompletas o erróneas sobre el comportamiento del modelo.

Los autores concluyen que la integración de la información visual en los VLMs no es un mecanismo único y fijo, sino un sistema dinámico donde la selección de la vía depende de la tarea, la distribución de los datos y el diseño del prompt, siendo el enrutamiento mediado por texto un mecanismo de reserva robusto y latente.