Resumen Técnico: El contexto lingüístico recodifica las representaciones visuales en los modelos de visión y lenguaje

Declaración del Problema

Los modelos de visión y lenguaje (VLM) se conceptualizan frecuentemente como sistemas donde las consultas lingüísticas recuperan o razonan sobre información visual estática almacenada en tokens de imagen. El trabajo de interpretabilidad previo se ha centrado principalmente en cómo los tokens de lenguaje manipulan estos repositorios visuales preexistentes. Sin embargo, sigue sin caracterizarse adecuadamente si los VLM recodifican dinámicamente las representaciones visuales en respuesta a un lenguaje dirigido a objetivos, de manera similar a cómo los sistemas visuales biológicos emplean señales descendentes (top-down) dirigidas a objetivos para dirigir la atención y alterar el procesamiento de los estímulos. Este artículo investiga la hipótesis de que la entrada lingüística no solo consulta las representaciones visuales, sino que modifica activamente estas para apoyar objetivos específicos articulados en el texto.

Metodología

Los autores investigan dos mecanismos primarios de recodificación visual inducida por el lenguaje: la adición de una representación de "referencia" abstracta y la modulación de atributos visuales existentes.

Modelos y Conjuntos de Datos:
El estudio utiliza dos VLM basados en transformadores: Qwen 2.5 VL 7b e InternVL3 8b. Los experimentos emplean:

1. Conjuntos de datos sintéticos: Imágenes que contienen múltiples objetos definidos por pares únicos de (color, forma) dispuestos en una cuadrícula, lo que permite un análisis preciso de tokens a nivel de objeto.
2. Conjunto de datos de imágenes naturales: Un subconjunto filtrado de COCO con tripletas de objetos bien separados para probar la generalización más allá de los entornos sintéticos.

Diseño Experimental:
Los autores analizan tres tipos de tareas:

• Conteo (Counting): Consultar el número de objetos con un atributo específico.
• Sí/No (Yes/No): Determinar la presencia de un atributo.
• Espacial (Spatial): Identificar un objeto basándose en su relación espacial con un punto de referencia.

Técnicas Principales:

1. Sondeo Lineal (Linear Probing): Entrenamiento de clasificadores binarios en estados ocultos para detectar si un token visual corresponde a un objeto "referente" (relevante para el objetivo) frente a uno no referente.
2. Vectores de Dirección Contrastivos (Contrastive Steering Vectors): Cálculo de vectores de diferencia entre los estados ocultos de un objeto cuando es un referente frente a cuando es un no referente. Estos vectores se utilizan para intervenciones causales (sumar/restar vectores a los estados ocultos) para probar si impulsan las predicciones del modelo.
3. Vectores de Conceptos Visuales: Construcción de vectores para formas y colores específicos mediante el promedio de las representaciones de objetos que poseen dichos atributos. Las proyecciones de las representaciones de los objetos sobre estos vectores miden la fuerza de la codificación de atributos.
4. Intervenciones Causales:
   • Dirección (Steering): Modificación de los estados ocultos con vectores de referencia para cambiar las salidas del modelo (por ejemplo, cambiar un "Sí" por un "No" o alterar el objeto identificado en una consulta espacial).
   • Congelación (Freezing): Detener la actualización de los estados ocultos de los objetos referentes desde una capa específica en adelante para medir el impacto en la confianza de la respuesta final (utilizando el análisis de logit lens).

Contribuciones Clave y Resultados

1. Descubrimiento de Representaciones de Referencia Abstractas
Los autores identifican una representación de "referencia" linealmente decodificable dentro de los tokens visuales que señala la relevancia para el objetivo.

• Decodificabilidad: Los sondos lineales pueden distinguir entre objetos referentes y no referentes con alta precisión en las capas medias y tardías cuando hay prompts dirigidos a objetivos presentes. Los prompts de control (cadenas vacías o descripciones irrelevantes) fallan en provocar esta señal, confirmando que el cambio es impulsado por la consulta específica.
• Causalidad: Los vectores de dirección contrastivos derivados de estas representaciones influyen causalmente en el comportamiento del modelo. Sumar un vector de referencia a un objeto no referente (o restarlo de un referente) cambia con éxito las predicciones del modelo en las tareas de Conteo, Sí/No y Espacial.
• Generalización: Estas representaciones de referencia son abstractas; los vectores extraídos de una tarea (ej. Espacial) a menudo se generalizan a otras (ej. Conteo), y los vectores derivados de datos sintéticos dirigen eficazmente los modelos en imágenes naturales de COCO.

2. Evidencia de Modulación de Atributos
Más allá de marcar la relevancia, la entrada lingüística amplifica selectivamente la representación de atributos específicos dentro del objeto referente.

• Modulación Explícita: Cuando se solicita "enfocarse en la forma", las proyecciones de los tokens de los objetos sobre los vectores de concepto de forma aumentan significamente en relación con una línea base, mientras que las proyecciones de color permanecen estables o disminuyen, y viceversa para los prompts centrados en el color.
• Modulación Implícita: Incluso cuando los atributos no se consultan explícitamente, la selección de un objeto (ej. "el objeto delante") amplifica las representaciones de forma y color de ese objeto específico en comparación con los objetos no seleccionados.
• Dinámica Temporal: La modulación de atributos emerge en las capas posteriores, tras la aparición inicial de la señal de referencia en las capas medias, lo que sugiere un proceso de dos etapas: identificación del objeto relevante seguido del refinamiento de sus características.

3. Rol Causal de la Modulación
El artículo demuestra que la modulación de atributos media la distribución de respuesta del modelo.

• Experimentos de Congelación: Congelar los estados ocultos de los objetos referentes en las capas tardías (donde la modulación es más fuerte) reduce significamente la confianza del modelo (brecha de logit) en su respuesta final. Esto confirma que el procesamiento continuo y la amplificación de estos atributos son causalmente necesarios para generar respuestas con confianza.

Significado y Reivindicaciones

El artículo argumenta que las representaciones visuales en los VLM no son repositorios estáticos de información, sino que son moduladas dinámicamente por el contexto lingüístico. Los hallazgos apoyan un modelo más dinámico de procesamiento transmodal donde:

1. Mecanismo de Referencia: Los VLM construyen representaciones abstractas para denotar qué objetos son relevantes para una consulta, un mecanismo que se generaliza a través de tareas y dominios.
2. Mecanismo de Modulación: Los VLM amplifican selectivamente los atributos relevantes para el objetivo (forma, color) dentro de la representación visual del referente para apoyar el razonamiento posterior.

Estos mecanismos se asemejan a la recodificación dirigida a objetivos observada en los sistemas de visión biológica, donde las representaciones perceptivas se modulan para apoyar tareas específicas como la categorización o la búsqueda. Los autores concluyen que la entrada lingüística en los VLM preentrenados sirve para recodificar las representaciones visuales a nivel de objeto para apoyar los objetivos o consultas específicos especificados en el texto.

Limitaciones:
Los autores señalan que sus experimentos dependen en gran medida de conjuntos de datos sintéticos controlados con disposiciones espaciales restringidas. Los vectores de dirección se extraen de estos conjuntos de datos, y los experimentos de modulación se centran actualmente solo en la forma y el color, excluyendo otros atributos como el tamaño o el brillo. Además, la tarea de conteo mostró tasas de éxito de intervención más bajas, lo que sugiere que no todas las tareas dependen enteramente de la señal de referencia identificada.