Resumen Técnico: Vectores de Función Multimodales para Relaciones Visuales

Declaración del Problema

Los Modelos Multimodales Grandes (LMM) exhiben capacidades impresionantes de aprendizaje en contexto (ICL), sin embargo, los mecanismos internos que permiten aprender y ejecutar tareas de razonamiento relacional siguen siendo opacos. Mientras que la investigación reciente en interpretabilidad mecánica en Modelos de Lenguaje Grandes (LLM) ha identificado "vectores de función" (FVs) —representaciones compactas de tareas derivadas de las activaciones de las cabezas de atención—, extender este enfoque a entornos multimodales es un desafío. Las relaciones visuales (por ejemplo, posicionamiento espacial como "encima de" o interacciones agénticas como "sujetando") no se señalan explícitamente mediante píxeles; deben inferirse de la fusión de características visuales de alta dimensión y lenguaje natural. Los LMM actuales luchan por adquirir conceptos relacionales sistemáticos incluso con demostraciones, fallando a menudo en superar significativamente a los baselines de zero-shot. Este artículo investiga si el paradigma del vector de función puede extenderse a los LMM para extraer, manipular y generalizar el conocimiento relacional visual.

Metodología

Los autores proponen un marco para identificar y extraer vectores de función específicos de la relación de las representaciones internas de los LMM, enfocándose específicamente en OpenFlamingo y Qwen3-VL.

1. Datasets y Tarea

El estudio utiliza dos conjuntos de datos:

• Dataset Sintético: 7,000 imágenes generadas a partir de recortes de objetos (dataset Big and Small Objects) para instanciar cuatro relaciones espaciales (encima de, debajo de, izquierda de, derecha de).
• Dataset de Imágenes Reales (GQA): Subconjuntos del dataset GQA que contienen imágenes del mundo real anotadas con relaciones espaciales (7 tipos) y relaciones agénticas (5 tipos: cargando, sujetando, montando, sentado en, vistiendo).

La tarea de evaluación es un prompt de ICL de 4 disparos (4-shot) donde el modelo debe identificar un objeto que satisfaga una relación específica con un objeto de consulta.

2. Análisis de Mediación Causal para la Extracción de Vectores

Para identificar los componentes internos responsables del razonamiento relacional, los autores emplean el análisis de mediación causal:

• Promedio de Activaciones: Computan el promedio de las activaciones de las cabezas de atención a través de un conjunto de demostraciones en contexto consistentes para una relación específica.
• Efecto Indirecto Causal (CIE): Construyen prompts perturbados con contextos no informativos (parejas de objetos aleatorios) y miden el cambio en la probabilidad de predicción cuando la activación de una cabeza de atención específica es reemplazada por la media de la activación específica de la relación.
• Definición de Vector de Función: Se identifican las cabezas de atención con los puntajes de Efecto Indirecto Promedio (AIE) más altos como la subred causal. El vector de función ($v_t$) para una relación $t$ se define como la suma de las activaciones medias de las 10 cabezas de atención más influyentes.

3. Intervención y Ajuste Fino (Fine-Tuning)

• Intervención Zero-Shot: Los vectores de función extraídos se inyectan en los estados ocultos de prompts zero-shot (que no contienen demostraciones) para probar si pueden eliciar causalmente predicciones relacionales correctas.
• Ajuste Fino: Los vectores se optimizan posteriormente utilizando un pequeño conjunto de ejemplos de entrenamiento zero-shot (1,000 imágenes sintéticas o ~2,100 de GQA) mientras se mantienen congelados los parámetros del LMM. Este componente de "Aprendizaje Rápido" actualiza únicamente el vector de función para maximizar la verosimilitud de las respuestas correctas.

4. Vectores de Función Compuestos para Analogías

Inspirados en la hipótesis de la representación lineal, los autores prueban si las relaciones no entrenadas (por ejemplo, "encima-izquierda") pueden resolverse combinando linealmente los vectores de las relaciones base entrenadas (por ejemplo, "encima" + "izquierda"). Computan pesos basados en un único ejemplo de analogía de origen para formar un vector compuesto ($v_{composite}$), el cual se utiliza para guiar la inferencia en una analogía de destino.

Resultados Clave

1. Identificación de Subredes Causales

El análisis de mediación causal reveló que un subconjunto pequeño y disperso de cabezas de atención (concentradas en capas intermedias) ejerce una fuerte influencia causal en las predicciones relacionales. Inyectar los vectores de función extraídos en estas capas específicas mejoró significativamente la precisión zero-shot en comparación con el baseline.

2. Ganancias de Rendimiento vía Ajuste Fino

El ajuste fino de los vectores de función en datos zero-shot produjo mejoras sustanciales sobre los baselines estándar:

• Dataset Sintético: Los vectores ajustados (FFVs) superaron significativamente tanto al baseline zero-shot como al baseline de ICL de 4 disparos para OpenFlamingo y Qwen3-VL. Para Qwen3-VL, los FFVs alcanzaron un 72.2% de precisión frente al 21.3% del baseline de ICL.
• Dataset GQA: Los FFVs más que duplicaron la precisión del baseline zero-shot y superaron el ICL de 4 disparos en todas las relaciones espaciales y agénticas.
• Generalización: El enfoque generalizó a objetos novedosos (no vistos durante el entrenamiento) y relaciones novedosas (por ejemplo, "encima-izquierda") al utilizar vectores compuestos.

3. Analogía y Composicionalidad

El estudio demostró que los vectores de función específicos de la relación pueden combinarse linealmente para resolver problemas de analogía de un solo disparo (one-shot) que involucran relaciones espaciales no entrenadas.

• En el modelo OpenFlamingo, los vectores de función compuestos (CFVs) duplicaron la precisión del ICL de 4 disparos (del 8.1% al 16.8%).
• En Qwen3-VL, los CFVs mejoraron la precisión del 28.7% (ICL de 4 disparos) al 45.1%, superando todos los baselines de ICL.

4. Estudios de Ablación

• Capa de Inyección: El rendimiento alcanzó su punto máximo cuando los vectores se inyectaron en capas intermedias (ej. capa 19), sugiriendo que estas capas son óptimas para disparar computaciones relacionales.
• Tamaño del Conjunto de Cabezas: Un subconjunto pequeño de cabezas (6–12) produjo un rendimiento óptimo; añadir más cabezas introdujo ruido.
• Tamaño del Contexto: El rendimiento fue estable en contextos de 2 y 4 disparos, mientras que los contextos de 8 disparos a veces redujeron ligeramente la precisión, sugiriendo que un contexto moderado es suficiente para extraer activaciones robustas.

Significancia y Reivindicaciones

El artículo afirma avanzar en la comprensión de la modularidad y el control de los modelos en los LMM al demostrar que:

1. Codificación Localizada: El conocimiento relacional visual está codificado dentro de estructuras internas localizadas (cabezas de atención específicas) en lugar de estar distribuido de forma difusa o ser puramente emergente.
2. Extractibilidad y Manipulabilidad: Estas representaciones pueden extraerse sistemáticamente mediante el análisis de mediación causal y manipularse (inyectándose o ajustándose) para alterar el comportamiento del modelo sin reentrenar todo el modelo.
3. Generalización: El enfoque respalda la generalización composicional, permitiendo que los modelos resuelvan problemas relacionales novedosos (analogía) mediante la combinación lineal de vectores aprendidos, lo que sugiere un "lenguaje de la visión" estructurado dentro del espacio interno del modelo.
4. Eficiencia: El ajuste fino de solo los vectores de función (un pequeño subconjunto de parámetros) es más efectivo que el aprendizaje en contexto estándar, ofreciendo una vía para la adaptación eficiente de los LMM para el razonamiento relacional.

Los autores concluyen que este marco proporciona una prueba de concepto para interpretar y mejorar el razonamiento relacional en sistemas multimodales, aunque reconocen limitaciones respecto al alcance estrecho de las relaciones probadas y la dependencia actual de las demostraciones contextuales para inferir mezclas de vectores.