Resumen Técnico: La Geometría de los Fallos de Representación en los Modelos de Visión y Lenguaje

1. Planteamiento del Problema

Los Modelos de Visión y Lenguaje (VLM, por sus siglas en inglés) exhiben fallos sistemáticos en tareas visuales de múltiples objetos, incluyendo el conteo erróneo de objetos, la confusión en la vinculación de atributos y objetos (por ejemplo, atribuir el color incorrecto a una forma) y la generación de "conjeturas ilusorias". Aunque estos errores reflejan limitaciones cognitivas humanas como el "Problema de la Vinculación" (Binding Problem), los mecanismos internos que impulsan estos fallos en sistemas artificiales siguen siendo poco comprendidos.

El artículo postula que estos fallos no son meros artefactos conductuales, sino que derivan de una interferencia geométrica de la representación. En el espacio latente de alta dimensión compartido por los VLM, los vectores que codifican conceptos distintos (por ejemplo, "rojo" y "cuadrado") pueden solaparse o entrar en conflicto cuando se procesan múltiples objetos simultáneamente. A diferencia de la visión biológica, que mitiga esto mediante la atención serial, los VLM actuales deben resolver todos los conceptos en una única pasada de alimentación hacia adelante (feedforward pass), lo que conduce a una mezcla de características inevitable cuando las representaciones no son suficientemente ortogonales.

2. Metodología

Los autores proponen un marco para extraer, validar y analizar la geometría representacional de los VLM de pesos abiertos (específicamente Qwen2.5-VL, InternVL2.5 y Gemma 3).

A. Extracción de Vectores de Concepto

El estudio compara dos métodos principales para destilar "vectores de concepto" ($v_c$) que codifican características visuales (colores, formas y sus conjunciones):

1. Método Basado en Sondas (Probes): Entrenamiento de clasificadores lineales (sondas de atención) para distinguir la presencia o ausencia de un concepto. El vector de atención aprendido sirve como el vector de concepto candidato.
2. Método Basado en Centroides: Cálculo del centroide de las incrustaciones (embeddings) de tokens de imágenes que contienen un concepto específico, y posterior proyección de este centroide sobre el subespacio ortogonal a la media de activación global para aislar las señales específicas del concepto.
3. Regularización Estructural (PCA-Probe): Para abordar la posibilidad de que las sondas aprendan "atajos discriminativos", los autores aplican el Análisis de Componentes Principales (PCA) a los vectores de las sondas. Esto obliga a los vectores a alinearse con la estructura factorial asumida de los conceptos (por ejemplo, separando los ejes de color y forma), actuando como un regularizador geométrico.

B. Validación Causal mediante la Manipulación de Activaciones (Activation Steering)

Para verificar que los vectores extraídos son causalmente activos y no meras correlaciones, los autores emplean la manipulación de activaciones (activation steering).

• Mecanismo: Para una imagen que contiene el concepto $A$, se resta la componente del vector de activación alineada con $A$ y se inyecta una componente alineada con el concepto $B$.
• Intervención: $h'_t = h_t - (h_t^\top \hat{v}_A)\hat{v}_A + (h_t^\top \hat{v}_A)\hat{v}_B$.
• Métrica: El éxito se mide por si la salida del modelo cambia de describir $A$ a describir $B$ (por ejemplo, percibir una flor roja como azul) sin alterar información visual no relacionada.

C. Análisis Geométrico

Los autores analizan la similitud de coseno entre los vectores de concepto para mapear la variedad (manifold) representacional. Investigan:

• Estructura Composicional: Si las conjunciones de color-forma se factorizan en ejes independientes de color y forma.
• Estructura Semántica: La geometría de los espacios de color continuos (100 matices) para identificar "efectos de acordeón" (compresión dentro de la categoría y separación entre categorías).
• Correlación con Errores: Vinculación del solapamiento geométrico (similitud de coseno) entre los vectores objetivo y los distractores con la precisión del modelo en tareas de búsqueda visual y estimación de similitud.

3. Resultados Clave

A. Eficacia del Método de Extracción

• Superioridad de los Centroides: La extracción basada en centroides supera consistentemente al probing ingenuo en las tareas de manipulación causal. Para la manipulación de color en imágenes naturales, los centroides lograron una precisión del 84.7% al 95.7% en los modelos, mientras que las sondas ingenuas a menudo fallaron (<4% en Qwen/Gemma).
• Papel de la Regularización: La regularización por PCA mejoró significamente el rendimiento de las sondas en algunos modelos (por ejemplo, InternVL alcanzó el 92.0%), pero resultó inconsistente entre arquitecturas.
• Vinculación Composicional: Para las conjunciones de color-forma, los vectores de centroide lograron el mayor éxito de manipulación (78.1% para Qwen, 75.3% para Gemma), lo que sugiere que el mecanismo de vinculación interno es aditivo y se alinea con la media aritmética de las activaciones.

B. Geometría Representacional

• Variedades Composicionales: Los vectores de concepto para pares de color-forma forman variedades estructuradas donde la similitud depende estrictamente de las características compartidas. Los objetos que comparten un color o una forma se agrupan distintamente, confirmando que el color y la forma se codifican en ejes independientes.
• Deformación Semántica: El espacio de color continuo no es un mapa físico fiel, sino uno semántico deformado por el espacio de tokens discretos del LLM. Exhibe una "percepción categórica", donde los matices dentro de una categoría lingüística (por ejemplo, "verde") se comprimen, mientras que los límites entre categorías se expanden.
• Perfil de "Sombrero Mexicano": Los perfiles de similitud semántica muestran un decaimiento monotónico para distancias locales, pero un aumento en la similitud para matices distantes (interferencia distal), lo que indica una resolución representacional finita y potencial de interferencia no local.
• Universalidad: El Análisis de Similitud Representacional (RSA) revela estructuras geométricas casi idénticas en Qwen, InternVL y Gemma ($r > 0.93$), lo que sugiere que estas restricciones son fundamentales al paradigma de los VLM y no artefactos específicos de la arquitectura.

C. Correlación con Fallos Conductuales

• Búsqueda Visual: La precisión del modelo en tareas de búsqueda visual disminuye monótonamente a medida que aumenta la similitud de coseno entre los vectores de concepto del objetivo y el distractor. Un alto solapamiento geométrico predice mayores tasas de error (falsos negativos cuando el objetivo está presente; falsos positivos/conjeturas ilusorias cuando está ausente).
• Juicios de Similitud: La confianza del modelo (separación de logits) en tareas de similitud de color se predice mejor mediante la similitud de coseno de los vectores de concepto que por la distancia perceptual HSV. Esto indica que la incertidumbre del modelo está gobernada por la geometría representacional y no por la distancia perceptual.

4. Significado y Reivindicaciones

El artículo afirma proporcionar una visión mecanística de los fallos de los VLM, enmarcándolos como el coste matemático de comprimir información visual rica en representaciones reutilizables y generalizables.

• La "Maldición de la Generalización": Los autores argumentan que las mismas estructuras geométricas que permiten una generalización flexible (por ejemplo, asociar el "rojo" con un espectro continuo de tonos) introducen una susceptibilidad a la interferencia entre conceptos. Este compromiso es particularmente agudo para los sistemas de procesamiento paralelo como los VLM, que carecen de los mecanismos de atención serial de la visión biológica.
• Poder Predictivo: La geometría de los vectores de concepto no es meramente descriptiva, sino predictiva. La similitud de coseno entre vectores se correlaciona fuertemente con la confianza del modelo ($r > 0.77$) y la precisión ($|r| > 0.83$) en tareas de múltiples objetos.
• Validez Causal: El estudio demuestra que los vectores de concepto derivados de datos sintéticos son causalmente activos, capaces de manipular de forma fiable la percepción del modelo en imágenes naturales.
• Paralelismo Cognitivo: Los hallazgos trazan un paralelo entre los fallos de los VLM y las "conjeturas ilusorias" humanas, sugiriendo que ambos sistemas enfrentan limitaciones similares al mapear espectros continuos a categorías discretas sin atención serial.

Los autores conclen que la comprensión de estas firmas geométricas ofrece un marco cuantitativo fundamentado para anticipar los fallos de los modelos, lo que podría informar el desarrollo de sistemas más robustos y una mejor calibración de la confianza del modelo en aplicaciones de seguridad crítica.