Resumen Técnico: Los Sondas Foveadas Recuperan Información de Vinculación Localizada en Modelos de Visión Fundacionales

Planteamiento del Problema

Los modelos de visión fundacionales (VFM) se evalúan predominantemente utilizando un único embedding global de la imagen (por ejemplo, un token de clase, un output de pooling o un promedio global de la información). Aunque esto es conveniente para tareas de alineación imagen-texto, esta interfaz introduce una ambigüedad crítica cuando los modelos fallan en tareas espaciales, relacionales o de vinculación: ¿la información relevante está ausente de la representación del codificador congelado, o fue descartada por la lectura global?

La literatura existente documenta fallos en el emparejamiento composicional, la vinculación atributo-objeto y el razonamiento espacial localizado en modelos como CLIP y SigLIP. Por el contrario, los métodos de predicción densa sugieren que los tokens de parches retienen información local útil. Este artículo postula una distinción entre fallo de representación (la información está genuinamente ausente) y ceguera espacial a nivel de lectura (la información existe en los tokens de parches pero se vuelve inaccesible tras colapsarse en un vector global). Los autores argumentan que el pooling global diluye la evidencia de cambio de etiqueta localizable mientras expone a la sonda a la variación de molestia de objetos irrelevantes.

Metodología

El estudio aísla la interfaz de lectura manteniendo el codificador de visión congelado y variando únicamente el mecanismo utilizado para agregar los tokens de parches para una tarea de clasificación descendente. Ningún gradiente actualiza las torres de visión o de texto.

Protocolos de Lectura

1. Lecturas Globales (Baselines):
   • Promedio Global de Parches (GAP): Promedia uniformemente todos los tokens de parches.
   • Token de Resumen: Utiliza el embedding de resumen preentrenado (por ejemplo, el token de clase de CLIP).
   • Solo Pregunta (Tareas VLM): Utiliza únicamente el embedding de texto para medir el conocimiento previo.
2. Lectura Foveada (Propuesta):
   • Un pooling de atención de consulta única ligero sobre los tokens de parches congelados.
   • Una consulta $q$ (aprendida para tareas de solo visión o derivada del embedding de la pregunta para tareas VLM) asigna puntuaciones de atención a los tokens.
   • El resultado es una suma ponderada de tokens, seleccionando la evidencia antes del colapso espacial.
   • Crucialmente, esta lectura se entrena sin supervisión de localización (sin cajas delimitadoras); aprende a seleccionar tokens basándose únicamente en la pérdida de la tarea.
3. Lectura Oráculo:
   • Realiza el pooling de tokens estrictamente dentro de una región objetivo anotada.
   • Sirve como un diagnóstico de límite superior para confirmar si la información está presente en los tokens.

Métrica Diagnóstica: Relación Señal-Molestia Contrafactual (NSR)

Para cuantificar por qué fallan las lecturas globales, los autores introducen la NSR, computada directamente sobre los embeddings:

• Señal ($S$): El cambio cuadrático medio en la representación cuando el factor que define la etiqueta (por ejemplo, color/forma del objetivo) se edita mediante contrafactuales.
• Molestia ($N$): La varianza en la representación cuando el contenido irrelevante de la escena (distractores) cambia mientras la etiqueta permanece fija.
• NSR: $N / S$. Una NSR baja indica que la representación es sensible a la etiqueta y estable frente al ruido. Una NSR alta indica que la representación está dominada por la variación irrelevante.

Tareas de Evaluación

1. Vinculación Color-Forma Sintética (CSB): Una tarea controlada donde se debe identificar la conjunción color-forma de un objeto objetivo entre distractores adversarios (señuelos) que coinciden con el color o la forma.
2. Detección de Forma en Multitud (CSD): Una variante de CSB libre de color para probar la vinculación de la forma sin pistas de color.
3. Vinculación de Color Localizada Derivada de GQA (GQA):* Una tarea de imágenes naturales donde preguntas pareadas preguntan por los colores de dos instancias diferentes del mismo tipo de objeto dentro de la misma imagen.

Resultados Clave

Tareas Sintéticas (CSB y CSD)

• Brecha de Rendimiento: Las lecturas globales (GAP/Resumen) operan cerca de los niveles del azar en la precisión contrafactual pareada (aprox. 3.5% para CSB, donde el azar es 2.8%). En contraste, la lectura foveada logra un 93.5%, acercándose al 99.3% del oráculo.
• Sensibilidad al Desorden: A medida que aumenta el número de distractores, la precisión de la lectura global cae monótonamente, mientras que la precisión de la lectura foveada permanece cerca del techo.
• Análisis de NSR: Las lecturas globales exhiben una NSR alta (7–15), lo que significa que las ediciones de molestia mueven el embedding de 7 a 15 veces más que las ediciones de cambio de etiqueta. La lectura foveada mantiene una NSR baja (~0.3), similar a la del oráculo.
• Señuelos Adversarios: El rendimiento de la lectura global fluctúa drásticamente según la composición del señuelo (por ejemplo, aumenta con señuelos de forma-objetivo, cae con señuelos de contraparte-forma), indicando una dependencia de las estadísticas a nivel de escena. La lectura foveada permanece invariante a la composición del señuelo.

Tarea de Imágenes Naturales (GQA*)

• Precisión Pareada: Los vectores globales independientes de la pregunta mejoran solo modestamente respecto a los priors de solo pregunta (aprox. 4% frente al 2.3% del azar).
• Impacto de la Foveación: La foveación condicionada a la pregunta logra una precisión pareada del 17.0%, aproximadamente 4 veces el rendimiento de la lectura global.
• Brecha del Oráculo: El oráculo alcanza el 33.0%, lo que indica que, si bien la lectura foveada recupera una señal significativa, la representación congelada aún contiene información adicional específica del objeto que no ha sido totalmente recuperada por el selector ligero.

Contribuciones

1. Formulación de la Ceguera Espacial a Nivel de Lectura: El artículo define y distingue este fenómeno del fallo de representación genuino, introduciendo la NSR contrafactual como herramienta diagnóstica.
2. Protocolo de Sonda Foveada: Introducción de una lectura de pooling de atención mínima y aprendible que recupera la información de vinculación localizada sin realizar el ajuste fino del codificador ni utilizar supervisión de localización.
3. Evidencia Empírica: Demostración de que el colapso global puede hacer que la información disponible parezca ausente. El estudio muestra que un selector ligero puede recuperar la mayor parte de la señal accesible por el oráculo, sugiriendo que la "ceguera espacial" en modelos congelados es a menudo un artefacto de la interfaz de embedding global más que una falta de información espacial en los tokens de parches.

Significado y Reivindicaciones

El artículo concluye que la pregunta "¿Son los modelos de visión congelados espacialmente ciegos?" está mal especificada; la respuesta depende enteramente de la interfaz utilizada para acceder a los tokens de parches.

• Reevaluación de Fallos: Los fallos en tareas espaciales y composicionales no deben atribuirse inmediatamente a una falta de representación en el modelo fundacional. En su lugar, pueden resultar de que la información está siendo suprimida por el pooling global.
• Principio de Evaluación: Antes de atribuir fallos localizados a la representación aprendida, los investigadores deben probar si la conclusión sobrevive a una lectura que preserve o acceda selectivamente a los tokens espaciales.
• Limitaciones: Los autores señalan que la sonda foveada es una intervención diagnóstica, no un reemplazo para arquitecturas con interacciones multimodales más ricas. El estudio se centra en la vinculación de atributos localizados; extender estos diagnósticos a otras tareas relacionales y arquitecturas es un trabajo futuro.

Los resultados indican que, aunque los embeddings globales son resúmenes útiles, no deben confundirse con cuentas completas de lo que un modelo de visión congelado sabe.