Revisiting Compositionality in Dual-Encoder Vision-Language Models: The Role of Inference

1. El Problema: Limitaciones de la Composicionalidad en VLMs

Los Modelos Visión-Lenguaje (VLM) de doble codificador, como CLIP, han demostrado un rendimiento excepcional en tareas de recuperación y reconocimiento cero-shot. Sin embargo, sufren de una composicionalidad deficiente: les cuesta distinguir entre configuraciones de objetos que comparten los mismos elementos pero difieren en sus atributos o relaciones (ej. "un perro negro y un gato blanco" vs. "un gato negro y un perro blanco").

• Hipótesis convencional: Se ha asumido que esta falla se debe a representaciones internas deficientes aprendidas durante el entrenamiento.
• Hipótesis del artículo: Los autores argumentan que el problema no radica principalmente en las representaciones (que ya contienen información granular), sino en el protocolo de inferencia estándar. Este protocolo utiliza una similitud coseno global entre vectores de imagen y texto promediados (pooled), lo que colapsa la información multimodal en un solo vector, descartando las correspondencias necesarias entre regiones de la imagen y segmentos del texto para el "enlazado" (binding) composicional.

2. Metodología

El estudio se divide en dos fases principales: un estudio diagnóstico y un método de aprendizaje de alineación.

A. Diagnóstico: Inferencia Guiada por Estructura (SGI)

Para aislar el papel de la inferencia del aprendizaje de representaciones, los autores diseñaron un protocolo de inferencia que no actualiza los codificadores preentrenados (se mantienen congelados).

1. Descomposición: Se dividen las imágenes en "recortes" (crops) que aproximan regiones de objetos y los textos en segmentos estructurados (objeto + atributo).
2. Alineación: Se calcula la similitud coseno entre cada recorte de imagen y cada segmento de texto.
3. Puntuación: Se selecciona el mejor emparejamiento para cada segmento y se promedian las similitudes para obtener la puntuación final.
4. Dataset de Prueba: Se introduce BISCOR-CTRL, un benchmark de distribución fuera de dominio (OOD) basado en escenas sintéticas CLEVR. Contiene pares de imágenes y textos donde solo se han intercambiado atributos (SWAP), eliminando correlaciones espurias y forzando al modelo a realizar un enlazado preciso.

B. Aprendizaje de Alineación Fina (Alignment Transformer)

Basándose en los resultados del diagnóstico, proponen un módulo ligero (un transformador) que aprende a alinear las representaciones sin modificar los codificadores base.

• Entrada: Utiliza los patches (bloques visuales) y tokens (palabras) extraídos de los codificadores congelados.
• Arquitectura: Un transformador ligero que permite la atención cruzada entre patches y tokens, aprendiendo correspondencias finas.
• Comparación: Se compara contra:
  1. Fine-tuning completo: Actualizar todos los parámetros del VLM.
  2. Transformador sobre embeddings globales: Aplicar el mismo transformador solo a los vectores globales (para medir si la capacidad del modelo es el problema).
  3. Métodos de entrenamiento end-to-end previos: Modelos que modifican la función de pérdida para fomentar la composicionalidad (ej. NegCLIP, FSC-CLIP).

3. Contribuciones Clave

1. Identificación del cuello de botella: Demostraron que la coincidencia de embeddings globales es el principal obstáculo para la razonamiento composicional, no la falta de capacidad representacional de los modelos.
2. SGI (Inferencia Guiada por Estructura): Evidencia empírica de que forzar una alineación región-segmento en la inferencia, sin reentrenar el modelo, mejora drásticamente el rendimiento en tareas composicionales.
3. Aprendizaje de Alineación sobre Representaciones Congeladas: Propusieron un método eficiente que aprende a explotar la información granular ya existente en los modelos preentrenados, superando al fine-tuning completo en generalización fuera de dominio.
4. BISCOR-CTRL: Un nuevo dataset controlado diseñado específicamente para evaluar la robustez composicional bajo cambios de distribución, minimizando sesgos de lenguaje.

4. Resultados Principales

Los experimentos se realizaron en benchmarks in-domain (SUGARCREPE, BIVLC) y out-of-domain (BISCOR-CTRL).

• Diagnóstico (SGI): Al aplicar SGI a modelos congelados (CLIP, SigLIP 2, Perception Encoder), la puntuación de grupo en BISCOR-CTRL aumentó drásticamente (de ~1-9 puntos a ~25-56 puntos), demostrando que la información composicional ya estaba presente pero no se estaba utilizando correctamente.
• Comparación de Métodos:
  • Fine-tuning completo: Mejora el rendimiento in-domain (recuperación en datos similares a los de entrenamiento), pero no mejora significativamente la generalización out-of-domain (BISCOR-CTRL).
  • Transformador sobre embeddings globales: No logra mejoras significativas, indicando que añadir capacidad de modelo sobre vectores globales no es suficiente.
  • Alineación Local (TFLocal): El transformador ligero sobre patches y tokens congelados igualó o superó al fine-tuning completo en datos in-domain y obtuvo ganancias masivas en datos out-of-domain (ej. en CLIP, la puntuación en BISCOR-CTRL pasó de 1.4 a 15.1; en Perception Encoder, de 8.5 a 30.0).
• Comparación con Métodos End-to-End: Los métodos que modifican el entrenamiento para fomentar la composicionalidad (NegCLIP, TripletCLIP, etc.) mejoran ligeramente en benchmarks naturales, pero fallan en transferir ese conocimiento a BISCOR-CTRL, manteniéndose cerca del rendimiento del modelo base.

5. Significado e Impacto

Este trabajo cambia el paradigma sobre cómo evaluar y mejorar los VLMs:

1. Revisión de la Inferencia: Sugiere que la comunidad debe prestar más atención a los protocolos de inferencia que al simple aumento de la capacidad de entrenamiento. La forma en que se calcula la similitud es tan crítica como las representaciones aprendidas.
2. Eficiencia: Demuestra que es posible lograr una generalización composicional robusta sin el costo computacional masivo de reentrenar o fine-tunear completamente modelos grandes; basta con aprender a alinear las características existentes.
3. Robustez: La capacidad de generalizar a distribuciones desconocidas (OOD) es superior cuando se utiliza un mecanismo de alineación local, lo que es crucial para aplicaciones del mundo real donde las condiciones varían.

En conclusión, el artículo concluye que los fallos de composicionalidad en los VLMs de doble codificador se deben principalmente a la insuficiencia de los mecanismos de alineación en la fase de inferencia (el uso de similitud global) y no a una falta de capacidad representacional en los modelos preentrenados.