CLIP Is Shortsighted: Paying Attention Beyond the First Sentence

1. El Problema: El Sesgo de "Miopía" en CLIP

Aunque los modelos CLIP (Contrastive Language-Image Pre-training) son fundamentales para tareas de visión y lenguaje, presentan limitaciones significativas al procesar textos largos:

• Sesgo hacia tokens tempranos: Los modelos CLIP preentrenados están dominados por datos de internet con subtítulos cortos. Esto crea un sesgo donde el modelo presta atención desproporcionada a los primeros tokens del texto y descuida la información que aparece más adelante en la secuencia.
• Dependencia de la oración de resumen: En los conjuntos de datos de subtítulos largos (tanto generados por humanos como por LLMs), es común que la primera oración sea un resumen global del contenido, seguido de detalles finos. El modelo aprende a usar esta primera oración como un "atajo" para minimizar la pérdida de contraste, sin necesidad de procesar el resto del texto.
• Fragilidad ante permutaciones: Los modelos actuales (incluyendo Long-CLIP, que intenta extender la ventana de contexto) sufren caídas drásticas de rendimiento cuando se cambia el orden de las oraciones (por ejemplo, mover la oración de resumen a una posición tardía) o cuando se elimina dicha oración. Esto demuestra que no están aprendiendo a alinear la imagen con la descripción completa, sino solo con el inicio del texto.
• Limitación de contexto: El límite original de 77 tokens de CLIP es insuficiente para párrafos largos, y las soluciones existentes a menudo no resuelven el problema de la atención desigual a lo largo de la secuencia.

2. Metodología: DeBias-CLIP

Los autores proponen DeBias-CLIP, una estrategia de aumento de datos a nivel de subtítulo diseñada para mitigar este sesgo sin introducir nuevos parámetros entrenables ni arquitecturas complejas. El método sigue el marco de Long-CLIP (extensión de embeddings posicionales) pero modifica radicalmente cómo se muestrean los textos durante el entrenamiento:

1. Eliminación de la oración de resumen: En lugar de usar la primera oración (el resumen) como el subtítulo corto para el entrenamiento, el método la elimina. El subtítulo corto se construye a partir de las oraciones restantes ($s_2, ..., s_k$). Esto fuerza al modelo a aprender a alinear la imagen con los detalles finos que aparecen más tarde en el texto.
2. Muestreo aleatorio de oraciones (Sentence Sub-sampling): De las oraciones restantes, se selecciona un subconjunto aleatorio de oraciones (sin reemplazo) para formar el subtítulo corto de entrenamiento. Esto introduce variabilidad y evita que el modelo se acostumbre a una estructura fija.
3. Relleno (Padding) de tokens: Se añaden tokens de relleno (padding) al principio de la secuencia tokenizada del subtítulo corto (después del token de inicio de texto, SOT). Esto desplaza los tokens de contenido a posiciones posicionales más profundas, asegurando que los embeddings posicionales de las regiones medias y tardías del texto reciban supervisión durante el entrenamiento.

Funcionamiento del entrenamiento:
El modelo entrena simultáneamente con dos pérdidas de contraste:

• Una pérdida con el subtítulo largo completo ($C^\ell$).
• Una pérdida con el subtítulo corto muestreado y rellenado ($C^s$), que carece del resumen y tiene tokens desplazados.
  La pérdida total es una suma ponderada de ambas, permitiendo mantener el rendimiento en textos cortos mientras se mejora la comprensión de textos largos.

3. Contribuciones Clave

• Identificación empírica del sesgo: Demostraron que tanto los modelos CLIP originales como los ajustados con Long-CLIP tienen un sesgo sistemático hacia los tokens iniciales y las oraciones de resumen, lo que degrada el rendimiento cuando la información relevante se mueve en la secuencia.
• Estrategia de aumento simple y eficiente: Propusieron una técnica de "reemplazo directo" (drop-in replacement) que no requiere parámetros adicionales, ni etapas de entrenamiento complejas (como distilación maestro-alumno), ni arquitecturas de doble encoder modificadas.
• Mejora de la robustez: El método logra que el modelo sea menos sensible al orden de las oraciones y capaz de recuperar imágenes incluso si falta la oración de resumen inicial.
• Rendimiento State-of-the-Art: Lograron el mejor rendimiento en múltiples benchmarks de recuperación de texto largo, superando a métodos anteriores como Long-CLIP, SmartCLIP y FineLIP.

4. Resultados Experimentales

Los experimentos se realizaron en conjuntos de datos de recuperación de texto corto (COCO, Flickr30k) y largo (Urban1k, DCI, DOCCI), utilizando diferentes arquitecturas base (ViT-B/16 y ViT-L/14) y preentrenamientos (OpenAI CLIP, OpenCLIP, SigLIP).

• Recuperación de Texto Largo:

  • En el conjunto de datos Urban1k, DeBias-CLIP superó a SmartCLIP en un +5.6% (ViT-B) y +5.1% (ViT-L) en la tarea de texto-a-imagen (T2I).
  • En DOCCI, superó consistentemente a los baselines, alcanzando un 80.0% en T2I (ViT-B) frente al 78.0% de SmartCLIP.
  • El método mostró mejoras de más del 10% en la mayoría de las tareas de recuperación larga en comparación con Long-CLIP original.

• Recuperación de Texto Corto:

  • Contrario a la intuición, el método también mejoró el rendimiento en textos cortos (COCO y Flickr30k) en comparación con Long-CLIP, aunque hubo ligeras compensaciones en comparación con SmartCLIP en algunos casos específicos de COCO.

• Robustez y Análisis de Atención:

  • Permutación de oraciones: Al intercambiar la primera y la cuarta oración, Long-CLIP sufrió una caída del -9.7%, mientras que DeBias-CLIP solo cayó un -3.5%.
  • Eliminación del resumen: Al quitar la primera oración, Long-CLIP cayó un -17.1%, mientras que DeBias-CLIP solo -12.1%.
  • Atención: Los mapas de atención mostraron que DeBias-CLIP mantiene una atención más uniforme a lo largo de todos los tokens, evitando el decaimiento rápido que observan los modelos base en tokens tardíos.

• Generación de Imágenes:

  • Al integrar DeBias-CLIP en Stable Diffusion (SDXL), se observó una mejor capacidad para capturar detalles finos que aparecen al final de los prompts (ej. colores específicos, objetos secundarios), reduciendo errores de localización y atributos en comparación con CLIP estándar.

5. Significado e Impacto

Este trabajo es significativo porque:

1. Desafía la suposición de que "más datos largos" son suficientes: Demuestra que simplemente extender la ventana de contexto no funciona si el modelo sigue dependiendo de "atajos" estructurales en los datos (como el resumen inicial).
2. Solución eficiente: Ofrece una solución de alto impacto con un costo computacional y de parámetros mínimo, lo que la hace altamente adoptable para la comunidad de investigación.
3. Mejora la comprensión del contexto: Al forzar al modelo a prestar atención a la información distribuida a lo largo de todo el texto, se mejora la alineación real entre imágenes complejas y descripciones densas, lo cual es crucial para aplicaciones avanzadas como la recuperación de documentos, la generación de imágenes detallada y los modelos de lenguaje visuales (VLMs).
4. Revela limitaciones en los benchmarks: Señala que muchos benchmarks actuales tienen una estructura de "resumen primero" que enmascara estos sesgos, sugiriendo la necesidad de nuevas evaluaciones que reflejen mejor la recuperación de contexto largo en el mundo real (como páginas de libros o informes).

En resumen, DeBias-CLIP corrige la "miopía" de los modelos de visión y lenguaje actuales, enseñándoles a leer y entender la totalidad de una descripción, no solo su introducción.