Geometry-Aware CLIP Retrieval via Local Cross-Modal Alignment and Steering

Resumen Técnico: Recuperación CLIP Consciente de la Geometría

1. El Problema

La recuperación de imágenes basada en texto (como la realizada por CLIP) se formula tradicionalmente como un problema de similitud puntual en un espacio de incrustaciones compartido. Aunque CLIP logra una alineación global robusta entre imagen y texto, falla sistemáticamente en tareas que requieren distinciones finas y composicionales.

• Inconsistencias Geométricas Locales: Los fallos de recuperación a menudo no se deben a la ausencia del elemento correcto, sino a un mal ordenamiento local. Elementos cercanos en el espacio de incrustaciones (vecinos) se ordenan incorrectamente, lo que lleva a confusiones sistemáticas (ej. confundir un pentágono con un hexágono).
• Colapso Estructural: Los modelos dual-encoder estándar colapsan toda la información de una imagen (múltiples objetos y sus relaciones espaciales) en un único vector global. Esto destruye la estructura interna necesaria para distinguir composiciones complejas (ej. "un perro junto a una bicicleta" vs. "una bicicleta junto a un perro").
• Limitaciones de los Métodos Actuales: Las soluciones existentes se centran en ajustar la alineación global o en re-entrenar el modelo, lo que a menudo distorsiona la estructura semántica fina o requiere grandes costos computacionales.

2. Metodología Propuesta

Los autores proponen tratar la recuperación como un problema de alineación de vecindarios locales en lugar de similitud puntual. Su enfoque se basa en dos pilares principales que operan en la fase de inferencia sin necesidad de re-entrenamiento:

A. Reordenamiento (Reranking) Estructurado mediante FGW
En lugar de usar solo la similitud coseno, el método propone un proceso de dos etapas:

1. Descomposición por Objeto: En lugar de tratar la consulta y la imagen como vectores únicos, se descomponen en conjuntos de incrustaciones por objeto (derivadas de anotaciones de escenas o texto).
2. Transporte Óptimo Fused Gromov-Wasserstein (FGW): Se utiliza FGW para reordenar los candidatos. Esta métrica compara la consulta y la imagen como conjuntos estructurados de objetos, optimizando dos ejes simultáneamente:
   • Alineación de Características: ¿Son similares los objetos individuales? (Costo de transporte).
   • Alineación Estructural: ¿Mantiene la imagen la misma geometría relacional entre sus objetos que la consulta? (Distancia de Gromov-Wasserstein).
   • Ventaja: A diferencia de la asignación dura (Húngaro), FGW permite asignaciones "suaves" (fraccionarias), lo que permite generar puntuaciones continuas y diferenciadas para todo el vecindario de recuperación (top-k), no solo para el primer lugar.

B. Dirección Local (Steering) Condicionada a la Consulta

• Se derivan direcciones de conceptos locales a partir de vecindarios contrastivos alrededor de la consulta.
• Estas direcciones se utilizan para "dirigir" (steer) las incrustaciones de texto hacia atributos deseados y alejarlas de los no deseados.
• Esto permite un control fino sobre los atributos recuperados (ej. cambiar "botella caída" por "botella erguida") sin alterar la estructura global del modelo.

3. Contribuciones Clave

1. Reordenamiento como Alineación de Vecindarios: Se demuestra que muchos fallos de recuperación de alta precisión surgen de vecindarios locales mal ordenados. Se introduce un procedimiento de reordenamiento basado en transporte óptimo que restaura la consistencia estructural.
2. Control de Atributos mediante Dirección: Se muestra que las direcciones de conceptos derivadas localmente pueden remodelar el vecindario de recuperación para corregir atributos específicos, mejorando la atribución de conceptos sin re-entrenamiento.
3. Evaluación Exhaustiva: Se evalúa en benchmarks sintéticos (Shapes, CLEVR-HOPE) y reales (Urban1K, Visual Genome, SugarCrepe), demostrando mejoras significativas en tareas de recuperación composicional y de unión de atributos.

4. Resultados Principales

Los experimentos muestran mejoras drásticas en comparación con la línea base de CLIP (similitud coseno) y métodos de reordenamiento simples:

• Recuperación Composicional (CLEVR-HOPE):
  • La recuperación base de CLIP tiene un R@1 de 0.050.
  • El reordenamiento con FGW eleva el R@1 a 0.682 (un aumento masivo).
  • La dirección de múltiples objetos de forma ingenua (fusionar vectores) empeora el rendimiento, confirmando que la estructura debe preservarse, no colapsarse.
• Recuperación de Imágenes Reales (Urban1K):
  • El R@1 mejora de 42.8 (CLIP base) a 78.4 con reordenamiento local (Húngaro) y 56.3 con FGW (aunque FGW muestra mejores ganancias en métricas de ranking global como nDCG y R@10).
• Precisión en la Unión de Atributos (Visual Genome):
  • El FGW mejora el R@1 de 0.091 a 0.725.
  • Se observa que el FGW es superior en métricas de CAS-noun (Concept Attribution Score a nivel de sustantivo), lo que indica una mejor preservación de la unión objeto-atributo en comparación con métodos que solo buscan cobertura de atributos agregados.
• Análisis de Fallos: Se identifica que las confusiones entre formas geométricas similares (pentágono vs. hexágono) son el modo de fallo dominante en CLIP, y que el reordenamiento estructural corrige eficazmente estas confusiones al considerar la geometría relativa de los objetos.

5. Significado e Impacto

Este trabajo cambia el paradigma de la recuperación de imágenes de una búsqueda puramente basada en similitud global a una alineación geométrica local.

• Inferencia sin Re-entrenamiento: La mayor ventaja es que estas técnicas mejoran drásticamente el rendimiento de modelos existentes (como CLIP) simplemente modificando la fase de inferencia (reordenamiento y dirección), sin necesidad de costosos procesos de ajuste fino (fine-tuning).
• Importancia de la Estructura Local: Demuestra que la calidad de la recuperación y su controlabilidad dependen críticamente de la estructura local del vecindario, la cual es más estable y semánticamente significativa que las distancias globales.
• Aplicabilidad: El enfoque es especialmente crucial para sistemas del mundo real (comercio electrónico, búsqueda de video, agricultura) donde las distinciones finas y las relaciones espaciales entre objetos son determinantes para la relevancia de la búsqueda.

En conclusión, el papel argumenta que para lograr una recuperación composicional robusta, no basta con mejorar la alineación global; es necesario preservar y alinear explícitamente la geometría de los vecindarios locales de los objetos dentro de la imagen y la consulta.