Never Seen Before: Benchmarking Genuine Zero-Shot Composed Image Retrieval with Consistent Video-Sourced Datasets

Resumen Técnico: ZeroSight y SC4CIR

Planteamiento del Problema
La Recuperación de Imágenes Compuestas de Cero Disparos (Zero-Shot Composed Image Retrieval o ZS-CIR) tiene como objetivo recuperar una imagen objetivo basada en una consulta que consiste en una imagen de referencia y un pie de foto relativo, sin depender de muestras de entrenamiento específicas para la tarea. Los autores identifican dos fallos críticos en los benchmarks actuales de ZS-CIR (por ejemplo, CIRR, CIRCO, FashionIQ):

1. Inconsistencia: Los conjuntos de datos existentes suelen sufrir de inconsistencias visuales y semánticas entre las imágenes de referencia y las de destino. Debido a que estos conjuntos de datos se construyen a partir de colecciones de imágenes ruidosas, de origen crowdsourced o abstractas (como NLVR2 o MS COCO), las imágenes de referencia y destino pueden compartir solo conceptos abstractos (por ejemplo, "una corbata") mientras difieren significativamente en su contenido visual, lo que hace que la tarea de recuperación sea resoluble mediante técnicas estándar de texto a imagen en lugar de una verdadera recuperación compuesta.
2. Escenarios de Cero Disparos Espurios: La mayoría de los conjuntos de datos existentes utilizan fuentes de imágenes públicas (por ejemplo, MS COCO) que formaron parte de los datos de preentrenamiento para los Modelos de Lenguaje-Visión (VLM) dominantes como CLIP. En consecuencia, los modelos no son verdaderamente de "cero disparos" (zero-shot), sino que están aprovechando asociaciones memorizadas, lo que infla las métricas de rendimiento y exagera las capacidades de los métodos actuales.

Metodología
Para abordar estos desafíos, el artículo introduce ZeroSight, un nuevo benchmark, y SC4CIR, un método de recuperación sin entrenamiento.

• Construcción del Conjunto de Datos ZeroSight:

  • Fuente: A diferencia de trabajos anteriores, ZeroSight extrae fotogramas de videos publicados después del 31 de marzo de 2022 (posterior al lanzamiento de LAION-2B), asegurando que los datos no fueron incluidos en el preentrenamiento de CLIP.
  • Consistencia: Al extraer fotogramas de un mismo video, los autores garantizan que los pares de referencia-destino sean visual y semánticamente consistentes, diferenciándose únicamente por las modificaciones específicas descritas por el pie de foto.
  • Pipeline: Un pipeline de múltiples etapas asistido por LLM (utilizando modelos como GPT-4o) construye el conjunto de datos. Implica:
    1. Seleccionar imágenes de referencia no redundantes de subconjuntos de videos.
    2. Filtrar imágenes candidatas de destino basadas en umbrales de similitud visual y semántica (usando ViT y CLIP).
    3. Generar pies de foto relativos que describan la transformación de la referencia al destino.
  • Escala y Estructura: El conjunto de datos comprende 12,048 videos diversos, lo que resulta en un pool de recuperación de 197,313 imágenes y 54,740 consultas. Únicamente, incluye múltiples objetivos positivos de verdad fundamental (ground-truth) y objetivos negativos difíciles (imágenes similares al objetivo pero que fallan en el criterio del pie de foto) para cada consulta.
  • Categorías de Consulta: Las consultas se clasifican en seis categorías para probar capacidades de recuperación específicas: Adición, Sustracción, Cambio de Fondo, Cambio de Punto de Vista, Cambio de Atributo y Declaración Relativa.

• SC4CIR (Consistencia Simétrica para CIR):

  • Concepto: Un método sin entrenamiento, plug-and-play, impulsado por Modelos de Lenguaje de Gran Escala Multimodales (MLLM) para identificar y penalizar los objetivos "negativos difíciles" que son visualmente similares a la verdad fundamental pero semánticamente incorrectos.
  • Mecanismo: Emplea tres verificaciones de consistencia simétrica:
    1. Recuperación hacia adelante: $I_r + T \rightarrow I_t$ (Recuperación estándar).
    2. Proceso inverso 1: $I_t - T \rightarrow I_r$ (Genera una instrucción inversa $T'$ para transformar el candidato de vuelta a la referencia).
    3. Proceso inverso 2: $I_t - I_r \rightarrow T$ (Genera una descripción de la diferencia entre el candidato y la referencia para compararla con el pie de foto original $T$).
  • Reclasificación (Re-ranking): La puntuación final combina la similitud hacia adelante con las dos puntuaciones de consistencia inversa ($S = S_1 + S_2 + S_3$), reclasificando los resultados para suprimir los negativos difíciles.

Contribuciones Clave

1. Benchmark ZeroSight: El primer conjunto de datos de ZS-CIR que garantiza condiciones de cero disparos reales (sin solapamiento de preentrenamiento de CLIP) y una alta consistencia visual/semántica mediante datos de origen de video. Es el primero en incluir múltiples verdades fundamentales y objetivos negativos difíciles.
2. Método SC4CIR: Un enfoque novedoso, sin entrenamiento y dirigido por MLLM que mejora el rendimiento de la recuperación mediante la verificación de la consistencia simétrica, filtrando eficazmente los negativos difíciles sin requerir el reentrenamiento del modelo.
3. Nueva Métrica (PNR-mAP): Los autores proponen el mAP de Clasificación Positivo-Negativo (Positive-Negative Ranking mAP), que tiene en cuenta la clasificación de los objetivos negativos en relación con los positivos, abordando la limitación del mAP estándar que ignora la presencia de negativos difíciles.
4. Evaluación Exhaustiva: El artículo evalúa 27 métodos de última generación, revelando que los benchmarks actuales producen resultados inflados.

Resultados Experimentales

• Rendimiento del Benchmark: Los experimentos en ZeroSight muestran que los métodos actuales de ZS-CIR funcionan significativamente peor que en los conjuntos de datos existentes (por ejemplo, CIRCO), confirmando la dificultad y validez del nuevo benchmark. Por ejemplo, el mAP@5 de SEIZE cayó de 32.46 en CIRCO a 16.63 en ZeroSight.
• Discrepancia de Métricas: El mAP promedio a través de los métodos en ZeroSight fue un 22.93% mayor que el PNR-mAP, demostrando que las métricas estándar inflan el rendimiento al ignorar la clasificación de los negativos difíciles.
• Eficacia de SC4CIR: La integración de SC4CIR mejoró significativamente el rendimiento en todos los métodos probados. Para los métodos sin entrenamiento, el PNR-mAP promedio mejoró un 25.66%. El método es particularmente efectivo para los enfoques de ZS-CIR basados en LLM, mejorando su rendimiento en un 9.12%.
• Generalizabilidad: SC4CIR también demostró robustez cuando se aplicó a conjuntos de datos ruidosos existentes (CIRCO, CIRR, FashionIQ), superando consistentemente a las líneas base e incluso ayudando a los métodos de cero disparos a acercarse al rendimiento de los métodos de CIR entrenados en FashionIQ.

Significado
El artículo argumenta que la investigación actual de ZS-CIR se ve obstaculizada por conjuntos de datos que no reflejan escenarios de cero disparos reales y carecen de consistencia visual, lo que lleva a una sobreestimación de las capacidades de los modelos. ZeroSight establece un nuevo estándar para evaluar los métodos de CIR al imponer una estricta consistencia de datos y condiciones de cero disparos reales. La introducción de SC4CIR demuestra que aprovechar el razonamiento de MLLM para las verificaciones de consistencia puede mejorar significativamente la precisión de la recuperación sin entrenamiento adicional. Los autores concluyen que su benchmark y su método proporcionan un marco más fiable para desarrollar sistemas de recuperación de imágenes compuestas generalizables y robustos, particularmente para aplicaciones que requieren alta precisión donde las diferencias visuales sutiles son cruciales.