DQE-CIR: Distinctive Query Embeddings through Learnable Attribute Weights and Target Relative Negative Sampling in Composed Image Retrieval

El artículo propone DQE-CIR, un método para la recuperación de imágenes compuestas que mejora la discriminatividad de las consultas mediante la ponderación aprendible de atributos visuales y un muestreo de negativos relativo al objetivo que evita la supresión de relevancia y la confusión semántica.

Lo esencial

¡Hola! Imagina que tienes un asistente de compras muy inteligente, pero a veces se confunde.

Hasta ahora, si le decías: "Muestra una foto de este vestido rosa, pero hazlo azul y con mangas cortas", el asistente a menudo te traía cosas que solo eran azules, o solo tenían mangas cortas, pero no ambas cosas a la vez. O peor aún, te traía un vestido azul perfecto, pero que era de un estilo totalmente diferente al que querías.

Los investigadores de este paper (Geon Park y su equipo) han creado un nuevo sistema llamado DQE-CIR para arreglar este problema. Vamos a explicarlo con una analogía sencilla:

1. El Problema: El "Ruido" en la Búsqueda

Imagina que estás en una gran fiesta (la base de datos de imágenes) buscando a alguien específico.

• El método antiguo: El sistema gritaba: "¡Busca a Juan!". Si alguien se parecía un poco a Juan (pero no era él), el sistema lo empujaba lejos porque "no era Juan". Pero a veces, empujaba a alguien que casi era Juan (un primo gemelo) porque el sistema era demasiado estricto. Además, si alguien se parecía a Juan pero tenía una camisa roja en lugar de azul, el sistema lo confundía con Juan.
• El resultado: El sistema perdía a los candidatos perfectos y se confundía con los que solo se parecían un poco.

2. La Solución: DQE-CIR (El Detective de Detalles)

Este nuevo sistema funciona como un detective muy detallista que tiene dos superpoderes:

A. Los "Gafas de Ajuste Sintonizable" (Pesos de Atributos Aprendibles)

Imagina que la descripción que le das al sistema ("azul y mangas cortas") es una receta.

• Antes: El sistema mezclaba todos los ingredientes por igual. A veces, el "azul" era tan fuerte que ignoraba las "mangas cortas".
• Ahora (DQE-CIR): El sistema tiene unas gafas inteligentes que le permiten decir: "¡Oye, en esta búsqueda, el color azul es el 70% importante y las mangas cortas el 30%!".
  • Aprende a darle más peso a lo que realmente importa en tu frase. Si dices "un perro rojo", el sistema pone un foco de luz gigante en el color rojo y un foco pequeño en la raza del perro. Esto evita que se confunda con un perro de la misma raza pero de otro color.

B. El "Entrenador de Negativos Inteligente" (Muestreo Relativo de Negativos)

Aquí viene la parte más creativa. Imagina que el sistema está aprendiendo a distinguir a Juan de los demás.

• El error antiguo: El sistema entrenaba comparando a Juan con dos tipos de personas:
  1. El "Tonto": Alguien que se parece a un árbol (demasiado fácil de descartar).
  2. El "Gemelo Malvado": Alguien que es tan parecido a Juan que en realidad debería ser considerado una opción válida, pero el sistema lo trataba como un error.
• La nueva estrategia (DQE-CIR): El sistema es más inteligente. Dice: "No me enseñes con el árbol (es aburrido) y no me enseñes con el gemelo malvado (es confuso). ¡Enséñame con el candidato de la zona media!".
  • Busca a alguien que se parezca a Juan, pero que tenga un detalle clave que lo diferencie (ej. Juan lleva sombrero, este candidato no).
  • Al entrenar solo con estos "candidatos de la zona media", el sistema aprende a hacer distinciones finas. Aprende exactamente qué hace que una foto sea la correcta y no la otra, sin confundirse.

3. El Resultado: ¿Qué gana el usuario?

Gracias a estas dos mejoras, cuando le pides al sistema: "Quiero esa camiseta, pero en verde y con un logo de gato", el sistema:

1. Entiende mejor tu intención: Sabe que el "verde" y el "gato" son lo más importante ahora mismo.
2. No se confunde: No te trae una camiseta verde sin gato, ni una con gato pero de otro color.
3. Encuentra lo que buscas: Incluso si hay mil fotos de camisetas verdes, encuentra la que tiene exactamente el gato que pediste.

En resumen

El paper presenta un sistema que deja de tratar todas las fotos "incorrectas" como basura. En su lugar, aprende a elegir las fotos "casi correctas" para entrenarse mejor y sabe exactamente qué palabras de tu descripción son las más importantes para filtrar el ruido.

Es como pasar de tener un buscador que dice "busca algo parecido" a tener un modista personal que entiende exactamente qué cambios quieres hacer en tu ropa y te trae la prenda perfecta, sin errores. ¡Y lo mejor es que funciona muy bien tanto en ropa (como en tiendas de moda) como en fotos de paisajes o animales!

Resumen técnico

Resumen Técnico: DQE-CIR

1. Planteamiento del Problema

La Búsqueda de Imágenes Compuestas (CIR, por sus siglas en inglés) tiene como objetivo recuperar una imagen objetivo a partir de una consulta compuesta por una imagen de referencia y un texto de modificación que especifica el cambio deseado (ej. "cambiar el color a azul y añadir mangas largas").

El artículo identifica dos limitaciones críticas en los métodos existentes basados en aprendizaje contrastivo:

1. Supresión de Relevancia: Los métodos actuales tratan a todas las imágenes que no son la "verdad absoluta" (ground truth) como negativas. Esto penaliza incorrectamente imágenes que son semánticamente relevantes (comparten atributos clave con el objetivo) pero no son la coincidencia exacta, empujándolas hacia regiones de baja similitud en el espacio de embeddings.
2. Confusión Semántica: Las representaciones de diferentes intenciones de modificación tienden a colapsar en regiones superpuestas del espacio de embeddings. Esto dificulta distinguir cambios sutiles (como el color o la longitud de la manga), reduciendo la capacidad discriminatoria del modelo en modificaciones de grano fino.

2. Metodología Propuesta: DQE-CIR

Los autores proponen DQE-CIR (Distinctive Query Embeddings), un marco diseñado para generar representaciones de consulta más distintivas y sensibles a los atributos. La arquitectura se basa en BLIP-2 y se compone de tres pilares fundamentales:

• A. Pesos de Atributos Aprendibles (Learnable Attribute Weights):

  • El modelo utiliza un mecanismo de ponderación dinámica para enfatizar características visuales específicas (como color y forma) condicionadas al texto de modificación.
  • Se extraen sub-consultas específicas para atributos ($q_{color}$, $q_{shape}$) de la salida del Q-Former.
  • La representación final de la consulta ($q^*$) se calcula como:
    $$q^* = q + w_{color} \cdot q_{color} + w_{shape} \cdot q_{shape}$$
    Donde $w_{color}$ y $w_{shape}$ son pesos escalares aprendibles que ajustan la importancia de cada atributo, permitiendo una alineación más precisa entre el lenguaje y la visión.

• B. Muestreo de Negativos Relativos al Objetivo (Target Relative Negative Sampling - TRNS):

  • En lugar de usar todos los no-objetivos como negativos, el método calcula un puntuación $\Delta$ ($\Delta S_j = S_{tar} - S_j$) que mide la brecha de similitud entre la imagen objetivo y cada candidato.
  • Se define una "zona media" (mid-zone) basada en un rango de puntuaciones $\Delta$ ($\alpha \le \Delta S_j \le \beta$).
  • Esta estrategia excluye:
    • Negativos fáciles: Imágenes muy diferentes (gran $\Delta S$).
    • Falsos negativos: Imágenes semánticamente relevantes pero no objetivo (bajo $\Delta S$, cercanas a cero).
  • Se selecciona un único negativo informativo de esta zona media para el entrenamiento, enfocándose en muestras que ofrecen una supervisión semántica desafiante pero correcta.

• C. Aprendizaje de Emparejamiento Pareado (Pairwise Learning):

  • Se utiliza un objetivo de aprendizaje que compara la imagen objetivo contra un único negativo seleccionado (de la zona media) en lugar de múltiples negativos simultáneamente.
  • La función de pérdida combina:
    1. Pérdida de Divergencia KL: Para alinear la distribución de probabilidad de la consulta con la imagen objetivo.
    2. Pérdida de Margen de Emparejamiento (Ranking Margin): Para asegurar que la similitud con el objetivo sea mayor que con el negativo seleccionado por un margen $m$.
    3. Pérdidas Auxiliares de Atributos: Margenes específicos para las sub-consultas de color y forma.

3. Contribuciones Clave

1. Marco DQE-CIR: Un nuevo enfoque que construye embeddings de consulta distintivos y sensibles a atributos mediante pesos aprendibles y consultas auxiliares.
2. Estrategia TRNS: Una novedosa estrategia de selección de negativos que identifica una "zona media" relativa al objetivo, eliminando la supresión de relevancia y el muestreo de negativos demasiado fáciles.
3. Validación Empírica: Demostración de que el modelado de negativos relativos y el aprendizaje de emparejamiento son cruciales para la CIR robusta, superando a los métodos basados en contraste tradicional.

4. Resultados Experimentales

El método fue evaluado en los benchmarks estándar FashionIQ y CIRR, así como en CIRCO para evaluación zero-shot.

• Rendimiento en FashionIQ: DQE-CIR superó consistentemente a los métodos más avanzados (como QuRe, SPRC y CoVR).
  • Logró un Recall@10 promedio de 54.60 y Recall@50 de 75.94, mejorando aproximadamente 2.0-2.5 puntos sobre el estado del arte anterior.
  • Las mejoras fueron consistentes en todas las categorías de ropa (Vestidos, Camisas, Toptees).
• Rendimiento en CIRR:
  • Alcanzó el mejor rendimiento en precisión global y discriminación a nivel de subconjunto.
  • Obtuvo un Recall@1 de 54.05 y un Recallsubset@1 de 80.14, superando a QuRe en métricas globales y de subconjunto.
  • El puntaje promedio general fue de 82.16.
• Rendimiento Zero-Shot (CIRCO):
  • Sin entrenamiento específico en el dataset, DQE-CIR obtuvo el mAP@50 más alto (28.13), demostrando una mejor generalización y capacidad de alineación de características de grano fino.
• Análisis Cualitativo:
  • Las visualizaciones de atención cruzada muestran que el modelo se enfoca correctamente en regiones específicas (ej. mangas, patrones de gatos) en lugar de características visuales difusas.
  • En casos de cambios sutiles (color, cantidad, apariencia), DQE-CIR recupera imágenes que cumplen estrictamente con todas las modificaciones, mientras que los baselines a menudo fallan en combinar múltiples atributos.

5. Significado e Impacto

El trabajo de DQE-CIR es significativo porque aborda directamente las fallas fundamentales de los paradigmas de aprendizaje contrastivo en la recuperación de imágenes compuestas.

• Resolución de la Ambigüedad: Al eliminar la supresión de relevancia, el modelo entiende que existen múltiples respuestas válidas y semánticamente cercanas, mejorando la satisfacción del usuario en escenarios del mundo real.
• Precisión de Grano Fino: La capacidad de distinguir cambios sutiles (como "manga corta" vs. "manga larga" en una camiseta idéntica) es crucial para aplicaciones como la búsqueda de moda y la recomendación de productos.
• Eficiencia de Entrenamiento: La estrategia de muestreo de negativos de zona media y el aprendizaje de pares simplificados permiten un entrenamiento más estable y enfocado, reduciendo el ruido en la señal de aprendizaje.

En conclusión, DQE-CIR establece un nuevo estado del arte en la recuperación de imágenes compuestas, ofreciendo una solución unificada que mejora tanto la precisión general como la alineación semántica fina mediante un diseño de embeddings más distintivo y una estrategia de muestreo de negativos más inteligente.