FIRE-CIR: Fine-grained Reasoning for Composed Fashion Image Retrieval

1. El Problema

La Búsqueda de Imágenes Compuestas (CIR, por sus siglas en inglés) tiene como objetivo recuperar una imagen objetivo que represente una imagen de referencia modificada por una descripción textual (ej. "esta camisa, pero con mangas más largas").

Aunque los modelos de visión-linguaje (VLM) recientes han logrado buenos resultados al proyectar imágenes y texto en un espacio de embeddings compartido, enfrentan dos limitaciones críticas en el dominio de la moda (que requiere gran detalle):

1. Cobertura incompleta: Dificultad para detectar y aprovechar todos los detalles intrincados del texto y la imagen.
2. Fusión subóptima: Los métodos actuales a menudo retienen información visual de la imagen de referencia que es incompatible con las restricciones del texto de modificación. Esto eleva la clasificación de resultados que solo son parcialmente relevantes.
3. Falta de interpretabilidad: Los métodos basados en similitud de embeddings funcionan como "cajas negras", sin explicar por qué una imagen fue seleccionada.
4. Problema de datos: Los enfoques de ajuste fino (fine-tuning) existentes en conjuntos de datos como Fashion IQ a menudo asumen erróneamente que solo hay una imagen relevante, ignorando que múltiples candidatos pueden cumplir la descripción (falsos negativos), lo que introduce ruido en el entrenamiento.

2. Metodología: FIRE-CIR

FIRE-CIR introduce un marco de razonamiento visual impulsado por preguntas para abordar estos desafíos. En lugar de depender únicamente de la similitud de embeddings, el modelo descompone el texto de modificación en un conjunto de preguntas visuales específicas y verifica la evidencia visual.

El proceso se divide en cuatro etapas principales:

• Generación de Preguntas Visuales (Visual Question Generation):

  • Un LLM (Large Language Model) convierte el texto de modificación en una lista de preguntas de tipo "sí/no" centradas en atributos.
  • Estas preguntas pueden ser monocamerales (solo sobre la imagen candidata) o duales (comparación entre la imagen de referencia y la candidata).
  • El sistema determina automáticamente si se necesita la imagen de referencia para responder (ej. para verificar si una manga es "más larga" que la original) y cuál es la respuesta esperada.

• Construcción del Dataset VQA (Visual Question Answering):

  • Para entrenar el sistema de razonamiento, los autores construyen automáticamente un dataset masivo y específico de moda.
  • Balanceo de datos: Se evita el sesgo de lenguaje (donde el modelo adivina "Sí" por defecto) equilibrando las respuestas "Sí" y "No" muestreando diferentes imágenes.
  • Annotación automática: Se utiliza un VLM grande (InternVL-3-78B) para anotar automáticamente las imágenes que no son el objetivo, creando un dataset de ~413k pares pregunta-imagen.
  • Entrenamiento: Se ajusta fino (fine-tuning) un modelo VLM (InternVL-3-1B) usando LoRA (Low-Rank Adaptation) sobre este dataset para aprender a razonar sobre moda y comparaciones de imágenes.

• Inferencia y Puntuación:

  • Para una consulta CIR, se generan las preguntas y el modelo VQA calcula la probabilidad de que la imagen candidata tenga la respuesta esperada para cada pregunta.
  • Se calcula una puntuación VQA promediando estas probabilidades. Esta puntuación mide la compatibilidad con el texto de modificación.
  • Fusión de Puntuaciones: La puntuación VQA se combina con la puntuación de un método CIR basado en similitud (ej. CLIP4CIR o FashionBLIP-2) mediante una función de fusión ponderada. Esto permite reordenar (re-rank) los resultados: penalizar imágenes incompatibles con el texto y promover las que cumplen los cambios, manteniendo la similitud visual general.

3. Contribuciones Clave

1. Enfoque de Razonamiento Impulsado por Preguntas: Un nuevo método que permite comparaciones finas y granulares entre la imagen de referencia y la candidata, mejorando la relevancia del análisis.
2. Dataset VQA Automatizado y Específico de Moda: Una estrategia de ajuste fino basada en un dataset generado automáticamente que incluye análisis de imágenes individuales y pares, mitigando el impacto de los falsos negativos y adaptando el razonamiento al dominio de la moda sin necesidad de anotaciones manuales detalladas.
3. Método Modular (Plug-in): FIRE-CIR se integra como un módulo de reordenamiento en cualquier modelo CIR existente, mejorando su rendimiento de recuperación sin necesidad de reentrenar el modelo base completo.

4. Resultados Experimentales

Los experimentos se realizaron en el benchmark Fashion IQ (y sus variantes refinadas: Refined-FashionIQ y enhFashionIQ).

• Rendimiento General: FIRE-CIR supera a los métodos del estado del arte (SOTA) en precisión de recuperación. Al combinarse con FashionBLIP-2, mejora el Recall@10 promedio en un 2.43% y el Recall promedio en un 1.83%, superando a métodos como DetailFusion.
• Mejora de Modelos Existentes: Al aplicarse sobre modelos base como CLIP4CIR y SPRC, FIRE-CIR mejora consistentemente tanto el Recall como el MRR (Mean Reciprocal Rank) en todas las categorías de ropa (vestidos, camisas, tops).
• Análisis de Ablación: Se demostró que cada componente (generación de múltiples preguntas, ajuste fino del modelo VQA y fusión de puntuaciones) contribuye positivamente al rendimiento final.
• Eficiencia: El modelo utiliza un backbone de 1B de parámetros (InternVL-3-1B), que es aproximadamente 3 veces más rápido en inferencia que modelos más grandes (como LLaVA-13B) utilizados en trabajos previos, manteniendo un alto rendimiento tras el ajuste fino.
• Interpretabilidad: El sistema proporciona trazas de razonamiento explicables (qué preguntas se hicieron y cómo se respondieron), permitiendo entender por qué una imagen fue clasificada alta o baja.

5. Significado e Impacto

FIRE-CIR representa un avance significativo en la búsqueda de imágenes compuestas en el dominio de la moda al pasar de una aproximación basada puramente en similitud estadística a una basada en razonamiento lógico y verificable.

• Interpretabilidad: Resuelve el problema de la "caja negra" al ofrecer insights a nivel de atributos sobre las decisiones de recuperación.
• Robustez: Al utilizar un dataset equilibrado y generado automáticamente, el modelo es más robusto ante el ruido en los datos de entrenamiento y capaz de manejar múltiples imágenes relevantes para una misma consulta.
• Aplicabilidad Práctica: Su diseño modular permite integrarlo en sistemas de comercio electrónico existentes para refinar los resultados de búsqueda, mejorando la experiencia del usuario al encontrar productos que cumplen exactamente con las modificaciones deseadas (ej. cambiar color, largo o estilo) sin perder la esencia del producto original.

En resumen, FIRE-CIR establece un nuevo estándar en CIR para moda, combinando la eficiencia de los modelos ligeros con la capacidad de razonamiento granular necesaria para tareas de alta precisión.