FlowCIR: Semantic Transport via Flow Matching for Zero-Shot Composed Image Retrieval

Resumen Técnico: FlowCIR

Planteamiento del Problema
La Recuperación de Imágenes Compuesta de Cero Disparos (Zero-Shot Composed Image Retrieval o ZS-CIR) tiene como objetivo recuperar una imagen objetivo editando una imagen de referencia basándose en una instrucción de lenguaje natural, sin depender de tripletos anotados específicos del dominio. Los métodos actuales de ZS-CIR dependen predominantemente de la inversión textual (textual inversion), que traduce la imagen de referencia en un pequeño conjunto de tokens de texto pseudo y los concatena con la instrucción en el espacio de embedding de texto. Los autores argumentan que este enfoque es pérdida y frágil para la semántica fina, ya que comprimir una imagen rica en unos pocos tokens conlleva inevitablemente a descartar pistas visuales. Además, el aprendizaje de proyectores de inversión efectivos suele requerir recursos computacionales sustanciales (por ejemplo, entrenamiento con múltiples GPUs en datos a escala web). Adicionalmente, los Modelos de Lenguaje-Visión (VLMs) como CLIP tienen dificultades con la negación (por ejemplo, "sin perro" o "eliminar rayas"), lo que a menudo causa que los conceptos afirmativos y negados colapsen geométricamente en el espacio de embedding, provocando fallos en la recuperación ante consultas con mucha negación.

Metodología: FlowCIR
El artículo propone FlowCIR, un nuevo paradigma que redefine el ZS-CIR como un transporte semántico condicional dentro del espacio de embedding de los VLMs preentrenados.

1. Transporte Semántico Condicional mediante Flow Matching:
   En lugar de la manipulación estática de tokens, FlowCIR trata la composición como un problema de transporte continuo. Aprende un campo de velocidad condicional ligero (una ODE neuronal) que mapea el embedding de la instrucción relativa ($x_{Tr}$) hacia un embedding de texto alineado con el objetivo ($x_{Tt}$), condicionado por el embedding de la imagen de referencia ($x_{Ir}$).

   • Entrenamiento: El modelo se entrena con tripletos sintetizados utilizando Conditional Flow Matching (CFM). Minimiza la pérdida de regresión entre el campo de velocidad predicho y la velocidad constante real ($x_{Tt} - x_{Tr}$) a lo largo de una trayectoria lineal.
   • Objetivo de Recuperación: Se añade una pérdida de recuperación contrastiva (InfoNCE), donde el embedding de texto objetivo predicho se empareja con el embedding de la imagen objetivo real, utilizando hard negatives top-$K$ extraídos del batch para agudizar la discriminación.
   • Eficiencia: El modelo opera sobre embeddings de VLM preextraídos y entrena solo un módulo de transporte pequeño (un MLP residual profundo) sin actualizar los codificadores de imagen o de texto. Esto permite el entrenamiento en aproximadamente 0.5 horas en una sola GPU.

2. Direccionamiento de Multi-Negación (Solo Inferencia):
   Para abordar la ambigüedad geométrica de la negación en los VLMs, los autores proponen una estrategia de solo inferencia.

   • Mecanismo: Al recibir una instrucción que contiene una negación (por ejemplo, "eliminar X"), un analizador ligero descompone la instrucción en una intención afirmativa y conceptos negados.
   • Direccionamiento (Steering): El método construye un embedding de instrucción dirigido que permanece alineado con la intención afirmativa pero que es explícitamente repelido de las direcciones geométricas de los conceptos negados (modelados como casquetes hiperesféricos). Esto empuja la representación lejos del "colapso por negación" común en el espacio de CLIP antes de que comience el proceso de transporte.

Contribuciones Clave

1. Paradigma FlowCIR: Introducción del transporte semántico condicional mediante flow matching como un mecanismo para el CIR de cero disparos, reemplazando la inversión textual estática con un proceso de composición continuo guiado por la referencia.
2. Direccionamiento de Multi-Negación: Propuesta de una estrategia de solo inferencia para mitigar el modo de fallo de los VLMs al manejar la negación e instrucciones de eliminación, mejorando significamente la robustez en consultas con mucha negación.
3. Eficiencia de Entrenamiento: Demostración de un protocolo de entrenamiento computacionalmente eficiente que logra un rendimiento competitivo con solo un módulo de transporte ligero entrenado durante ~0.5 horas en una sola GPU, contrastando con los requisitos de múltiples días y múltiples GPUs de los métodos previos basados en inversión.

Resultados Experimentales
Se realizaron experimentos extensos en tres benchmarks estándar: CIRR, CIRCO y Fashion-IQ, utilizando backbones CLIP ViT-B/32 y ViT-L/14.

• Rendimiento: FlowCIR logra un rendimiento sólido y competitivo, superando a menudo a los métodos previos basados en inversión textual (por ejemplo, SEARLE, Pic2Word) y métodos generativos (por ejemplo, Compo-Diff).
  • En CIRR (ViT-L/14), mejora el Recall@1 en un 2.3% sobre la base de datos pública previa más competitiva.
  • En CIRCO (ViT-L/14), mejora el mAP@5 en un 14.6% (de 13.0 a 14.9).
  • En Fashion-IQ, logra el mejor Recall@10 promedio y iguala el mejor Recall@50.
• Eficiencia: Como se ilustra en el análisis de rendimiento-vs-costo del artículo, FlowCIR logra un rendimiento de primer nivel con una fracción del tiempo de entrenamiento (0.5h en una sola RTX 3090) comparado con las líneas base que requieren cientos de horas de GPU o clústeres masivos de TPU.
• Estudios de Ablación:
  • El Conditional Flow Matching se identifica como el principal motor del rendimiento, demostrando que modelar la composición como transporte semántico es superior a la regresión directa o a las líneas base de solo texto.
  • El Direccionamiento de Multi-Negación proporciona ganancias consistentes y complementarias, particularmente en consultas con mucha negación.
  • Espacio Objetivo: El transporte hacia el embedding de texto objetivo (en lugar del embedding de imagen) produce mejores resultados, ya que proporciona una señal más centrada en la semántica y un mapeo más homogéneo.

Significado y Reivindicaciones
El artículo afirma que FlowCIR ofrece un mecanismo principista y eficiente de entrenamiento para la composición cross-modal que evita los problemas de la inversión textual y los altos costos de los enfoques generativos. Al formular el CIR como transporte semántico condicional, el método preserva mejor la semántica fina y permite un proceso de composición progresivo guiado por la referencia. Los autores posicionan este trabajo como un paso hacia un nuevo paradigma para la recuperación cross-modal que va más allá de la composición estática, destacando que los métodos basados en flujo pueden lograr una alta precisión con un gasto computacional mínimo. La estrategia de Direccionamiento de Multi-Negación se destaca como una solución práctica a una debilidad conocida de los modelos tipo CLIP, mejorando la fidelidad de la recuperación sin requerir datos de entrenamiento adicionales o actualizaciones del modelo.