Structured Semantic Supervision for Annotation-Scarce Composed Image Retrieval

Resumen Técnico: Supervisión Semántica Estructurada para la Recuperación de Imágenes Compuestas con Escasez de Anotación

Declaración del Problema
La Recuperación de Imágenes Compuestas (CIR, por sus siglas en inglés) tiene como objetivo identificar una imagen objetivo combinando una imagen de referencia con una modificación textual (por ejemplo, "mismo vestido pero rojo"). Aunque los métodos supervisados existentes logran un alto rendimiento, dependen fuertemente de tripletos $\langle I_r, T_m, I_t \rangle$ anotados manualmente, los cuales son costosos de producir y escasos en dominios objetivo. Los métodos de CIR de cero disparos (Zero-shot CIR o ZS-CIR) intentan eludir esto aprovechando modelos de lenguaje-visión (VLM) preentrenados, pero enfrentan tres obstáculos principales en el despliegue en dominios objetivo: (1) una supervisión generada débilmente restringida que carece de estructura, (2) representaciones de vector único toscas que entrelazan la preservación del sujeto con los cambios de atributos, y (3) el alto costo computacional de la mejora de consultas mediante modelos grandes en línea. Este artículo aborda el desafío de adaptar los modelos de CIR a dominios objetivo no etiquetados sin tripletos manuales, centrándose en la edición de atributos finos y la recuperación de dominio abierto.

Metodología
El marco propuesto introduce un flujo de trabajo de supervisión semántica estructurada que convierte imágenes no etiquetadas de dominios objetivo en señales de entrenamiento reutilizables, seguido de una arquitectura de recuperación de vectores múltiples.

1. Construcción de Anclajes Semánticos Estructurados:
   Un Agente Semántico offline (utilizando un VLM/LLM como Qwen-VL-Flash) procesa imágenes no etiquetadas para generar "anclajes semánticos". A diferencia de los subtítulos de texto libre, estos anclajes están restringidos por campos y constan de tres componentes:

   • Descripción Global ($\bar{d}$): Una oración concisa y restringida por plantillas que describe el sujeto central y el contexto discriminativo.
   • Conjunto de Atributos ($p$): Una lista de propiedades visuales editables (por ejemplo, color, material, longitud de la manga).
   • Conjunto de Entidades ($e$): Objetos prominentes o partes que deben preservarse o cambiarse explícitamente.
     El agente emplea un bucle de control de calidad que involucra referencias visuales de vecinos más cercanos para asegurar la consistencia, filtrar alucinaciones y validar la completitud de los campos.

2. Inferencia de Anclajes Objetivo:
   Para una imagen de referencia $I_r$ dada y un texto de modificación generado $T_m$, el sistema infiere un anclaje objetivo $\hat{A}_t = \Gamma(A(I_r), T_m)$. Este anclaje inferido especifica la semántica esperada tras la edición, formando un pseudo-triplete $\tilde{\tau} = (I_r, T_m, \hat{A}_t)$ para el entrenamiento. Los textos de modificación se generan en tres formas: atributo único, atributos múltiples y descriptivo coloquial, para cubrir diversas intenciones de edición.

3. Representación de Vectores Múltiples Impulsada por Query-Slots:
   El modelo de recuperación utiliza un backbone CLIP congelado y un Query-Transformer aprendible que agrega características de parches de imagen y tokens de texto en $N_q$ ranuras de consulta ($Z = [z_1, \dots, z_{N_q}]$). Este enfoque de vectores múltiples permite al modelo separar la preservación del sujeto de la variación de atributos. Un mecanismo de filtrado de similitud selecciona las ranuras más relevantes para campos semánticos específicos (descripción, atributo, entidad) para reducir el ruido de regiones irrelevantes.

4. Aprendizaje Conjunto Multivista Enmascarado:
   Para alinear el modelo con las condiciones de recuperación del mundo real, se emplea una estrategia de entrenamiento multivista:

   • Text-Mask (Máscara de Texto): Enmascara todo el texto para aprender representaciones de la galería estables y exclusivas de la imagen.
   • Img-Mask (Máscara de Imagen): Enmascara aleatoriamente los parches de la imagen mientras retiene el texto de atributos para forzar una alineación consciente de los atributos.
   • No-Mask (Sin Máscara): Utiliza la referencia y el texto completos para simular el modelado de consultas en línea.
     El objetivo general combina la pérdida de preservación, la pérdida de alineación de anclajes estructurados (a través de los campos de descripción, atributo y entidad) y la pérdida de consistencia multivista.

Contribuciones Clave

1. Protocolo de Supervisión Generada Estructurada: Un marco reutilizable que organiza la supervisión generada en un esquema restringido por campos (descripción global, atributos, entidades) mediante un agente offline, permitiendo la adaptación al dominio objetivo sin tripletos manuales.
2. Representación de Vectores Múltiples Impulsada por Query-Slots: Una arquitectura transmodal que desacopla explícitamente la semántica del sujeto de las variaciones de atributos utilizando múltiples vectores de recuperación y filtrado de similitud, abordando los problemas de entrelazamiento de las incrustaciones de vector único.
3. Entrenamiento de Consistencia Enmascarado Multivista: Una estrategia de entrenamiento que alinea el indexado de la galería, el aprendizaje consciente de atributos y el modelado de consultas en línea bajo diferentes condiciones de visibilidad de información (Text-Mask, Img-Mask, No-Mask).

Resultados Experimentales
El método fue evaluado en FashionIQ (moda de grano fino) y CIRR (dominio abierto) bajo un escenario de adaptación de dominio objetivo de cero disparos.

• FashionIQ: El enfoque logró un R@10 promedio de 31.81 y un R@50 de 53.07 (usando ViT-L/14). Esto superó al baseline de cero disparos más fuerte (FTI4CIR) por 2.42 y 2.19 puntos porcentuales, respectivamente. También superó a otros métodos de ZS-CIR como SEARLE y LinCIR.
• CIRR: El modelo obtuvo R@1 = 24.20, R@5 = 55.18, R@10 = 66.71 y R@50 = 90.30. Aunque es ligeramente más débil que algunos métodos supervisados en precisión relacional de alto rango, demostró una fuerte recuperación amplia (alto R@50), competitiva con métodos como LDRE y FTI4CIR.
• Estudios de Ablación: Eliminar los componentes de anclaje estructurado (Sujeto, Atributo, Contexto) o las estrategias de enmascaramiento multivista resultó en caídas significativas de rendimiento, confirmando la necesidad de la supervisión estructurada y las vistas de entrenamiento específicas.

Significancia y Reivindicaciones
El artículo sostiene que la supervisión semántica estructurada ofrece una ruta controlable para adaptar los modelos de CIR a dominios objetivo donde no hay tripletos anotados disponibles. Al organizar los datos generados en campos explícitos y utilizar una representación de vectores múltiples, el método maneja eficazmente la edición de atributos finos (particularmente en moda) sin requerir anotación manual costosa o una inferencia pesada en línea.

Los autores señalan modestamente que, si bien el marco sobresale en la edición de atributos y detalles locales, enfrenta desafíos con ediciones que requieren un razonamiento relacional complejo, cambios de punto de vista o intención abstracta. La significancia radica en el cambio de paradigma de la "escala de los datos generados" hacia la "estructura de la supervisión generada", proporcionando una solución de adaptación offline ligera para la búsqueda visual interactiva y escenarios de comercio electrónico donde el feedback del usuario suele ser específico de atributos.