Show, Don't Ask: Generative Visual Disambiguation for Composed Image Retrieval with Turn-Valid Coverage

Resumen Técnico: CLARA para la Recuperación de Imágenes Compuestas

Planteamiento del Problema
La Recuperación de Imágenes Compuestas (CIR, por sus siglas en inglés) permite a los usuarios buscar en un corpus utilizando una imagen de referencia y un texto de modificación (por ejemplo, "un atuendo como este, pero más formal"). Los sistemas actuales suelen asumir que una consulta mapea a una única imagen objetivo, evaluada mediante Recall@K contra una única anotación. Sin embargo, los autores argumentan que esta suposición es errónea: una consulta compuesta rara vez especifica una imagen única, sino que define más bien una "región del corpus". El miembro específico que el usuario pretende es indeterminado por la consulta por sí sola.

Intentos recientes para abordar esta ambigüedad envuelven un recuperador en una capa de predicción conformal para devolver un conjunto de candidatos con una probabilidad de cobertura garantizada, utilizando preguntas de texto para resolver la incertidumbre residual. Los autores identifican dos fallos críticos en este enfoque existente:

1. Pérdida de la Garantía de Cobertura: Las garantías de cobertura conformal dependen de la intercambiabilidad de los datos. Cuando un sistema plantea una pregunta de forma adaptativa y actualiza su creencia basada en la respuesta, induce un desplazamiento de covariable de retroalimentación (feedback covariate shift). Reaplicar el umbral de calibración original al conocimiento actualizado invalida la garantía de cobertura, causando que la cobertura real se desvíe significativamente por debajo del nivel nominal tras la primera vuelta.
2. Clarificación Ineficiente y Circular: Las preguntas de texto son un canal de bajo ancho de banda para transmitir distinciones visuales finas (punto de vista, textura, estilo). Además, las políticas actuales basadas en texto utilizan un modelo multimodal para predecir las respuestas del usuario para seleccionar preguntas, creando una evaluación circular donde el modelo tanto plantea como responde, optimizando potencialmente para un simulador en lugar de para usuarios reales.

Metodología: CLARA
Los autores proponen CLARA (CLArification by Rendering Alternatives), un marco que reemplaza el cuestionamiento basado en texto con la disambiguación visual generativa, manteniendo una garantía de cobertura matemáticamente válida a través de las rondas de interacción.

1. Creencia Calibrada y Conjuntos Conformales:
   El sistema mantiene una distribución de creencia $p(I|q, h_m)$ sobre el corpus, condicionada a la consulta y al historial de interacción. Utiliza la predicción conformal adaptativa para generar un conjunto de candidatos $C$ tal que la probabilidad de que el objetivo real esté en el conjunto sea al menos $1-\alpha$. El tamaño de este conjunto sirve como una medida directa de la ambigüedad.

2. Disambiguación Visual Generativa (Mostrar, no Preguntar):
   Cuando el conjunto de candidatos es demasiado grande (lo que indica una alta ambigüedad), CLARA no realiza una pregunta de texto. En su lugar:

   • Partición de Modos: Agrupa el conjunto de candidatos en $k$ modos basados en ejes de ambigüedad interpretables (atributos preservados, atributos cambiados, punto de vista, fondo).
   • Generar para Cubrir: Selecciona un subconjunto de modos para maximizar un objetivo de cobertura-diversidad submodular, asegurando que el panel represente el espacio completo de la creencia sin redundancia.
   • Renderizado y Ajuste (Snapping): Un modelo de difusión condicional renderiza una imagen prototipo para cada modo seleccionado. Crucialmente, cada prototipo renderizado se "ajusta" (snapped) al ejemplar del corpus real más cercano (el medoide del modo). El usuario ve la imagen renderizada pero selecciona el subconjunto real del corpus. Esto asegura que los artefactos de generación no puedan inflar el conjunto de predicción ni violar la garantía de cobertura.
   • Interacción del Usuario: El usuario simplemente elige el prototipo más cercano a su intención. Esto proporciona una señal de alto ancho de banda y libre de modelos.

3. Cobertura Válida por Turno mediante el Repesado de la Selección:
   Para abordar el desplazamiento de covariable de retroalimentación causado por la selección del usuario, CLARA trata cada ronda de clarificación como un desplazamiento explícito en la distribución de la consulta.

   • Calcula un peso de razón de verosimilitud $w_m$ basado en el historial de selección del usuario y el modelo de selección $\pi$.
   • Aplica predicción split conformal ponderada, repesando los puntajes de no conformidad durante la calibración.
   • La Proposición 1 demuestra que, con este repesado, la garantía de cobertura ($Pr(IT \in C) \geq 1-\alpha$) se mantiene en cada ronda comprometida, no solo en la primera.

4. Actualización de la Creencia:
   Tras la elección del usuario, la creencia se actualiza mediante un repesado lógico que multiplica la creencia previa por una verosimilitud de membresía suave (con un límite inferior para evitar descartar el objetivo real en caso de una elección errónea) y una actualización semántica que añade el modo elegido a la consulta de texto.

Contribuciones Clave

• Identificación del Desplazamiento de Covariable de Retroalimentación: El artículo demuestra que la recuperación conformal interactiva falla después de la primera vuelta debido a la selección adaptativa y propone un marco teórico para corregirlo mediante la predicción conformal con selección repesada.
• Disambiguación Visual Generativa: CLARA reemplaza las preguntas de texto con un renderizado de modos candidatos impulsado por la cobertura. Esto elimina la circularidad de "modelo-respuesta" y aprovecha el alto ancho de banda de las señales visuales para distinciones finas.
• Garantía Válida por Turno: Los autores proporcionan una prueba de que su enfoque conformal ponderado mantiene la garantía de cobertura nominal a través de todas las rondas de interacción.
• AmbiCIR-V: Una nueva métrica de evaluación y extensión de dataset que unifica los benchmarks de dominio abierto y moda con métricas de clarificación visual, incluyendo cobertura a través de turnos y anotaciones de ejes de ambigüedad.

Resultados
Los experimentos se realizaron en los benchmarks de dominio abierto (CIRR), multi-positivo (CIRCO) y moda (FashionIQ).

• Rendimiento de Turno Único: CLARA está estadísticamente empatada con los métodos de turno único de vanguardia, confirmando que la capa de resolución no tiene coste para consultas precisas.
• Estabilidad de la Cobertura: A diferencia de los métodos conformales interactivos "naïve" que derivan hasta 10 puntos porcentuales por debajo de la cobertura nominal hacia la ronda 3, CLARA mantiene la cobertura nominal (aprox. 90%) a través de todas las rondas y ejes de ambigüedad.
• Eficiencia de Interacción: CLARA alcanza el objetivo en menos rondas que la política de preguntas de texto más fuerte (EIG-TEXT). La ventaja es más pronunciada en la ambigüedad de punto de vista y de atributos, donde la selección visual supera al cuestionamiento de texto.
• Estudio Humano: Un estudio con 30 participantes confirmó que los usuarios reales prefieren los paneles visuales sobre las preguntas de texto y logran mayores tasas de éxito con menos turnos, validando los resultados simulados.
• Robustez: El sistema sigue siendo robusto ante errores del usuario (actualizaciones de verosimilitud suave) y elecciones adversarias, con una degradación de la cobertura que es gradual en lugar de catastrófica.

Significancia y Reivindicaciones
El artículo afirma avanzar en el campo al redefinir la CIR de una tarea de "una consulta-un objetivo" a un problema de "resolución de intención calibrada". La significancia reside en:

1. Rigor Teórico: Establecer que la recuperación interactiva es un problema de desplazamiento de covariable de retroalimentación y proporcionar el primer método que garantice una cobertura válida en cada turno de interacción.
2. Usabilidad Práctica: Demostrar que "mostrar" (renderizado visual) es un canal superior a "preguntar" (texto) para resolver la ambigüedad visual, eliminando la necesidad de modelos de respuesta complejos y potencialmente sesgados.
3. Síntesis Fiel: Introducir un mecanismo de "ajuste al corpus" (snap-to-corpus) que permite el uso de modelos generativos para la visualización sin comprometer las garantías estadísticas del sistema de recuperación.

Los autores concluyen que tratar la recuperación como un proceso visualmente interactivo y calibrado —midiendo la ambigüedad, comprometiéndose cuando hay confianza y mostrando alternativas cuando no es así— representa un paso necesario más allá de las suposiciones actuales de turno único.