Do Composed Image Retrieval Benchmarks Require Multimodal Composition?

Resumen Técnico: ¿Requieren los Benchmarks de Recuperación de Imágenes Compuestas Composición Multimodal?

Planteamiento del Problema
La Recuperación de Imágenes Compuestas (CIR, por sus siglas en inglés) es una tarea multimodal donde una consulta consta de una imagen de referencia y una modificación textual, con el objetivo de recuperar una imagen objetivo que satisfaga la intención combinada. El campo asume que un rendimiento sólido en los benchmarks de CIR (tales como CIRR, FashionIQ, LaSCo y CIRCO) requiere una composición multimodal genuina: la capacidad de integrar información complementaria de ambas modalidades en una representación unificada. Sin embargo, trabajos previos en dominios relacionados (por ejemplo, Respuesta Visual a Preguntas) han demostrado que los modelos a menudo explotan "señales atajo", resolviendo tareas utilizando una sola modalidad dominante en lugar de un razonamiento cruzado genuino. Este artículo investiga si los benchmarks actuales de CIR sufren problemas similares, donde una alta precisión de recuperación podría reflejar una dependencia de atajos unimodales o ruido en el conjunto de datos, en lugar del razonamiento composicional pretendido.

Metodología
Los autores realizan una auditoría en dos etapas de cuatro benchmarks de CIR ampliamente utilizados, empleando un conjunto de once modelos de Incrustación Multimodal Generalista (GME, por sus siglas en inglés).

1. Auditoría de Atajos Unimodales:
   Los autores evalúan cada consulta bajo tres condiciones: (i) Multimodal (consulta completa), (ii) Solo texto (la imagen de referencia se reemplaza por una máscara negra) y (iii) Solo imagen (se elimina la edición textual). Una consulta se clasifica como admitiendo un "atajo unimodal" si cualquiera de los once GMEs probados puede recuperar el objetivo de referencia dentro de los 10 primeros resultados utilizando únicamente una sola modalidad. Las consultas donde ninguna modalidad individual tiene éxito, pero la entrada multimodal sí, se etiquetan como "Requiere Composición". Las consultas donde incluso la entrada multimodal falla se etiquetan como "Sin Resolver".

2. Auditoría de Validación Humana:
   Reconociendo que eliminar las consultas resolubles mediante atajos es insuficiente si el conjunto restante contiene instancias ambiguas o mal planteadas, los autores realizan un estudio de validación humana en 4.741 consultas libres de atajos. Los anotadores evalúan la validez de la tripleta formada por la imagen de referencia, la edición textual y la imagen objetivo. Identifican modos de fallo específicos:

   • Texto/Referencia/Objetivo Inválidos: Ediciones ilegibles, imágenes de baja calidad o objetivos que no coinciden.
   • Consulta Demasiado Amplia: Casos donde múltiples imágenes en la galería satisfacen plausible la modificación, haciendo que el objetivo de referencia no sea único.
     Este proceso da lugar a la suite CIRCUS (Recuperación de Imágenes Compuestas Limpia de Atajos Unimodales), específicamente el subconjunto CIRCUSV (validado) que contiene únicamente consultas bien formadas y libres de atajos.

3. Reevaluación:
   Los autores reevalúan los GMEs en los benchmarks originales, en el subconjunto libre de atajos (CIRCUSSF) y en el subconjunto validado (CIRCUSV). Analizan las caídas de rendimiento y calculan una "Brecha de Composición" (diferencia normalizada entre la modalidad multimodal y la línea base unimodal más fuerte) para cuantificar la dependencia de la integración multimodal.

Contribuciones Clave

1. Cuantificación de Atajos Unimodales: El estudio revela que una fracción pervasiva de consultas en los benchmarks estándar de CIR puede resolverse utilizando una sola modalidad. Específicamente, el 83,6% de las consultas de CIRR, el 32,2% de FashionIQ, el 38,7% de LaSCo y el 74,5% de CIRCO son resolubles mediante atajos unimodales.
2. Identificación de Ruido en el Conjunto de Datos: Mediante validación humana, los autores demuestran que incluso entre las consultas libres de atajos, una parte significativa está mal planteada. Solo el 35,6% de las consultas libres de atajos auditadas (1.689 de 4.741) se consideraron instancias válidas de CIR. El problema dominante es la "Consulta Demasiado Amplia", donde la modificación no identifica de manera única un objetivo.
3. Suite de Benchmarks CIRCUS: Los autores lanzan CIRCUS, una suite de evaluación limpia que comprende subconjuntos libres de atajos y validados. Esta suite proporciona una prueba más diagnóstica para la composición multimodal, obligando a los modelos a combinar entradas de imagen y texto para tener éxito.

Resultados

• Discrepancia de Rendimiento: La reevaluación de los modelos en CIRCUS resulta en una caída pronunciada del rendimiento reportado. Por ejemplo, el Recall@10 de Qwen3-VL-8B en CIRR desciende del 70,1% en el benchmark original al 24,1% en el subconjunto validado CIRCUSV.
• Dependencia de la Modalidad: Si bien el rendimiento absoluto disminuye, la dependencia de la información multimodal aumenta significativamente. La Brecha de Composición (que indica la necesidad de combinar modalidades) aumenta sustancialmente en CIRCUSV en comparación con los benchmarks originales. Por ejemplo, en CIRR, la Brecha de Composición promedio aumenta de 0,137 (Completo) a 0,361 (CIRCUSV).
• Prevalencia de Atajos: El análisis confirma que la explotación de atajos es una propiedad a nivel de conjunto de datos y no un artefacto específico del modelo, ya que el patrón se mantiene a través de diversas familias de modelos y arquitecturas.
• Especificidades de los Benchmarks: CIRR y CIRCO muestran altas tasas de atajos, mientras que LaSCo está dominado por casos sin resolver (lo que sugiere dificultad general de recuperación o errores de anotación). FashionIQ tiene la tasa de atajos más baja, pero aún sufre de ruido significativo en el residuo libre de atajos.

Significado
El artículo argumenta que los benchmarks actuales de CIR confunden consultas resolubles mediante atajos, ruidosas y genuinamente composicionales, lo que lleva a una sobreestimación de las capacidades de los modelos en composición multimodal. Los autores afirman que depender de estos benchmarks podría sugerir falsamente progreso en el razonamiento composicional cuando los modelos simplemente están explotando señales unimodales. Al introducir CIRCUS, el trabajo proporciona una evaluación más fiel de cuán bien los modelos combinan realmente imagen y texto. Los autores concluyen que el progreso futuro en CIR debe medirse por la medida en que los recuperadores integran genuinamente las modalidades, lo que hace necesario el uso de subconjuntos limpios y validados para evitar métricas de rendimiento infladas impulsadas por artefactos del conjunto de datos.