Do Composed Image Retrieval Benchmarks Require Multimodal Composition?

Resumo Técnico: Os Benchmarks de Recuperação de Imagem Composta Requerem Composição Multimodal?

Declaração do Problema
A Recuperação de Imagem Composta (CIR) é uma tarefa multimodal onde uma consulta consiste em uma imagem de referência e uma modificação textual, com o objetivo de recuperar uma imagem-alvo que satisfaça a intenção combinada. O campo assume que um desempenho robusto em benchmarks de CIR (como CIRR, FashionIQ, LaSCo e CIRCO) exige composição multimodal genuína — a capacidade de integrar informações complementares de ambas as modalidades em uma representação unificada. No entanto, trabalhos anteriores em domínios relacionados (por exemplo, Resposta Visual a Perguntas) demonstraram que modelos frequentemente exploram "sinais de atalho", resolvendo tarefas usando uma única modalidade dominante em vez de um raciocínio verdadeiramente cruzado entre modalidades. Este artigo investiga se os benchmarks atuais de CIR sofrem de problemas semelhantes, onde alta precisão de recuperação pode refletir dependência de atalhos unimodais ou ruído no conjunto de dados, em vez do raciocínio composicional pretendido.

Metodologia
Os autores realizam uma auditoria em duas etapas de quatro benchmarks de CIR amplamente utilizados, usando um conjunto de onze modelos de Embedding Multimodal Generalista (GME).

1. Auditoria de Atalhos Unimodais:
   Os autores avaliam cada consulta sob três condições: (i) Multimodal (consulta completa), (ii) Apenas Texto (imagem de referência substituída por uma máscara preta) e (iii) Apenas Imagem (edição textual removida). Uma consulta é classificada como admitindo um "atalho unimodal" se qualquer um dos onze GMEs testados puder recuperar o alvo verdadeiro dentro dos 10 primeiros resultados usando apenas uma única modalidade. Consultas onde nenhuma modalidade única tem sucesso, mas a entrada multimodal tem sucesso, são classificadas como "Requer Composição". Consultas onde até mesmo a entrada multimodal falha são classificadas como "Não Resolvidas".

2. Auditoria de Validação Humana:
   Reconhecendo que remover consultas solucionáveis por atalhos é insuficiente se o conjunto restante contiver instâncias ambíguas ou mal formuladas, os autores realizam um estudo de validação humana em 4.741 consultas livres de atalhos. Anotadores avaliam a validade do triplo imagem de referência, edição textual e imagem-alvo. Eles identificam modos de falha específicos:

   • Texto/Referência/Alvo Inválido: Edições ilegíveis, imagens de baixa qualidade ou alvos incompatíveis.
   • Consulta Excessivamente Ampla: Casos onde múltiplas imagens na galeria plausivelmente satisfazem a modificação, tornando o alvo verdadeiro não único.
     Este processo produz a suíte CIRCUS (Recuperação de Imagem Composta Limpa de Atalhos Unimodais), especificamente o subconjunto CIRCUSV (validado) contendo apenas consultas bem formadas e livres de atalhos.

3. Reavaliação:
   Os autores reavaliam os GMEs nos benchmarks originais, no subconjunto livre de atalhos (CIRCUSSF) e no subconjunto validado (CIRCUSV). Eles analisam quedas de desempenho e calculam uma "Lacuna de Composição" (diferença normalizada entre multimodal e a base unimodal mais forte) para quantificar a dependência da integração multimodal.

Principais Contribuições

1. Quantificação de Atalhos Unimodais: O estudo revela que uma fração pervasiva de consultas em benchmarks padrão de CIR pode ser resolvida usando uma única modalidade. Especificamente, 83,6% das consultas do CIRR, 32,2% do FashionIQ, 38,7% do LaSCo e 74,5% do CIRCO são solucionáveis via atalhos unimodais.
2. Identificação de Ruído no Conjunto de Dados: Através da validação humana, os autores demonstram que, mesmo entre consultas livres de atalhos, uma parte significativa é mal formulada. Apenas 35,6% das consultas livres de atalhos auditadas (1.689 de 4.741) foram consideradas instâncias válidas de CIR. O problema dominante é "Consulta Excessivamente Ampla", onde a modificação não identifica unicamente um alvo.
3. Suíte de Benchmark CIRCUS: Os autores lançam o CIRCUS, uma suíte de avaliação limpa compreendendo subconjuntos livres de atalhos e validados. Esta suíte fornece um teste mais diagnóstico para composição multimodal, forçando modelos a combinar entradas de imagem e texto para ter sucesso.

Resultados

• Discrepância de Desempenho: A reavaliação de modelos no CIRCUS resulta em um declínio acentuado no desempenho reportado. Por exemplo, o Recall@10 do Qwen3-VL-8B no CIRR cai de 70,1% no benchmark original para 24,1% no subconjunto validado CIRCUSV.
• Dependência de Modalidade: Embora o desempenho absoluto diminua, a dependência de informações multimodais aumenta significativamente. A Lacuna de Composição (indicando a necessidade de combinar modalidades) aumenta substancialmente no CIRCUSV em comparação com os benchmarks originais. Por exemplo, no CIRR, a Lacuna de Composição média aumenta de 0,137 (Completo) para 0,361 (CIRCUSV).
• Prevalência de Atalhos: A análise confirma que a exploração de atalhos é uma propriedade de nível de conjunto de dados, e não um artefato específico do modelo, pois o padrão se mantém em diversas famílias e arquiteturas de modelos.
• Especificidades dos Benchmarks: CIRR e CIRCO mostram altas taxas de atalhos, enquanto LaSCo é dominado por casos não resolvidos (sugerindo dificuldade geral de recuperação ou erros de anotação). FashionIQ tem a menor taxa de atalhos, mas ainda sofre com ruído significativo no resíduo livre de atalhos.

Significância
O artigo argumenta que os benchmarks atuais de CIR confundem consultas solucionáveis por atalhos, ruidosas e genuinamente composicionais, levando a uma superestimação das capacidades dos modelos em composição multimodal. Os autores afirmam que confiar nesses benchmarks pode sugerir falsamente progresso no raciocínio composicional quando os modelos estão meramente explorando sinais unimodais. Ao introduzir o CIRCUS, o trabalho fornece uma avaliação mais fiel de quão bem os modelos realmente combinam imagem e texto. Os autores concluem que o progresso futuro em CIR deve ser medido pela extensão em que os recuperadores integram genuinamente as modalidades, necessitando do uso de subconjuntos limpos e validados para evitar métricas de desempenho infladas impulsionadas por artefatos do conjunto de dados.