Never Seen Before: Benchmarking Genuine Zero-Shot Composed Image Retrieval with Consistent Video-Sourced Datasets

Resumo Técnico: ZeroSight e SC4CIR

Definição do Problema
A Recuperação de Imagem Composta Zero-Shot (ZS-CIR) visa recuperar uma imagem alvo com base em uma consulta que consiste em uma imagem de referência e uma legenda relativa, sem depender de amostras de treinamento específicas para a tarefa. Os autores identificam duas falhas críticas nos benchmarks de ZS-CIR existentes (ex: CIRR, CIRCO, FashionIQ):

1. Inconsistência: Os conjuntos de dados existentes frequentemente sofrem de inconsistências visuais e semânticas entre as imagens de referência e alvo. Como esses conjuntos de dados são construídos a partir de coleções de imagens ruidosas, de origem crowdsourced ou abstratas (como NLVR2 ou MS COCO), as imagens de referência e alvo podem compartilhar apenas conceitos abstratos (ex: "uma gravata"), enquanto diferem significamente em conteúdo visual, tornando a tarefa de recuperação passível de ser resolvida por técnicas padrão de texto-para-imagem em vez de uma verdadeira recuperação composta.
2. Cenários Zero-Shot Espúrios: A maioria dos conjuntos de dados existentes utiliza fontes de imagens públicas (ex: MS COCO) que fizeram parte dos dados de pré-treinamento para modelos dominantes de Visão-Linguagem (VLMs) como o CLIP. Consequentemente, os modelos não são verdadeiramente "zero-shot", mas estão aproveitando associações memorizadas, o que leva a métricas de desempenho infladas que exageram as capacidades dos métodos atuais.

Metodologia
Para abordar esses desafios, o artigo introduz o ZeroSight, um novo benchmark, e o SC4CIR, um método de recuperação livre de treinamento (training-free).

• Construção do Conjunto de Dados ZeroSight:

  • Fonte: Diferente de trabalhos anteriores, o ZeroSight extrai frames de vídeos publicados após 31 de março de 2022 (posterior à liberação do LAION-2B), garantindo que os dados não foram incluídos no pré-treinamento do CLIP.
  • Consistência: Ao extrair frames de um único vídeo, os autores garantem que os pares de referência-alvo sejam visual e semanticamente consistentes, diferindo apenas nas modificações específicas descritas pela legenda.
  • Pipeline: Um pipeline de múltiplos estágios assistido por LLM (utilizando modelos como GPT-4o) constró o conjunto de dados. Ele envolve:
    1. Seleção de imagens de referência não redundantes de subconjuntos de vídeos.
    2. Filtragem de imagens candidatas alvo com base em limiares de similaridade visual e semântica (usando ViT e CLIP).
    3. Geração de legendas relativas que descrevem a transformação da referência para o alvo.
  • Escala e Estrutura: O conjunto de dados compreende 12.048 vídeos diversos, resultando em um pool de recuperação de 197.313 imagens e 54.740 consultas. Unicamente, ele inclui múltiplos alvos positivos de ground-truth e alvos negativos difíceis (imagens similares ao alvo, mas que falham nos critérios da legenda) para cada consulta.
  • Categorias de Consulta: As consultas são classificadas em seis categorias para testar capacidades de recuperação específicas: Adição, Subtração, Mudança de Plano de Fundo, Mudança de Perspectiva, Mudança de Atributo e Declaração Relativa.

• SC4CIR (Symmetric Consistency for CIR):

  • Conceito: Um método livre de treinamento, plug-and-play, impulsionado por Grandes Modelos de Linguagem Multimodais (MLLMs) para identificar e penalizar alvos "negativos difíceis" que são visualmente similares ao ground-truth, mas semanticamente incorretos.
  • Mecanismo: Emprega três verificações de consistência simétrica:
    1. Recuperação Direta (Forward Retrieval): $I_r + T \rightarrow I_t$ (Recuperação padrão).
    2. Processo Reverso 1: $I_t - T \rightarrow I_r$ (Gera uma instrução inversa $T'$ para transformar o candidato de volta à referência).
    3. Processo Reverso 2: $I_t - I_r \rightarrow T$ (Gera uma descrição da diferença entre o candidato e a referência para comparar com a legenda original $T$).
  • Reclassificação (Re-ranking): A pontuação final combina a similaridade direta com as duas pontuações de consistência reversa ($S = S_1 + S_2 + S_3$), reclassificando os resultados para suprimir negativos difíceis.

Principais Contribuições

1. Benchmark ZeroSight: O primeiro conjunto de dados de ZS-CIR que garante condições reais de zero-shot (sem sobreposição de pré-treinamento do CLIP) e alta consistência visual/semântica via dados de vídeo. É o primeiro a incluir múltiplos ground-truths e alvos negativos difíceis.
2. Método SC4CIR: Uma abordagem inovadora, livre de treinamento e impulsionada por MLLM para melhorar o desempenho da recuperação através da verificação de consistência simétrica, filtrando efetivamente negativos difíceis sem exigir o retreinamento do modelo.
3. Nova Métrica (PNR-mAP): Os autores propõem o mAP de Ranking Positivo-Negativo (Positive-Negative Ranking mAP), que considera o ranking dos alvos negativos em relação aos positivos, abordando a limitação do mAP padrão que ignora a presença de negativos difíceis.
4. Avaliação Abrangente: O artigo avalia 27 métodos de estado da arte, revelando que os benchmarks atuais geram resultados inflados.

Resultados Experimentais

• Desempenho do Benchmark: Experimentos no ZeroSight mostram que os métodos atuais de ZS-CIR performam significativamente pior do que em conjuntos de dados existentes (ex: CIRCO), confirmando a dificuldade e a validade do novo benchmark. Por exemplo, o mAP@5 do SEIZE caiu de 32,46 no CIRCO para 16,63 no ZeroSight.
• Discrepância de Métricas: O mAP médio entre os métodos no ZeroSight foi 22,93% maior que o PNR-mAP, demonstrando que as métricas padrão inflam o desempenho ao ignorar o ranking dos negativos difíceis.
• Eficácia do SC4CIR: A integração do SC4CIR melhorou significativamente o desempenho de todos os métodos testados. Para métodos livres de treinamento, o PNR-mAP médio melhorou 25,66%. O método é particularmente eficaz para abordagens de ZS-CIR baseadas em LLM, melhorando seu desempenho em 9,12%.
• Generalização: O SC4CIR também demonstrou robustez quando aplicado a conjuntos de dados ruidosos existentes (CIRCO, CIRR, FashionIQ), superando consistentemente os baselines e até ajudando métodos zero-shot a se aproximarem do desempenho de métodos treinados em FashionIQ.

Significância
O artigo argumenta que a pesquisa atual de ZS-CIR é prejudicada por conjuntos de dados que não refletem cenários reais de zero-shot e carecem de consistência visual, levando a uma superestimativa das capacidades dos modelos. O ZeroSight estabelece um novo padrão para avaliar métodos de CIR ao impor condições rigorosas de consistência de dados e zero-shot real. A introdução do SC4CIR demonstra que o uso do raciocínio de MLLM para verificações de consistência pode aumentar significativamente a precisão da recuperação sem treinamento adicional. Os autores concluem que seu benchmark e método fornecem um framework mais confiável para o desenvolvimento de sistemas de recuperação de imagem composta generalizáveis e robustos, particularmente para aplicações que exigem alta precisão onde diferenças visuais sutis são cruciais.