Resumo Técnico: CIRCLED – Um Conjunto de Dados CIR Multi-turno com Diálogos Consistentes entre Domínios

1. Declaração do Problema

A pesquisa existente em Recuperação de Imagem Composta Multi-turno (MTCIR) enfrenta duas limitações críticas:

1. Histórico de Diálogo Inconsistente: Conjuntos de dados atuais, como o Multi-turn FashionIQ, são construídos simplesmente concatenando consultas de turno único. Essa abordagem não garante que os turnos intermediários se aproximem progressivamente da verdade fundamental (GT). Consequentemente, imagens e legendas intermediárias podem divergir do alvo, tornando impossível avaliar o desempenho da recuperação em turnos intermediários ou modelar comportamentos de busca iterativa realistas.
2. Restrição de Domínio: Trabalhos anteriores estão quase exclusivamente limitados ao domínio da moda (por exemplo, vestidos, camisas), deixando a CIR multi-turno em domínios gerais amplamente inexplorada.

Essas limitações impedem o desenvolvimento de sistemas robustos de CIR multi-turno capazes de lidar com intenções do usuário em evolução e contextos visuais diversos.

2. Metodologia

Construção do Conjunto de Dados (CIRCLED)

Os autores introduzem o CIRCLED, um novo conjunto de dados construído estendendo três conjuntos de dados existentes de CIR de turno único: FashionIQ, CIRR e CIRCO. O processo de construção envolve a geração de sessões multi-turno que simulam um usuário refinando sua busca com base em resultados intermediários.

• Geração de Sessões: Começando com uma imagem de verdade fundamental $Z$, o processo gera uma sequência de turnos $\{(I_1, T_1), \dots, (I_L, T_L)\}$.
  • Turno 1: Utiliza a imagem de referência original e a legenda relativa do conjunto de dados de origem.
  • Turnos Subsequentes: Se a GT não estiver suficientemente classificada, um algoritmo de recuperação de linha de base seleciona a imagem mais próxima dos top-$K$ resultados como a nova imagem de referência ($I_l$). Um Modelo Visão-Linguagem (VLM) gera então uma nova legenda relativa ($T_l$) descrevendo a diferença entre a imagem selecionada e a GT, evitando explicitamente a repetição de legendas anteriores.
• Algoritmo de Recuperação de Linha de Base: Os autores empregam uma versão estendida do CIReVL (Karthik et al., 2024) para impulsionar a geração de sessões. Este pipeline utiliza:
  • BLIP para legendagem de imagens.
  • GPT-4o-mini para mesclar legendas, gerar descrições de diferenças e atualizar consultas.
  • CLIP para extração de características e correspondência de similaridade.
  • O mecanismo de atualização de consulta agrega características da imagem selecionada, das imagens não selecionadas e do texto mesclado para direcionar a recuperação em direção à GT.

Filtros de Controle de Qualidade

Para garantir diálogos de alta qualidade e consistentes, quatro filtros são aplicados às sessões geradas:

1. Filtro de Sucesso na Recuperação: Remove sessões onde a GT nunca aparece entre os 10 principais candidatos ao longo de 6 turnos.
2. Filtro Multi-turno: Exclui sessões que têm sucesso no primeiro turno, garantindo que apenas interações verdadeiramente multi-turno (2+ turnos) sejam mantidas.
3. Filtro de Margem de Classificação ($\epsilon$-consistência): Impõe que a classificação da GT melhore (ou permaneça dentro de uma pequena margem $\epsilon=30$) em cada turno ($r_{l+1} \le r_l + \epsilon$). Isso garante progresso monótono em direção ao alvo.
4. Filtro de Redundância de Texto ($\tau$-diversidade): Garante que as legendas relativas em cada turno forneçam informações novas, limitando a similaridade de cosseno entre as novas legendas e as anteriores ($\tau=0.8$).

Protocolo de Avaliação

O artigo propõe um framework de avaliação por turno onde um algoritmo de recuperação $S$ é avaliado cumulativamente. Para uma sessão de comprimento $L$, o algoritmo recebe o histórico $\{(I_1, T_1), \dots, (I_l, T_l)\}$ no turno $l$ e produz uma classificação $r_l$ para a GT.

Três métricas são introduzidas para capturar diferentes aspectos do desempenho:

• Hits@10 (por turno): A fração de consultas que atingem o top-10 até o turno $l$.
• Recall@10 Final: Precisão usando todas as informações disponíveis no turno final.
• AUC sobre Hits@10: A área sob a curva Hits@10, medindo a velocidade de convergência e a alcançabilidade precoce.

3. Principais Contribuições

1. Conjunto de Dados CIRCLED: Um conjunto de dados CIR multi-turno em grande escala contendo 22.608 sessões em nove subconjuntos (cobrindo domínios de Moda e Gerais). Inclui 202.845 imagens e suporta sessões de 2 a 6 turnos, excedendo significativamente a escala e a generalidade do Multi-turn FashionIQ.
2. Estrutura de Diálogo Consistente: Ao contrário de conjuntos de dados anteriores, o CIRCLED impõe $\epsilon$-consistência e $\tau$-diversidade, garantindo que cada turno se mova progressiva e informativamente em direção à verdade fundamental. Isso permite a avaliação do desempenho da recuperação em qualquer turno intermediário.
3. Ampla Cobertura de Domínios: O conjunto de dados estende-se além da moda para incluir domínios gerais (via CIRR e CIRCO), facilitando pesquisas sobre CIR multi-turno para diversos tipos de objetos e modificações de cena.
4. Framework de Avaliação: A introdução de métricas por turno (Hits@10, AUC) permite uma análise granular de quão bem os métodos utilizam o contexto histórico, em vez de medir apenas a precisão do turno final.

4. Resultados Experimentais

Os autores avaliaram vários métodos de linha de base no CIRCLED, incluindo Text-only, Image-only, Pic2Word, CIReVL e MagicLens.

• Desempenho por Turno: Os resultados mostram que a precisão da recuperação geralmente melhora com mais turnos, embora frequentemente estabilize. O MagicLens apresenta desempenho forte em dados de domínio geral (CIRCO), enquanto o CIReVL se destaca no domínio da moda.
• Modalidades: As linhas de base Text-only superam consistentemente as linhas de base Image-only em todos os subconjuntos, indicando que legendas relativas carregam mais informação discriminativa do que imagens de referência isoladas em configurações multi-turno.
• Sensibilidade da Métrica: A métrica AUC revela diferenças de desempenho que o Recall@10 Final pode ignorar. Por exemplo, no conjunto de validação CIRR, o CIReVL supera o Text-only a partir do Turno 2, mas seu desempenho mais fraco no primeiro turno reduz seu AUC geral, destacando a importância de avaliar toda a trajetória.
• Validação de Qualidade: Uma avaliação com LLM como Juiz (usando GPT-5-mini) confirmou que as sessões do CIRCLED obtêm as pontuações mais altas em Coerência, Progresso do Objetivo e qualidade Geral em comparação com sessões não filtradas ou simples concatenações de conjuntos de dados de turno único.

5. Significado e Alegações

O artigo afirma que o CIRCLED fornece um benchmark prático e de alta qualidade que aborda a falta de consistência histórica e diversidade de domínio em trabalhos anteriores. Ao garantir que diálogos multi-turno sejam coerentes e converjam progressivamente para o alvo, o conjunto de dados permite o estudo de comportamentos de busca iterativa que anteriormente não eram mensuráveis.

Os autores enfatizam que seu trabalho facilita pesquisas futuras sobre CIR multi-turno ao:

• Oferecer um protocolo de avaliação padronizado que captura tanto a precisão final quanto a velocidade de convergência.
• Fornecer um conjunto de dados que suporta pesquisas além do domínio da moda.
• Permitir o desenvolvimento de sistemas que possam agregar efetivamente pistas visuais e textuais ao longo de múltiplos turnos de interação.

O conjunto de dados e o código estão disponíveis publicamente para apoiar a reprodutibilidade e o avanço adicional no campo.