ChatSearch: a Dataset and a Generative Retrieval Model for General Conversational Image Retrieval

Visão Geral

O artigo aborda a tarefa de Recuperação de Imagens Conversacional Geral (General Conversational Image Retrieval) em domínios abertos. O objetivo é permitir que os usuários busquem imagens através de diálogos interativos multimodais (texto e imagem) com um computador, onde a intenção de busca pode ser implícita e requerer raciocínio complexo e conhecimento do mundo, em vez de ser explicitamente declarada.

O Problema

A recuperação tradicional de imagens geralmente depende de consultas estáticas (uma imagem de referência, atributos fixos ou uma frase descritiva). Embora métodos interativos existam, eles são frequentemente limitados a:

1. Interações de rodada única.
2. Domínios específicos (como moda).
3. Falta de capacidade de compreender o contexto multimodal complexo e as intenções implícitas do usuário em diálogos longos.
4. Incapacidade de integrar conhecimento do mundo e raciocínio multimodal para refinar os resultados.

O trabalho identifica a lacuna na falta de conjuntos de dados e modelos capazes de lidar com diálogos multimodais de múltiplas rodadas onde a imagem alvo deve ser inferida a partir de um contexto conversacional rico.

Metodologia

1. Dataset: ChatSearch

Os autores criaram o ChatSearch, um novo conjunto de dados para recuperação de imagens conversacional.

• Construção Automática: Utilizou um pipeline automatizado assistido por modelos pré-treinados de grande escala (GPT-4 para geração de texto, CLIP-H para recuperação de galeria e BLIP-2 para legendas de imagens).
• Estrutura: O dataset contém consultas de contexto conversacional multimodal de múltiplas rodadas para cada imagem alvo.
• Sub-tarefas: O dataset é dividido em três sub-tarefas para avaliar diferentes níveis de complexidade:
  • tChatSearch: Diálogo puramente textual de múltiplas rodadas.
  • iChatSearch: Contexto de imagem-texto de rodada única (referência de imagem ou texto).
  • mChatSearch: Diálogo multimodal complexo de múltiplas rodadas (mesclando os anteriores).
• Validação: Os dados passaram por uma revisão manual por especialistas para garantir qualidade de imagem e relevância contextual.

2. Modelo: ChatSearcher

Foi proposto o ChatSearcher, um modelo de recuperação generativa treinado de ponta a ponta (end-to-end).

• Arquitetura: Baseado em um LLM (Large Language Model) causal decoder-only (inicializado com Vicuna-7B), com um backbone visual (CLIP ViT-L) e um Q-former para comprimir embeddings visuais.
• Entrada/Saída Interleaved: O modelo aceita e produz sequências intercaladas de imagem e texto.
• Objetivo de Treinamento Generativo Unificado:
  • Trata tanto a previsão de palavras quanto a recuperação de imagens como processos generativos.
  • Para texto: Maximiza a probabilidade da palavra correta.
  • Para imagem: Usa um token especial [IMG] para gerar um embedding de recuperação. A probabilidade é calculada comparando esse embedding com uma fila de características (feature queue) dinamicamente atualizada que atua como um "vocabulário visual" contendo características de imagens negativas e positivas.
• Estratégia de Treinamento em Duas Etapas:
  1. Alinhamento Bidirecional Imagem-Texto: Pré-treinamento em dados intercalados (CC3M, mmc4) para aprender a gerar texto a partir de imagens e recuperar imagens a partir de texto.
  2. Ajuste Fino por Instrução Conversacional: Treinamento com dados diversificados, incluindo instruções de recuperação conversacional, conversas visuais (LLaVA) e dados de edição de imagem (InstructPix2Pix), para ensinar o modelo a seguir instruções complexas e inferir intenções.

Principais Contribuições

1. ChatSearch Dataset: O primeiro dataset focado em recuperação de imagens baseada em diálogos multimodais de múltiplas rodadas em domínio aberto, exigindo raciocínio multimodal e conhecimento do mundo.
2. ChatSearcher Model: Um modelo generativo de recuperação que processa entradas e saídas intercaladas (imagem-texto), capaz de raciocinar sobre o contexto do diálogo para recuperar imagens.
3. Desempenho Superior: O modelo demonstra capacidades excepcionais não apenas na tarefa principal, mas também em tarefas de recuperação zero-shot e conversação visual.

Resultados Experimentais

• Recuperação Conversacional (ChatSearch): O ChatSearcher superou significativamente os baselines (CLIP-t, CLIP-i, CLIP-ti e FROMAGe) em todas as sub-tarefas (t, i, m).
  • No subconjunto mChatSearch (mais complexo), alcançou uma taxa de recall média (R@10) de 74.06%, comparado a ~37% dos melhores baselines.
  • Isso demonstra que o modelo consegue entender contextos implícitos e históricos que modelos tradicionais não conseguem.
• Recuperação de Imagem Composta Zero-shot (CIRR): No benchmark CIRR, o modelo alcançou desempenho state-of-the-art (SOTA) em configuração zero-shot, superando até mesmo métodos ajustados finamente (fine-tuned).
• Recuperação Texto-para-Imagem Zero-shot: No MSCOCO e Flickr30K, o desempenho foi comparável ao CLIP, validando o alinhamento imagem-texto bidirecional.
• Conversação Visual: Em benchmarks como VQAv2, GQA e MMBench, o ChatSearcher obteve resultados comparáveis aos modelos SOTA dedicados a conversação (como Qwen-VL e LLaVA-1.5), provando sua versatilidade.

Significância e Conclusão

Este trabalho avança o estado da arte na interação homem-máquina ao transformar a recuperação de imagens de uma tarefa de busca estática para um processo conversacional dinâmico e inteligente.

• Inovação: A abordagem generativa unificada permite que o modelo "pense" sobre o contexto do diálogo e utilize conhecimento do mundo para inferir o que o usuário deseja, em vez de apenas corresponder palavras-chave.
• Aplicabilidade: O modelo suporta refinamento interativo, onde o usuário pode escolher entre candidatos e continuar a conversa, ajustando a busca em tempo real.
• Futuro: Os autores sugerem que essa abordagem de saída factual baseada em fatos (imagens recuperadas) pode ser estendida para outras modalidades (vídeo, áudio), melhorando a credibilidade e clareza das respostas de sistemas de IA.

Em resumo, o ChatSearch e o ChatSearcher estabelecem um novo paradigma para sistemas de recuperação de informações multimodais, onde a compreensão contextual profunda e a interação natural são fundamentais.