ReCQR: Incorporating conversational query rewriting to improve Multimodal Image Retrieval

O artigo apresenta o ReCQR, um novo dataset e abordagem que utiliza reescrita de consultas conversacionais para melhorar a precisão da recuperação multimodal de imagens ao transformar diálogos complexos em consultas concisas e semanticamente completas.

O essencial

Imagine que você está em uma conversa com um amigo muito inteligente, mas que tem um problema: ele só entende o que você diz agora, e não lembra do que vocês conversaram há cinco minutos.

Se você disser: "Me mostra aquela foto que a gente viu antes, daquela cena nublada", ele fica confuso. "Qual cena? De quem? Onde?". Ele não tem o contexto.

É exatamente esse o problema que o artigo ReCQR tenta resolver. Vamos descomplicar essa pesquisa usando uma analogia de tradução.

1. O Problema: A "Tradução" que Falha

Hoje, quando procuramos fotos na internet, usamos sistemas de busca (como o Google Imagens). Eles são ótimos quando você digita algo completo, como "cachorro correndo na praia".

Mas, em uma conversa real, as pessoas não falam assim. Elas usam gírias, referências e deixam coisas de fora porque acham que o outro já sabe.

• Você: "Viu o jogo ontem?"
• Amigo: "Sim!"
• Você: "Me manda uma foto daquela jogada na chuva."

Para um computador, a última frase é um mistério. Ele não sabe qual jogo, nem o que é "aquela jogada". O artigo chama isso de ambiguidade. Os sistemas atuais falham aqui porque tentam adivinhar sem ter o "livro de instruções" (o histórico da conversa).

2. A Solução: O "Tradutor" de Conversas

Os autores criaram um novo sistema chamado ReCQR. Pense nele como um tradutor secreto que fica entre você e o computador de busca.

A função desse tradutor é pegar sua frase confusa e transformá-la em uma frase perfeita para a busca, usando o que vocês já conversaram.

• Sua entrada (Confusa): "Me manda uma foto daquela jogada na chuva."
• O Tradutor (ReCQR) pensa: "Ah, eles estavam falando do jogo de futebol ontem. 'Aquela jogada' é o jogador de cabeça. 'Chuva' é o tempo."
• A Saída (Perfeita): "Foto de jogador de futebol cabeceando a bola em um dia chuvoso."

Agora, o computador de busca entende perfeitamente e encontra a foto certa!

3. Como eles criaram isso? (A Fábrica de Diálogos)

Para treinar esse "tradutor", os pesquisadores precisaram de muitos exemplos de conversas ruins e suas versões boas. Como não tinham milhões de conversas prontas, eles usaram Inteligência Artificial (LLMs) para criar um "campo de treinamento".

Imagine que eles construíram uma fábrica de histórias:

1. Etapa 1 (Texto): Eles pegaram fotos de cozinha, cachorros, etc., e pediram para uma IA criar diálogos onde uma pessoa pergunta sobre a foto de forma confusa (ex: "Tem uma foto daquele fogão preto?").
2. Etapa 2 (Mistura de Fotos): Depois, eles tornaram mais difícil. Criaram diálogos onde a pessoa fala de uma foto e depois pede outra relacionada (ex: "Gostei da foto da cozinha, mas me mostra uma da sala que tem uma mesa parecida").
3. O "Juiz" (LLM-as-Judge): Eles usaram uma IA super inteligente para revisar esses diálogos e garantir que faziam sentido, como um professor corrigindo provas. Só as melhores histórias (cerca de 7.000) foram salvas.

Isso criou o ReCQR, o primeiro "livro de exercícios" do mundo para ensinar computadores a entender conversas sobre imagens.

4. O Resultado: Funciona?

Eles testaram vários modelos de IA com esse novo "livro de exercícios". O resultado foi incrível:

• Sem o tradutor: O computador achava fotos erradas (como mostrar um cachorro quando você queria um gato, só porque a palavra "cachorro" apareceu antes).
• Com o tradutor (ReCQR): A precisão aumentou drasticamente. O sistema conseguiu entender o contexto e mostrar exatamente o que a pessoa queria.

A lição principal:
Assim como um bom tradutor não apenas traduz palavras, mas entende a intenção por trás delas, o ReCQR ensina os computadores a entenderem a história por trás de uma pergunta.

Resumo em uma frase:

O ReCQR é um sistema que "traduz" nossas perguntas confusas e cheias de referências (como "aquela coisa que vimos antes") em instruções claras e diretas, permitindo que os buscadores de imagens entendam exatamente o que queremos, mesmo em conversas longas e complexas.

Resumo técnico

1. O Problema

A recuperação de imagens multimodal (encontrar imagens com base em consultas de texto) enfrenta desafios significativos em cenários de diálogo conversacional.

• Ambiguidade e Dependência de Contexto: Em conversas multivoltas, as consultas finais dos usuários frequentemente contêm referências implícitas (ex: "aquele cenário em um dia nublado") ou elipses que só fazem sentido com o histórico do diálogo.
• Limitações dos Modelos Atuais: Modelos de ponta como o CLIP funcionam bem em recuperações de "turno único" (single-turn), mas falham em ambientes conversacionais porque não conseguem resolver essas referências sem o contexto histórico.
• Ruído em Abordagens Existentes: Métodos recentes de Recuperação de Imagens Conversacional (CIR) tentam codificar todo o histórico de diálogo junto com a consulta atual, o que frequentemente introduz ruído e redundância, complicando o processo de recuperação.
• Lacuna na Pesquisa: Embora a Reescrita de Consulta Conversacional (CQR) seja eficaz em domínios puramente textuais, sua aplicação e potencial para melhorar a recuperação de imagens multimodais permanecem pouco explorados.

2. Metodologia

Os autores propõem uma abordagem em duas fases principais: a construção de um novo dataset e a avaliação de modelos de reescrita.

A. Construção do Dataset ReCQR

Foi criado o ReCQR, o primeiro benchmark para reescrita de consultas conversacionais em recuperação de imagens. O dataset contém 7.000 diálogos de múltiplas voltas e foi construído através de um pipeline escalável:

1. Geração com LLMs: Utilização de Grandes Modelos de Linguagem (LLMs) para gerar candidatos de reescrita em larga escala.
2. Pipeline de Duas Etapas:
   • Etapa 1 (Diálogos Apenas Texto): Gera diálogos baseados em uma única imagem (MSCOCO), criando consultas alvo claras e depois "elidindo" informações para simular consultas originais ambíguas baseadas no histórico.
   • Etapa 2 (Diálogos Multimodais): Cria diálogos que referenciam pares de imagens semanticamente relacionadas. Isso simula cenários onde o usuário se refere a imagens anteriores compartilhadas na conversa.
3. Controle de Qualidade:
   • Filtro Automático: Avaliação por GPT-4 com pontuação de coerência (rejeitando pontuações < 3).
   • Revisão Humana: Anotação humana independente com resolução de conflitos por um terceiro especialista.
   • Validação Semântica: Uso do ConceptNet para garantir que pares de imagens tenham relações semânticas ou de senso comum verificáveis.

B. Tarefa e Avaliação

• Objetivo: Dado um histórico de diálogo multimodal e uma consulta atual ambígua ($Oq$), o modelo deve gerar uma consulta reescrita ($\hat{q}$) que seja autocontida, sem ambiguidades e pronta para recuperação.
• Modelos Testados: Três modelos de linguagem multimodal (MLLMs) foram avaliados: Qwen2.5-VL-7B, LLaVA-v1.6-Mistral-7B e GLM-4.1V-9B.
• Backbone de Recuperação: O modelo CLIP-ViT-B/32 foi usado como recuperador fixo para garantir que as variações de desempenho fossem devidas apenas à qualidade da reescrita da consulta.
• Configuração Experimental:
  • Ajuste Fino (Fine-tuning): Os modelos foram ajustados no dataset ReCQR.
  • Configurações T (Texto) vs. M (Multimodal): Testou-se se o modelo aprendia apenas com texto ou se incorporava informações visuais do histórico.

3. Principais Contribuições

1. Extensão do CQR para Multimodal: A primeira aplicação sistemática da tarefa de Reescrita de Consulta Conversacional (CQR) no domínio de recuperação de imagens multimodais.
2. Dataset ReCQR: Construção de um dataset robusto e diversificado (7k diálogos) com anotações de alta qualidade, cobrindo tanto cenários de imagem única quanto múltiplas imagens inter-relacionadas.
3. Benchmark Abrangente: Estabelecimento de uma avaliação comparativa que demonstra como a reescrita de consultas permite que modelos de recuperação "prontos para uso" (off-the-shelf) lidem com diálogos multimodais complexos.

4. Resultados Experimentais

Os resultados, medidos por Recall@K (R@1, R@5, R@10), destacam:

• Melhoria Significativa: A reescrita de consultas (CQR) aumenta drasticamente a precisão da recuperação em comparação com o uso direto da consulta original ambígua.
  • Exemplo (Dataset Texto): O R@1 subiu de 3.6% (Consulta Original) para 19.2% (Qwen ajustado) e 22.4% (Consulta Alvo/Oracle).
• Desempenho do Oracle vs. Teto: Mesmo a "Consulta Alvo" (reescrita perfeita feita por humanos/LLM) não atinge o desempenho da legenda da imagem (Caption), indicando que a tarefa de recuperação em si é desafiadora e há espaço para melhoria na geração de consultas.
• Dificuldade Multimodal: O desempenho cai no conjunto de dados multimodal (múltiplas imagens) em comparação com o texto-only, confirmando a maior complexidade de resolver dependências entre imagens.
• Impacto do Ajuste Fino: O fine-tuning no ReCQR superou consistentemente as capacidades zero-shot dos modelos base.
• Comparação de Modelos:
  • O GLM-4.1V-9B-Thinking destacou-se no cenário de imagem única/texto.
  • O LLaVA-v1.6-Mistral-7B-HF e o GLM mostraram capacidades superiores em contextos multimodais complexos, com o LLaVA liderando em R@1 e o GLM em R@5/R@10 no cenário multimodal.
• Observação sobre Esquecimento Catastrófico: No conjunto de dados apenas texto, os modelos ajustados apenas para texto (T) superaram os ajustados para multimodal (M), sugerindo que o ajuste multimodal pode ter prejudicado a capacidade de raciocínio puramente textual em alguns casos.

5. Significado e Conclusão

O trabalho demonstra que a Reescrita de Consulta Conversacional (CQR) é um componente essencial para sistemas de diálogo multimodal futuros. Ao transformar consultas ambíguas e dependentes de contexto em representações concisas e ricas em intenção, a CQR permite que recuperadores de imagens existentes (como o CLIP) funcionem eficazmente em diálogos de múltiplas voltas.

O dataset ReCQR preenche uma lacuna crítica na pesquisa, fornecendo a base necessária para treinar e avaliar modelos que precisam entender não apenas o texto, mas também a evolução visual e semântica de uma conversa. Os resultados validam que a integração de CQR melhora substancialmente a precisão da recuperação de imagens e oferece novas direções para a modelagem de consultas em sistemas multimodais.