QA-Dragon: Query-Aware Dynamic RAG System for Knowledge-Intensive Visual Question Answering

O artigo apresenta o QA-Dragon, um sistema dinâmico de RAG consciente da consulta que integra agentes de busca de texto e imagem para aprimorar o raciocínio em perguntas visuais complexas, demonstrando ganhos significativos de precisão no desafio Meta CRAG-MM da KDD Cup 2025.

O essencial

Imagine que você tem um amigo muito inteligente, chamado "MLLM" (um modelo de linguagem multimodal), que consegue ver fotos e responder perguntas sobre elas. Ele é ótimo em coisas óbvias, como dizer "isso é um cachorro" ou "o céu está azul". Mas, se você perguntar: "Qual é o motor exato deste carro azul e quanto ele custava quando foi lançado?", ele começa a alucinar. Ele inventa fatos porque não sabe a resposta de verdade e acha que sabe.

Para resolver isso, os pesquisadores criaram o QA-Dragon. Pense nele não como um simples amigo, mas como uma equipe de detetives de elite que trabalha para esse amigo inteligente.

Aqui está como a equipe funciona, usando analogias do dia a dia:

1. O Recepcionista Especialista (Domain Router)

Quando você chega com uma pergunta e uma foto, o primeiro a te atender é o Recepcionista.

• O que ele faz: Ele olha rapidamente para a foto e a pergunta e diz: "Ah, isso é sobre carros!" ou "Isso é sobre comida!".
• Por que é importante: Em vez de tratar todas as perguntas da mesma forma, ele chama o especialista certo. Se for sobre carros, ele chama o "Detetive de Carros". Se for sobre livros, chama o "Detetive de Livros". Isso garante que a equipe use o conhecimento específico daquele assunto.

2. O Gerente de Pesquisa (Search Router)

Depois que o especialista faz uma primeira tentativa de resposta, o Gerente entra em cena. Ele é o cérebro que decide se a equipe precisa sair para investigar ou se pode responder na hora.

• Cenário A (Resposta Direta): Se a resposta está claramente escrita na foto (ex: "O que está escrito nesta placa?"), o Gerente diz: "Não precisamos sair, a resposta já está aqui!". Isso economiza tempo.
• Cenário B (Verificação): Se a equipe acha que sabe a resposta, mas não tem certeza (ex: "Acho que é um modelo 2024, mas preciso confirmar"), o Gerente diz: "Vamos checar os registros para ter certeza".
• Cenário C (RAG - A Grande Investigação): Se a pergunta exige conhecimento que não está na foto (ex: "Quem fundou esta marca?"), o Gerente grita: "Precisamos de ajuda externa! Vamos à biblioteca e à internet!".

3. Os Detetives de Campo (Image & Text Search Agents)

Aqui é onde a mágica da "pesquisa dinâmica" acontece. Dependendo do que o Gerente pediu, diferentes agentes são enviados:

• O Detetive Visual (Image Search): Ele pega a foto, recorta a parte importante (como o carro específico) e vai a um banco de dados de imagens para encontrar fotos parecidas e ver se consegue descobrir o modelo exato. É como usar o "Google Imagens" de forma super inteligente.
• O Detetive de Texto (Text Search): Se o Detetive Visual descobriu que é um "BMW M4", o Detetive de Texto pega esse nome e vai pesquisar na internet: "Qual o preço de um BMW M4?". Ele transforma perguntas vagas em buscas precisas.

4. O Editor Chefe (Reranker)

Muitas vezes, os detetives trazem muito material: 50 páginas da internet e 20 fotos. Nem tudo é útil.

• O que ele faz: O Editor Chehe pega todo esse material e faz uma triagem rápida (Coarse) e depois uma leitura detalhada (Fine). Ele joga fora o lixo e seleciona apenas as 3 ou 4 informações mais relevantes e confiáveis para a resposta final. É como um editor de jornal que decide quais notícias vão para a capa.

5. O Auditor de Qualidade (Post-Answer Verifier)

Antes de entregar a resposta final para você, a equipe passa por um auditor.

• O que ele faz: Ele olha para a resposta e pergunta: "Isso faz sentido? A resposta está de acordo com o que encontramos nas pesquisas? Estamos inventando coisas?". Se a resposta for duvidosa, ele diz: "Não, não podemos responder isso com segurança" e pede para a equipe tentar de novo ou admitir que não sabe. Isso evita que o sistema minta.

O Resultado Final

O QA-Dragon foi testado em uma competição difícil (o KDD Cup 2025) onde as perguntas eram complexas, exigiam várias etapas de raciocínio e misturavam fotos com fatos da internet.

Por que isso é incrível?
Enquanto outros sistemas tentavam adivinhar ou pesquisar de forma desorganizada, o QA-Dragon funcionou como uma orquestra bem afinada:

1. Identificou o tipo de problema.
2. Decidiu se precisava de ajuda externa.
3. Escolheu a ferramenta certa (imagem ou texto).
4. Filtrou o melhor conteúdo.
5. Verificou se a resposta era verdadeira.

Isso resultou em respostas muito mais precisas e menos "alucinações" (mentiras criadas pelo computador), superando os concorrentes em cerca de 5% a 6% em tarefas difíceis. Em resumo, o QA-Dragon ensinou a IA a saber quando sabe a resposta, quando precisa pesquisar e como pesquisar da maneira certa.

Resumo técnico

Resumo Técnico: QA-Dragon

1. Problema

Os Modelos de Linguagem Multimodal (MLLMs) demonstraram capacidades impressionantes em tarefas de Resposta a Perguntas Visuais (VQA). No entanto, eles enfrentam desafios significativos ao lidar com consultas que exigem conhecimento de cauda longa (long-tail knowledge) e raciocínio multi-hop (múltiplos passos), frequentemente gerando respostas alucinadas ou imprecisas devido à escassez de conhecimento relevante em seus dados de treinamento.

Embora a Geração Aumentada por Recuperação (RAG) tenha sido introduzida para mitigar essas alucinações, os métodos existentes de RAG Multimodal (MM-RAG) geralmente recuperam informações de texto ou imagens de forma isolada. Essa abordagem limitada falha em lidar com consultas complexas do mundo real que exigem:

• Raciocínio híbrido (combinação de evidências visuais e textuais).
• Adaptação dinâmica a diferentes domínios de conhecimento.
• Interações multi-turno (diálogos) e raciocínio multi-hop.

2. Metodologia

O QA-Dragon é um sistema RAG dinâmico e consciente da consulta, projetado especificamente para VQA intensiva em conhecimento. O sistema orquestra agentes de busca de texto e imagem em um ambiente híbrido, decompondo o problema em três ramos principais e vários módulos modulares:

A. Módulo Pré-Resposta (Pre-Answer Module)

• Roteador de Domínio (Domain Router): Utiliza o modelo BLIP-2 (fine-tuned) para identificar o domínio semântico da consulta (ex: veículos, alimentos, livros). Isso permite a ativação de estratégias de raciocínio específicas para aquele domínio.
• D-CoT (Domain-aware Chain-of-Thought): O MLLM gera um rascunho de resposta e um traço de raciocínio passo a passo, consciente do domínio. Este módulo identifica se o modelo possui conhecimento suficiente ou se há incerteza, servindo como base para decisões de roteamento subsequentes.

B. Roteadores de Decisão

• Search Router (Roteador de Busca): Analisa o traço de raciocínio do D-CoT e classifica a consulta em um de três caminhos de execução:
  1. Direct Output: Se a resposta é autocontida e pode ser derivada apenas da imagem (ex: OCR, cálculos visuais).
  2. Search Verify: Se a resposta preliminar é provável, mas requer verificação externa para garantir precisão factual.
  3. RAG-Augment: Se a consulta depende de conhecimento externo não presente na imagem (ex: "Quem fundou esta marca?").
• Tool Router (Roteador de Ferramentas): Decide qual modalidade de busca é necessária com base no traço de raciocínio:
  • Busca de Imagem: Se o objeto não foi identificado (ex: "Que modelo é este?").
  • Busca de Texto: Se o objeto é conhecido, mas faltam atributos factuais (ex: preço, especificações).
  • Ambas: Para consultas complexas que exigem fusão de evidências.

C. Agentes de Busca e Refinamento

• Agente de Busca de Imagem: Realiza extração de objetos, segmentação (usando Grounding DINO) para focar em regiões específicas e busca em um índice de imagens similar. Inclui um módulo de seleção de entidades para garantir que os resultados visuais correspondam ao objeto da consulta.
• Agente de Busca de Texto: Realiza reescrita de consultas (Query Rephrasing) para decompor perguntas multi-hop em sub-consultas claras. Utiliza uma Busca de Fusão (Fusion Search) que combina o nome do objeto identificado visualmente com a pergunta original para criar consultas web mais precisas.
• Reranker Multimodal de Duas Etapas (Coarse-to-Fine):
  1. Reranking Grosso: Usa um modelo Q-Former para filtrar evidências com base na similaridade entre a consulta-imagem e o texto.
  2. Reranking Fino: Usa um LLM (Qwen3-Reranker) para avaliar a relevância contextual precisa, combinando pontuações de ambas as etapas para selecionar as evidências finais.

D. Módulo Pós-Resposta (Post-Answer Module)

• Gerador e Verificador: O MLLM gera a resposta final baseada nas evidências reordenadas. Um mecanismo de dupla verificação (um verificador "white-box" baseado em probabilidades de tokens e um verificador baseado em MLLM) valida a lógica e a consistência factual, rejeitando respostas com baixa confiança para evitar alucinações.

3. Contribuições Principais

1. Arquitetura Dinâmica e Híbrida: Propõe um sistema que não trata texto e imagem como silos, mas orquestra agentes de busca de ambos os modos dinamicamente com base na intenção da consulta.
2. Roteamento Inteligente: Introduz mecanismos de roteamento (Domínio, Busca e Ferramentas) que adaptam a estratégia de recuperação (direta, verificação ou geração aumentada) em tempo real, otimizando latência e precisão.
3. Raciocínio Multi-hop e Multi-turno: Capacidade de decompor consultas complexas em sub-consultas e manter o contexto em diálogos, lidando com cenários onde a imagem pode ou não ser relevante em cada turno.
4. Validação Rigorosa: Implementa um pipeline de verificação de duas etapas para garantir que as respostas finais sejam fundamentadas em evidências recuperadas de alta qualidade.

4. Resultados

O sistema foi avaliado no Meta CRAG-MM Challenge (KDD Cup 2025), um benchmark desafiador que combina fotos de óculos inteligentes, bases de conhecimento simuladas e APIs de busca web.

• Desempenho Geral: O QA-Dragon superou significativamente as linhas de base (LLM puro, CoT, RAG direto) em todas as tarefas.
  • Tarefa de Fonte Única (Single-source): Melhoria de 5,06% na precisão em relação à melhor linha de base.
  • Tarefa de Múltiplas Fontes (Multi-source): Melhoria de 6,35% na precisão.
  • Tarefa Multi-turno (Multi-turn): Melhoria de 5,03% na precisão.
• Métricas de Conhecimento: O sistema alcançou pontuações superiores de "Overlap" (sobreposição de conhecimento), indicando uma melhor alinhamento com as evidências de suporte verdadeiras.
• Estudos de Ablação: A remoção de componentes como o Roteador de Domínio ou o Reranker resultou em quedas notáveis de precisão, validando a importância de cada módulo.
• Análise por Domínio: O sistema demonstrou alta eficácia em domínios estruturados (Matemática, Texto), mas enfrentou desafios em domínios de discriminação visual fina (ex: Plantas), destacando áreas para melhoria futura.

5. Significado

O QA-Dragon representa um avanço significativo na área de VQA intensiva em conhecimento. Ao superar a limitação de sistemas RAG estáticos que recuperam dados de forma isolada, ele oferece um framework adaptativo capaz de lidar com a complexidade do mundo real, onde as respostas frequentemente exigem a síntese de percepção visual e conhecimento factual externo.

Sua abordagem de raciocínio consciente da consulta e verificação de alucinações estabelece um novo padrão para a construção de assistentes visuais confiáveis, especialmente em cenários de dispositivos vestíveis (wearables) onde a precisão e a baixa latência são críticas. O código-fonte e a metodologia oferecem uma base sólida para futuras pesquisas em sistemas multimodais autônomos e confiáveis.