M$^3$-VQA: A Benchmark for Multimodal, Multi-Entity, Multi-Hop Visual Question Answering

1. Declaração do Problema

Os Modelos de Linguagem Multimodal de Grande Escala (MLLMs) atuais destacam-se na percepção de nível superficial e no raciocínio de senso comum, mas lutam com a compreensão de entidades de granularidade fina e o raciocínio complexo de múltiplas etapas em cenários do mundo real. Os benchmarks existentes de Resposta Visual a Perguntas (VQA) (por exemplo, OK-VQA, A-OKVQA) focam principalmente em:

• Categorias de granularidade grosseira: Objetos básicos em vez de entidades nomeadas específicas (por exemplo, "um cachorro" vs. "uma raça específica de cachorro").
• Raciocínio de entidade única: As perguntas geralmente giram em torno de uma entidade primária.
• Inferência simples: A maioria das perguntas requer apenas um ou dois passos de raciocínio.

Essas limitações falham em desafiar os MLLMs em tarefas que exigem a integração de informações de múltiplas fontes visuais e textuais, cadeias lógicas sequenciais e a recuperação de conhecimento externo específico.

2. Metodologia: O Benchmark M3-VQA

Os autores introduzem o M3-VQA, um novo conjunto de dados e framework de avaliação projetado para testar simultaneamente três capacidades principais: compreensão Multimodal, interação Multi-Entidade e raciocínio Multi-Etapas.

A. Construção do Conjunto de Dados

• Fontes: As imagens são obtidas de conjuntos de dados de granularidade fina (por exemplo, CelebTo para celebridades, FGVD para veículos, LogosInTheWild) e coletadas manualmente via busca na web para garantir cenas diversas e multi-entidade.
• Vinculação de Entidades: As entidades são mapeadas para IDs do Wikidata e vinculadas às páginas correspondentes da Wikipedia, criando uma base de conhecimento rastreável.
• Geração de Perguntas:
  • Multi-Etapas Paralelas: As perguntas exigem raciocínio independente sobre múltiplas entidades (visuais ou textuais) seguido de síntese (por exemplo, comparar as origens de dois animais diferentes em uma imagem).
  • Multi-Etapas Sequenciais: As perguntas usam "entidades de ligação" onde a resposta a uma subpergunta se torna a entrada para a próxima (por exemplo, Identificar um estádio $\rightarrow$ Determinar o esporte jogado lá $\rightarrow$ Encontrar o país de origem desse esporte).
• Escala e Complexidade: O conjunto de dados contém 13.125 tripletas (Imagem, Pergunta, Resposta).
  • Entidades: Média de 2,8 entidades por pergunta (variando até 4+).
  • Etapas: Média de 3,1 etapas de raciocínio (variando até 4+).
  • Base de Conhecimento: Uma base de conhecimento multimodal curada de ~2 milhões de páginas da Wikipedia com anotações de evidência dourada (sentenças/seções específicas que suportam a resposta).

B. Protocolos de Avaliação

Os autores avaliam 16 MLLMs líderes (incluindo GPT-4o, Qwen2.5-VL, InternVL2.5, LLaVA-OneVision) sob três configurações distintas:

1. Original (Sem Evidência): O modelo confia apenas no conhecimento interno e na imagem.
2. Oráculo (Evidência Dourada): O modelo recebe a evidência exata de verdade fundamental (sentença/seção) necessária para responder.
3. KB (Aumentada por Recuperação): O modelo deve recuperar evidências relevantes da base de conhecimento externa usando duas estratégias:
   • Recuperação Heurística: Busca de texto/imagem em um único tiro usando a consulta completa.
   • Recuperação Agêntica: Um framework multiagente (Planejador, Executor, Solucionador) que decompõe perguntas complexas, segmenta imagens e recupera informações iterativamente.

C. Métricas

• Interseção sobre União (IoU): Usada para lidar com perguntas com múltiplas respostas válidas ou aliases, fornecendo uma medida de precisão mais robusta do que a correspondência exata.
• Rastreabilidade: A capacidade de vincular a resposta final de volta aos passos de evidência específicos.

3. Contribuições Principais

1. Novo Benchmark: O M3-VQA é o primeiro benchmark de VQA a exigir simultaneamente reconhecimento de múltiplas entidades de granularidade fina, raciocínio multi-estapas paralelo e sequencial e recuperação de uma base de conhecimento multimodal de grande escala.
2. Framework de Avaliação Abrangente: Introduz um protocolo de teste rigoroso comparando modelos sem conhecimento, com conhecimento perfeito (Oráculo) e com mecanismos de recuperação, isolando onde os modelos falham (aquisição de conhecimento vs. raciocínio).
3. Framework de Recuperação Agêntica: O artigo propõe e valida uma abordagem de Recuperação Agêntica que supera os métodos heurísticos tradicionais ao decompor consultas complexas e realizar planejamento iterativo.
4. Recursos Abertos: O conjunto de dados, o código e a base de conhecimento estão disponíveis publicamente para fomentar pesquisas futuras.

4. Resultados Experimentais

A avaliação de 16 modelos revela lacunas significativas nas capacidades atuais dos MLLMs:

• Desempenho Pobre sem Conhecimento Externo:
  • Mesmo o melhor modelo (Qwen2.5-VL-72B) alcança apenas 32,6% de precisão na configuração "Original".
  • Modelos de linguagem puros performam pior do que modelos visão-linguagem, confirmando que descrições de imagem sozinhas são insuficientes para detalhes de entidades de granularidade fina.
• Papel Crítico da Evidência:
  • Fornecer evidência dourada (configuração Oráculo) impulsiona significativamente o desempenho (por exemplo, Qwen2.5-VL-72B atinge 58,4%).
  • No entanto, mesmo com evidência perfeita, os modelos não atingem 100%, indicando que as capacidades de raciocínio (integrar fatos de múltiplas etapas) permanecem um gargalo, não apenas a recuperação de conhecimento.
• Estratégias de Recuperação:
  • A Recuperação Agêntica supera significativamente a Recuperação Heurística. Para o Qwen2.5-VL-72B, a Recuperação Agêntica alcançou 38,9% vs. 36,6% da Heurística.
  • Métodos heurísticos sofrem com "consultas sobrecarregadas" ao lidar com múltiplas entidades, enquanto métodos agênticos decompõem com sucesso o problema.
• Impacto da Complexidade:
  • A precisão cai monotonicamente à medida que o número de etapas de raciocínio e entidades aumenta.
  • Curiosamente, na configuração "Original", os modelos às vezes performam melhor em perguntas de etapas mais altas porque o texto da pergunta em si contém os nomes das entidades necessárias (conhecimento geral), enquanto o raciocínio visual de granularidade fina falha sem evidência.

5. Significado e Direções Futuras

• Novo Padrão para Raciocínio: O M3-VQA estabelece uma barra mais alta para avaliar MLLMs, indo além da percepção simples para o raciocínio complexo e estruturado exigido em aplicações do mundo real (por exemplo, diagnóstico médico, análise de documentos jurídicos, pesquisa científica).
• Destacando a "Lacuna de Raciocínio": Os resultados demonstram que os modelos atuais dependem fortemente de informações externas e lutam para realizar integração lógica de múltiplos passos, mesmo quando essa informação é fornecida.
• Avançando a Geração Aumentada por Recuperação (RAG): O sucesso da Recuperação Agêntica sugere que os MLLMs futuros devem incorporar planejamento e raciocínio iterativo em vez de recuperação simples em um único tiro para lidar com tarefas multimodais complexas.
• Limitações: O conjunto de dados é atualmente apenas em inglês e depende da Wikipedia. Trabalhos futuros devem expandir para outros idiomas e domínios especializados (por exemplo, biomédico, jurídico).

Em conclusão, o M3-VQA expõe as limitações atuais dos MLLMs na compreensão de granularidade fina e no raciocínio complexo, fornecendo um caminho crítico para o desenvolvimento de agentes multimodais mais robustos, integrados ao conhecimento e capazes de raciocínio.