Resumo Técnico: MKG-RAG-Bench

Declaração do Problema

A geração aumentada por recuperação (RAG) melhorou o embasamento factual de grandes modelos de linguagem (LLMs), mas as abordagens existentes dependem predominantemente de corpora textuais não estruturados. Embora o RAG baseado em grafos de conhecimento (KG-RAG) aborde questões de ruído e fragmentação ao utilizar dados estruturados, os métodos atuais estão amplamente limitados a grafos de conhecimento textuais. Essa limitação restringe a aplicabilidade em cenários do mundo real onde informações críticas são transmitidas através de imagens, gráficos e tabelas.

O desafio específico abordado neste trabalho é o MKG-RAG (Multimodal Knowledge Graph-RAG), que integra conhecimento estruturado através de múltiplas modalidades. No entanto, a área carece de um benchmark dedicado para avaliar este cenário. Os benchmarks existentes para RAG multimodal (M-RAG) recuperam de corpora não estruturados, enquanto os benchmarks de KG-RAG focam em grafos textuais. Nenhum deles captura os desafios únicos do MKG-RAG, especificamente:

1. Recuperação Heterogênea: Consultas e tripletos alvo podem envolver diferentes combinações de modalidades (ex: consultas apenas de texto exigindo evidência visual, ou consultas multimodais exigindo relações textuais).
2. Alinhamento Cross-Modal: A relevância muitas vezes exige o raciocínio através de modalidades e topologia de grafo, em vez de um simples correspondência de superfície.
3. Utilidade do Benchmark: Os grafos de conhecimento multimodais existentes frequentemente contêm tripletos de baixa utilidade ou genéricos que levam a consultas ambíguas, obscurecendo a verdadeira contribuição dos mecanismos de recuperação.

A análise preliminar no artigo demonstra que a combinação ingênua de grafos de conhecimento multimodais existentes (ex: MedMKG) com tarefas de downstream resulta em degradação de desempenho em comparação com baselines livres de RAG, principalmente devido à recuperação de conhecimento irrelevante para a tarefa e à ausência de conhecimento crítico para a tarefa.

Metodologia

Os autores propõem o MKG-RAG-Bench, um benchmark cross-domain projetado para avaliar explicitamente a recuperação e a geração em MKG-RAG. O benchmark é construído usando uma pipeline de curadoria baseada em LLM, envolvendo três estágios:

1. Filtragem de Utilidade Baseada em LLM: Um LLM avalia os tripletos de grafos de conhecimento de origem (MarKG para domínios gerais e MedMKG para domínios médicos) para filtrar dados de baixa utilidade. Tripletos que geram perguntas genéricas ou que não exigem evidência externa são removidos para garantir que as consultas sejam bem fundamentadas e que a recuperação seja necessária.
2. Simulação de Completude Controlada: Para criar consultas com supervisão exata, a pipeline simula incompletude mascarando componentes de tripletos retidos.
   • Mascaramento de Relação: A relação é ocultada, exigindo inferência a partir das entidades de cabeça (head) e cauda (tail).
   • Mascaramento de Cauda: A entidade de cauda é ocultada, exigindo inferência a partir da cabeça e da relação.
   • A entidade de cabeça é preservada como uma âncora semântica para facilitar o grounding multimodal.
3. Síntese de Pergunta Híbrida: Um LLM (GPT-5) sintetiza perguntas em linguagem natural a partir dos tripletos mascarados em dois modos:
   • Apenas Texto: Para conhecimento apenas textual, gerando perguntas que visam explicitamente o componente ausente.
   • Baseada em Imagem: Para tripletos com entidades visuais, a imagem é fornecida ao LLM, e a entidade é referenciada como [Imagem] para forçar o grounding visual e evitar o emparelhamento lexical trivial.

O dataset resultante inclui pares consulta-tripletos alinhados para avaliação de recuperação e pares pergunta-resposta para avaliação de geração. O benchmark cobre cinco configurações de avaliação específicas (S1–S5) variando por modalidade de consulta (apenas texto vs. multimodal) e escopo de tripletos candidatos (apenas texto vs. multimodal vs. todos).

A estrutura de avaliação testa quatro categorias de recuperadores em um cenário sem treinamento (training-free):

• Recuperadores apenas de texto (tratando tripletos como texto puro).
• Recuperadores multimodais baseados em fusão (espaço de representação compartilhado).
• Recuperadores baseados em legendagem/captioning (convertendo imagens em texto).
• Recuperadores baseados em reranking (filtragem de múltiplos estágios).

Principais Contribuições

1. Identificação de uma Lacuna de Pesquisa: O trabalho destaca que a recuperação em MKG-RAG é subexplorada e insuficientemente avaliada na pesquisa atual de RAG multimodal.
2. Primeiro Benchmark Cross-Domain de MKG-RAG: A introdução do MKG-RAG-Bench, composto por dois grafos de conhecimento multimodais e datasets de QA correspondentes, permitindo a avaliação sistemática tanto da qualidade de recuperação quanto da geração downstream.
3. Pipeline de Curadoria Principiada: Uma nova pipeline usando LLMs para abordar desafios em recuperação heterogênea, alinhamento multimodal e utilidade de benchmark, filtrando conhecimento de baixa utilidade e gerando consultas estruturalmente fundamentadas.
4. Estrutura de Avaliação Unificada: Experimentos abrangentes em diversos cenários multimodais demonstrando o papel crítico de uma recuperação eficaz no desempenho de ponta a ponta do MKG-RAG.

Resultados

Experimentos extensivos foram conduzidos nos datasets MKG-RAG-Bench-G (geral) e MKG-RAG-Bench-M (médico) utilizando arquiteturas de recuperadores representativas. As principais descobertas incluem:

• Dificuldade de Recuperação: A recuperação multimodal eficaz continua sendo um desafio significativo. No domínio médico (MedMKG), recuperadores multimodais (Fusão, Reranking) superaram significativamente os recuperadores apenas de texto e baseados em captioning em cenários multimodais, mas o desempenho variou drasticamente dependendo do alinhamento de modalidade.
• Impacto da Modalidade:
  • No domínio geral, recuperadores baseados em Fusão alcançaram o maior NDCG@K e Recall@K (ex: ~62% de Recall@100 para consultas multimodais com tripletos multimodais), superando abordagens de apenas texto e captioning.
  • No domínio médico, recuperadores baseados em Reranking mostraram desempenho superior em cenários multimodais complexos (ex: ~51% de Recall@100 para consultas multimodais com todos os tripletos), sugerindo que pipelines de múltiplos estágios são eficazes para lidar com dados médicos ruidosos ou complexos.
• A Recuperação Determina a Geração: O artigo estabelece que a qualidade da recuperação determina fortemente os resultados da geração. Uma recuperação ruim leva à injeção de ruído ou à ausência de fatos críticos, degradando a qualidade da resposta final.
• Comparação de Baseline: Em estudos preliminares usando grafos existentes sem curadoria, modelos livres de RAG frequentemente superaram modelos aumentados por recuperação, ressaltando a necessidade do dataset curado e de alta utilidade fornecido pelo MKG-RAG-Bench.

Significância

O artigo afirma que o MKG-RAG-Bench fornece uma base principada para diagnosticar as limitações atuais dos sistemas de conhecimento multimodal. Ao isolar a recuperação como um alvo de avaliação de primeira classe, o benchmark permite que pesquisadores:

• Distinguam melhorias decorrentes de uma recuperação eficaz versus aquelas provenientes de priors generativos.
• Cubram sistematicamente diversas configurações de modalidade para refletir usos reais.
• Avançem o desenvolvimento de recuperadores mais poderosos especificamente projetados para conhecimento estruturado e multimodal.

O trabalho afirma que, sem tal benchmark, as verdadeiras capacidades e limitações dos sistemas MKG-RAG permanecem obscurecidas pelo desalinhamento entre fontes de conhecimento, objetivos de recuperação e métricas de avaliação.