💬 NLP

MiRAGE: A Multiagent Framework for Generating Multimodal Multihop Question-Answer Dataset for RAG Evaluation

O MiRAGE é um framework multiagente que gera conjuntos de dados de perguntas e respostas multimodais, de múltiplos saltos (multi-hop), de domínio específico e verificados para abordar a falta de benchmarks especializados para avaliar sistemas de Geração Aumentada por Recuperação em aplicações empresariais de alto risco.

Autores originais: Chandan Kumar Sahu, Premith Kumar Chilukuri, Matthew Hetrich

Publicado 2026-01-23

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Chandan Kumar Sahu, Premith Kumar Chilukuri, Matthew Hetrich

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô muito inteligente, mas um pouco ingênuo, a ler um manual complexo de uma usina nuclear. O manual não é apenas palavras; é cheio de gráficos, diagramas 3D e tabelas. Se você apenas fizesse perguntas simples ao robô como "Qual é a pressão?", ele poderia adivinhar ou inventar coisas porque não aprendeu a conectar os pontos entre uma imagem na página 10 e uma frase na página 50.

Este é o problema que o MiRAGE resolve.

O Problema: O Robô de "Um Passo Só"

Os sistemas de IA atuais (chamados de RAG, ou Geração Aumentada por Recuperação) são como estudantes que são ótimos em encontrar uma única frase em um livro para responder a uma pergunta. Mas no mundo real — como nas finanças, medicina ou engenharia — as respostas raramente estão em um só lugar. Elas estão espalhadas. Você pode precisar olhar para um gráfico, ler uma regulamentação e verificar uma tabela, tudo ao mesmo tempo, para obter a resposta correta.

Os testes existentes para esses sistemas de IA são fáceis demais. Eles usam perguntas simples de notícias gerais ou da Wikipedia. Eles não testam se a IA consegue lidar com os quebra-cabeças bagunçados, de múltiplas imagens e múltiplos passos, encontrados em documentos corporativos reais.

A Solução: Uma Equipe de Especialistas Especializados (MiRAGE)

Os autores criaram o MiRAGE, que significa um framework multiagente para avaliação de RAG (Multiagent framework for RAG Evaluation). Em vez de pedir a uma única IA para fazer tudo, o MiRAGE atua como uma equipe de construção ou uma redação de jornal, onde diferentes especialistas trabalham juntos para construir um teste perfeito.

Veja como o seu "enxame" de agentes de IA funciona, usando uma analogia simples:

O Bibliotecário (Ingestão de Dados):
Imagine uma biblioteca bagunçada onde livros estão misturados com plantas e gráficos. O agente Bibliotecário não apenas escaneia o texto; ele olha para as imagens e tabelas, descreve-as em palavras e organiza tudo em pilhas lógicas e organizadas. Ele garante que a conexão entre um gráfico e sua legenda não seja perdida.
O Detetive (Construção de Contexto):
Este agente é o mestre do "multi-hop" (múltiplos saltos). Se você fizer uma pergunta, o Detetive não apenas pega a primeira página que parece relevante. Ele começa com uma pista, percebe que falta informação e sai em busca de mais pistas. Ele continua cavando até ter reunido todas as peças de evidência espalhadas necessárias para resolver o quebra-cabeça. Ele constrói uma "janela de contexto semântico", que é apenas um jeito sofisticado de dizer que ele monta a história completa antes de responder.
O Especialista (Injeção de Persona):
O sistema sabe que está lidando com um campo específico, como Finanças ou Biologia. Ele coloca um "chapéu" (uma persona) de um especialista sênior naquela área. Isso garante que as perguntas que ele gera soem como se tivessem vindo de um profissional real, e não de um robô genérico. Ele faz perguntas profundas e dedutivas que exigem compreensão real.
O Verificador de Fatos (Verificador Adversário):
Esta é a parte mais crítica. Assim que a equipe gera uma pergunta e uma resposta, o Verificador de Fatos entra em cena. Ele atua como um editor cético. Ele olha para a resposta e diz: "Espere, o documento realmente diz isso?". Se a IA inventou um número ou conectou dois fatos não relacionados, o Verificador de Fatos joga a resposta no lixo. Isso evita "alucinações" (inventar coisas).
O Editor (Refinamento):
Finalmente, um agente Editor olha para todas as perguntas geradas para garantir que elas não sejam todas iguais. Ele remove duplicatas e garante que o teste final cubra uma grande variedade de tópicos, exatamente como um exame real.

O Que Eles Descobriram

A equipe testou este framework em quatro tipos de documentos muito diferentes:

Finanças: Relatórios anuais cheios de tabelas complexas.
Regulamentações: Regras governamentais estritas com lógica pesada.
Ciência: Artigos de biologia com modelos moleculares 3D.
Jornalismo: Artigos de opinião de jornais.

Os Resultados:

Perguntas Mais Difíceis: As perguntas que o MiRAGE criou foram significativamente mais difíceis. Em média, responder a elas exigiu a conexão de mais de 2,3 diferentes partes de informação (saltos), enquanto os testes padrão geralmente exigem apenas 1.
Respostas Verdadeiras: Devido ao Verificador de Fatos, as respostas foram altamente precisas e fundamentadas nos documentos reais.
A Lacuna Visual: O sistema é ótimo com texto, mas ainda tem certa dificuldade com o raciocínio puramente visual. Os autores descobriram que, se dessem à IA uma descrição textual de uma imagem, ela funcionava bem. Mas se a IA tivesse que "ver" a imagem diretamente sem uma descrição, às vezes ficava confusa. Eles chamam isso de uma "fronteira" que ainda precisa de trabalho.

O Ponto Principal

O MiRAGE é uma ferramenta que constrói automaticamente exames de "Padrão de Ouro" para sistemas de IA. Em vez de usar perguntas fáceis e genéricas, ele cria testes difíceis e realistas baseados nos próprios documentos bagunçados de uma empresa. Isso ajuda as empresas a saberem se sua IA é realmente inteligente o suficiente para lidar com tarefas de alto risco, ou se ela está apenas chutando.

Em resumo: O MiRAGE é uma equipe de especialistas de IA que constrói um quebra-cabeça complexo de vários passos, resolve o problema, verifica o trabalho e, então, usa esse quebra-cabeça para testar se outras IAs estão realmente prontas para o mundo real.

Resumo Técnico: MiRAGE

Declaração do Problema

A rápida implantação de sistemas de Geração Aumentada de Recuperação (RAG) em domínios empresariais de alto risco (ex: diagnóstico médico, energia eólica, finanças) superou o desenvolvimento de benchmarks de avaliação adequados. Os conjuntos de dados existentes, como Natural Questions ou MS MARCO, baseiam-se em corpora de domínio geral e recuperação puramente textual, falhando em capturar a complexidade de documentos técnicos especializados. O conhecimento do mundo real nesses domínios é frequentemente inextricavelmente multimodal (preso em gráficos, diagramas e layouts complexos) e requer raciocínio de múltiplos saltos (multi-hop) para sintetizar fragmentos distintos de evidência.

Os métodos atuais de geração de conjuntos de dados sintéticos (ex: DataMorgana, SMMQG) tipicamente empregam estratégias lineares que carecem de mecanismos de feedback robustos, resultando frequentemente em conjuntos de dados alucinados que falham em abordar simultaneamente a especificidade do domínio, a multimodalidade e o raciocínio complexo. Há uma necessidade crítica de conjuntos de dados de avaliação de padrão ouro que reflitam a estrutura temática latente de corpora proprietários para avaliar rigorosamente os sistemas de recuperação de informação de próxima geração.

Metodologia: O Framework MiRAGE

O MiRAGE (Framework Multiagente para Avaliação de sistemas RAG) é um framework multiagente agnóstico ao modelo, projetado para automatizar a geração de conjuntos de dados de Pergunta-Resposta (QA) verificados, específicos de domínio, multimodais e de múltiplos saltos. O framework orquestra um enxame colaborativo de agentes especializados através de cinco fases distintas:

Ingestão de Dados Multimodais e Segmentação Semântica:
- Um pipeline de parsing híbrido utiliza um motor de análise de layout de documento e um Agente de Descrição baseado em Modelo de Linguagem de Visão (VLM) para gerar descrições textuais densas para elementos visuais (tabelas, gráficos).
- Um agente de segmentação semântica segmenta os documentos usando uma janela deslizante com uma função de otimização que minimiza a descontinuidade semântica enquanto evita a fragmentação excessiva de tabelas e blocos de texto.
Identificação de Persona de Especialista e Domínio:
- Um agente realiza a análise global do corpus usando aprendizagem de variedades (manifold learning) e agrupamento baseado em densidade para descobrir estruturas temáticas latentes.
- Ele sintetiza uma Persona de Especialista ( $P_C$ ) e um Domínio ( $D_C$ ) específicos (ex: "Analista de Relatórios Financeiros") para condicionar os agentes de geração subsequentes, garantindo que a saída imite fluxos de trabalho cognitivos de especialistas em vez de simples correspondência de palavras-chave.
Construção de Contexto Semântico de Múltiplos Saltos (Multi-hop):
- Um loop de recuperação recursivo expande um chunk inicial (pedaço de dado) em um contexto semântico completo ( $C_s$ ).
- Um agente multimodal analisa o contexto atual para detectar informações ausentes, gerando novas consultas de busca.
- Uma estratégia de recuperação híbrida (embedding + reclassificação multimodal) busca candidatos, que são verificados por um agente para garantir que adicionem estritamente utilidade e evitem o desvio de contexto. Este processo continua até que o contexto seja considerado completo.
Geração e Verificação de QA Agêntica:
- Um Agente de Geração de QA formula perguntas complexas de múltiplos saltos baseadas no contexto expandido, na persona de especialista e no domínio.
- Um Agente Verificador Adversário checa os fatos das respostas geradas contra o contexto de origem. Ele avalia a Correção (suporte factual) e a Necessidade (se a pergunta requer o contexto específico para ser respondida), filtrando alucinações.
Refinamento e Deduplicação:
- Um processo de agrupamento hierárquico agrupa pares de QA por temas semânticos e redundância de resposta.
- Um agente de refinamento sintetiza pares de QA unificados a partir de clusters de alta similaridade para garantir diversidade e maximizar a cobertura semântica, minimizando a redundância.

Principais Contribuições

Framework Multiagente Agnóstico ao Modelo: O MiRAGE automatiza a ingestão e a segmentação semântica de documentos multimodais complexos, preservando as dependências semânticas entre texto e elementos visuais.
Metodologia Generativa Inovadora: O framework utiliza expansão de contexto recursiva e injeção de persona para produzir pares de QA de múltiplos saltos que exigem dedução lógica entre chunks distintos, superando a complexidade da QA extrativa.
Validação Empírica: Avaliações extensas em quatro domínios distintos (Regulamentação, Finanças, Biologia Quantitativa e Jornalismo) demonstram que o MiRAGE gera conjuntos de dados com complexidade de raciocínio significativamente maior (média de saltos > 2.3) e fidelidade factual.
Insights de Ablação: O estudo revela que a injeção de domínio/persona, a construção de contexto de múltiplos saltos e a verificação de QA são cruciais para a qualidade do dataset. Observou-se ainda que, embora o grounding visual permaneça uma fronteira, o MiRAGE pode ser alimentado por LLMs se as descrições textuais das imagens estiverem disponíveis.

Resultados Experimentais

Os autores avaliaram o MiRAGE em 1.000 pares de QA gerados de cada um de quatro corpora: Relatórios Anuais da S&P Global (Finanças), UNECE GTRs (Regulamentação), artigos de Biologia Quantitativa (Ciência) e Opiniões do NYTimes (Jornalismo).

Complexidade de Raciocínio: O MiRAGE gerou consistentemente perguntas de múltiplos saltos. A contagem média de saltos excedeu 2.3 para os domínios de Finanças, Regulamentação e Ciência, atingindo o pico de 2.84 (Finanças, Gemini 2.5 Flash). O domínio de Jornalismo apresentou menor complexidade (~1.2), atribuída à natureza menos conectada do corpus.
Fidelidade e Relevância: O verificador adversário provou ser eficaz, com pontuações de fidelidade consistentemente acima de 0.91 para três dos quatro domínios e pontuações de relevância excedendo 0.81 em todos os experimentos.
Grounding Visual: Isso permanece um desafio. As pontuações de grounding visual foram moderadas (máximo de 0.45), indicando que, embora os modelos possam descrever imagens, gerar perguntas complexas que exijam raciocínio preciso sobre elementos visuais específicos é difícil. Os autores hipotetizam que as descrições geradas podem tornar os elementos visuais parcialmente redundantes, baixando as pontuações de grounding.
Descobertas de Ablação:
- Remover a etapa de Contexto de Múltiplos Saltos (Multihop) causou um colapso nas pontuações de dificuldade (0.85 $\to$ 0.61) e um aumento massivo na divergência de Jensen-Shannon (4.35), indicando perda de alinhamento de domínio.
- Remover o Agente Verificador causou a queda mais significativa na fidelidade (0.97 $\to$ 0.74), confirmando seu papel na mitigação de alucinações.
- Remover a Injeção de Domínio/Persona reduziu a dificuldade das perguntas (0.85 $\to$ 0.52), mostrando que, sem essas condições, os modelos recorrem ao raciocínio genérico.
- Representação de Dados: A configuração "Apenas Descrição" (Description Only) teve desempenho comparável à configuração multimodal completa, sugerindo que LLMs podem alimentar efetivamente o framework se as descrições de imagens estiverem disponíveis.

Significância e Alegações

O artigo afirma que o MiRAGE fornece a infraestrutura necessária para avaliar rigorosamente a próxima geração de sistemas de recuperação de informação. Ao automatizar a criação de conjuntos de dados de avaliação de padrão ouro que refletem a estrutura temática latente de corpora proprietários, o MiRAGE aborda a lacuna crítica na avaliação de sistemas RAG para cenários de alto risco, multimodais e de múltiplos saltos.

Os autores posicionam o MiRAGE como uma solução que transcende as limitações de pipelines sintéticos lineares. Ao orquestrar um enxame de agentes especializados, o framework produz conjuntos de dados que exibem raciocínio dedutivo profundo e estrita adesão factual. Embora reconheçam que o grounding visual permanece uma fronteça e que a arquitetura multiagente é computacionalmente intensiva, o artigo afirma que o MiRAGE estabelece um padrão robusto para a geração automatizada de datasets, permitindo que organizações testem seus sistemas RAG contra as complexidades específicas de seus próprios dados.