🤖 AI

Reason Before You Retrieve: Agentic Planning for Multi-modal RAG

O artigo propõe o MM-R2, um framework de agente multimodal que melhora a geração aumentada por recuperação ao raciocinar explicitamente sobre alvos de recuperação e estruturar o espaço de busca por meio de um KnowledgeMap, apoiado por um novo conjunto de dados de trajetória e uma estratégia de pós-treinamento de dois estágios para alcançar precisão e interpretabilidade superiores em conjuntos de dados de referência.

Autores originais: Tianyu Yang, Shir Simon, Zhenzhen Li, Minhao Cheng, Xiangliang Zhang

Publicado 2026-07-28

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Tianyu Yang, Shir Simon, Zhenzhen Li, Minhao Cheng, Xiangliang Zhang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando resolver um mistério, mas em vez de uma única pista, você tem uma pilha gigante e bagunçada de livros, fotos e mapas jogados em uma grande caixa. Este é o mundo da "Geração Aumentada de Recuperação Multimodal" (mRAG). É uma forma sofisticada de dizer que queremos que os computadores respondam perguntas sobre imagens buscando fatos em uma enorme biblioteca. Normalmente, quando um computador tenta fazer isso, ele age um pouco como um comprador frenético em um supermercado imenso: ele pega uma pergunta, grita para toda a loja e espera que os primeiros itens que encontrar nas prateleiras sejam os corretos. O problema é que o computador frequentemente pega as coisas erradas porque não entende realmente o que está procurando ou onde esse item pode estar escondido na loja. É como pedir por "o carro vermelho" e receber a foto de uma maçã vermelha porque o computador apenas viu a palavra "vermelho" e pegou a primeira coisa vermelha que encontrou.

É aqui que entra o novo artigo. Os pesquisadores perceberam que, antes mesmo de começar a busca, você precisa parar e pensar. Eles chamam seu novo sistema de MM-R2, que significa "Reason Before You Retrieve" (Raciocinar Antes de Recuperar). Em vez de gritar cegamente para o vazio, o MM-R2 age como um detetive inteligente. Primeiro, ele olha para a imagem e para a pergunta juntas para entender exatamente qual é a "pista" (o objeto específico na foto) e que tipo de informação é necessária. Então, em vez de vasculhar toda a caixa bagunçada, ele consulta um mapa especial e organizado da biblioteca chamado "KnowledgeMap" (Mapa de Conhecimento). Ele escolhe o corredor certo, pega o livro certo, lê e decide se precisa procurar em outro lugar. O artigo sugere que, ao realizar esse passo de "pensar primeiro", o computador encontra muito melhor as respostas certas e pode até mostrar seu trabalho, provando exatamente como resolveu o mistério.

A Nova Estratégia do Detetive

A ideia central deste artigo é que os computadores são atualmente apressados demais para entrar em ação. Quando você faz uma pergunta ao computador, como "Que tipo de pássaro está nesta foto?", enquanto mostra uma foto, os sistemas atuais muitas vezes apenas misturam as palavras e a imagem e começam a pesquisar tudo de uma vez. Os autores argumentam que isso é um erro. Eles descobriram que esses sistemas ficam confusos porque não sabem qual parte da imagem importa ou qual fato específico precisam. É como tentar encontrar uma receita específica em uma biblioteca pesquisando a palavra "bolo" em todos os livros do edifício, em vez de ir direto para a seção de "Panificação".

Para corrigir isso, a equipe construiu o MM-R2, um sistema que força o computador a pausar e planejar antes de pesquisar. Eles dividem o processo em três etapas divertidas:

O Plano do "O Quê" e "Onde": Antes de pesquisar, o sistema cria um "estado de recuperação". Pense nisso como escrever uma lista de compras perfeita. Ele identifica a Necessidade de Informação (o que eu preciso saber?), o Referente Ancorado (de qual coisa específica na foto estou falando?) e as Restrições (preciso de uma data? um local? um nome científico?). Isso impede que o computador se distraia com detalhes irrelevantes.
O Mapa Organizado (KnowledgeMap): Os pesquisadores perceberam que pesquisar uma lista de fatos plana e bagunçada é ineficiente. Por isso, organizaram sua biblioteca em um KnowledgeMap. Imagine que a biblioteca não é apenas uma pilha de livros, mas um conjunto de caixas rotuladas ordenadamente: uma caixa para "Pássaros", uma para "Carros", uma para "História". Quando o computador tem sua lista de compras, ele não pesquisa a biblioteca inteira; primeiro, ele decide qual caixa abrir. Isso é chamado de "roteamento".
O Ciclo do Detetive: Uma vez que o computador escolhe a caixa certa (unidade de recuperação), ele pesquisa dentro dessa caixa pela resposta específica. Se encontrar a resposta, ótimo! Se não, ele pode decidir escolher uma caixa diferente ou fazer uma pergunta mais específica. Ele continua fazendo isso até ter evidências suficientes para resolver o caso.

Como Eles Ensinaram o Computador a Pensar

Você pode se perguntar: "Como um computador aprende a planejar como um detetive?". Os autores não apenas disseram ao computador para "ser inteligente". Em vez disso, criaram um enorme conjunto de dados de treinamento chamado MM-R2-Traj. Este conjunto contém 900.000 exemplos de "processos de pensamento".

Imagine um professor mostrando a um aluno como resolver um quebra-cabeça. O professor não dá apenas a resposta; ele mostra os passos: "Primeiro, olhe para as peças dos cantos. Depois, separe por cor. Então, tente encaixar estas duas". Os pesquisadores usaram uma IA "professora" para gerar essas histórias passo a passo para a IA "aluna". Eles ensinaram o aluno a:

Analisar a imagem e a pergunta para fazer um plano.
Escolher a "caixa" certa (unidade do KnowledgeMap).
Fazer uma pergunta específica dentro dessa caixa.
Resumir o que encontrou.
Decidir se terminou ou se precisa procurar novamente.

Eles treinaram o computador em duas etapas. Primeiro, usaram o Ajuste Fino Supervisionado (SFT), que é como ter o aluno copiando as notas do professor para aprender as regras básicas. Depois, usaram a Otimização de Política Relativa de Grupo (GRPO), que é como um jogo onde o aluno tenta diferentes estratégias e, se obtiver a resposta correta, ganha uma pontuação alta. Se errar, ele aprende a tentar um caminho diferente na próxima vez. Isso ajudou o computador a se tornar muito bom em fazer as escolhas certas.

Os Resultados: Mais Inteligentes e Claros

Quando testaram o MM-R2 em dois grandes desafios — InfoSeek (um conjunto de dados com 1,3 milhão de pares imagem-pergunta) e VQA Enciclopédica (um teste de conhecimento do tipo enciclopédico) — os resultados foram impressionantes.

No teste InfoSeek, o MM-R2 acertou a resposta 54,3% das vezes no geral. Este é um salto significativo comparado a outros sistemas inteligentes, que geralmente orbitavam em torno de 46-47%. Na parte específica de "Pergunta Não Vista" do teste (onde o computador deve lidar com perguntas que nunca viu antes), o MM-R2 marcou 56,0%, superando o recorde anterior por uma margem sólida. Mesmo no teste de VQA Enciclopédica, ele atingiu 39,4%, mostrando que funciona bem mesmo quando as perguntas são muito específicas e difíceis.

Mas o artigo sugere algo ainda mais importante do que apenas obter uma pontuação alta: transparência. Como o MM-R2 planeja seus passos, podemos realmente ver como ele resolveu o problema.

Melhor Roteamento: O sistema escolheu corretamente a "caixa" certa (unidade do KnowledgeMap) 74% das vezes, comparado a apenas 23% dos sistemas antigos. Ele parou de perder tempo procurando nos lugares errados.
Explicações Mais Claras: Quando o sistema explicava sua resposta, era mais conciso e focado. A pontuação de "Fidelidade" (que verifica se a resposta realmente veio das evidências encontradas) foi de 0,90, o que significa que a resposta foi quase inteiramente baseada nos fatos encontrados, não apenas um palpite.

O Que Isso Significa

O artigo sugere que a antiga maneira de apenas "pesquisar tudo" está atingindo um limite. Ao forçar o computador a raciocinar antes de recuperar, podemos construir sistemas que não são apenas mais inteligentes, mas também mais confiáveis. Eles não apenas adivinham; eles seguem um caminho lógico, verificam seu trabalho e podem mostrar exatamente como encontraram a resposta. É a diferença entre uma caça ao tesouro caótica e uma missão de detetive bem planejada. Embora os pesquisadores observem que esta é uma abordagem específica para a IA multimodal e não resolve todos os problemas do mundo, os resultados sugerem que tirar um momento para pensar antes de agir é uma estratégia poderosa para o futuro dos computadores inteligentes.

Resumo Técnico: Raciocinar Antes de Recuperar: Planejamento Agêntico para RAG Multimodal

Problema

A Geração Aumentada por Recuperação Multimodal (mRAG) visa responder a consultas de imagem-texto aproveitando o conhecimento externo. No entanto, os sistemas existentes normalmente empregam um pipeline de "recuperar-então-gerar" que opera sobre um espaço de evidências plano e fracamente estruturado. Os autores identificam duas limitações críticas neste design prevalecente:

Ambiguidade de Intenção de Recuperação: Em configurações multimodais, a questão textual define a necessidade de informação, enquanto a imagem fundamenta o referente visual específico. Os sistemas existentes frequentemente falham em ancorar explicitamente a consulta ao referente visual correto, levando ao desvio de recuperação em direção a priors textuais ou correspondências genéricas de tipo legenda, em vez de evidências específicas para o par imagem-pergunta.
Espaço de Busca Fracamente Estruturado: A maioria dos sistemas incorpora evidências diversas em um único espaço de representação e depende de funções de similaridade global. Isso força evidências semanticamente distintas a competirem em uma única etapa de classificação, muitas vezes favorecendo conteúdo genérico em detrimento de evidências precisas e específicas de domínio.

O artigo argumenta que a recuperação multimodal deve ser reformulada como "raciocinar antes de recuperar", traçando uma analogia com a Teoria do Esquema na ciência cognitiva, onde estruturas de conhecimento estruturadas guiam a atenção e o acesso à memória.

Metodologia: O Framework MM-R2

Os autores propõem o MM-R2 (MultiModal Reason-to-Retrieve), um framework de recuperação agêntica que modela explicitamente o que recuperar e onde buscar antes de executar a recuperação. O framework opera através dos seguintes componentes:

1. Módulo de Vinculação de Intenção-Referente

Antes da recuperação, o sistema constrói um estado de recuperação estruturado a partir do par imagem-pergunta $(I, Q)$ . Este módulo, denotado por $\Phi$ , produz um triplete $z = (i, r, c)$ :

$i$ (Necessidade de Informação): O conhecimento específico necessário (ex: taxonomia, localização, função).
$r$ (Referente Ancorado): O objeto, entidade ou região específica na imagem a que a consulta se refere.
$c$ (Restrições): Condições específicas da tarefa, como tipo de resposta, granularidade ou escopo temporal.

Esta etapa resolve a intenção de recuperação antes da busca, reduzindo o desvio da consulta.

2. Mapa de Conhecimento Estruturado (KnowledgeMap)

Em vez de um corpus plano, a base de conhecimento externa é pré-estruturada em um KnowledgeMap ( $K$ ), consistindo em unidades de recuperação semanticamente coerentes ( $u_1, \dots, u_N$ ).

Construção: Passagens são codificadas, agrupadas usando HDBSCAN (para lidar com densidades variáveis sem fixar previamente o número de clusters) e atribuídas metadados leves (títulos e descrições) via LLM.
Função: Atua como um arcabouço de roteamento. O agente primeiro seleciona unidades relevantes ( $a_t$ ) e então executa consultas ancoradas ( $q_t$ ) dentro dessas unidades, em vez de buscar em todo o corpus globalmente.

3. Loop de Planejamento Agêntico

O agente $A$ (um modelo de linguagem multimodal) realiza um processo de tomada de decisão sequencial:

Roteamento: Seleciona uma ou mais unidades de recuperação do KnowledgeMap com base no estado atual (intenção $z$ e histórico $h_t$ ).
Geração de Consulta: Formula uma consulta ancorada específica para a unidade selecionada.
Recuperação e Atualização: Recupera evidências $e_t$ e atualiza o histórico $h_{t+1}$ .
Decisão de Terminação: O agente decide iterativamente se continua recuperando ou se gera a resposta final $\hat{y}$ com base na evidência acumulada.

4. Estratégia de Treinamento

Para treinar o agente para realizar este planejamento de múltiplas etapas, os autores introduzem o MM-R2-Traj, um conjunto de dados de larga escala de 900 mil trajetórias de recuperação de múltiplas etapas ancoradas, sintetizadas usando um modelo professor. O treinamento segue um pipeline de pós-treinamento de dois estágios:

Estágio 1 (Fine-Tuning Supervisionado - SFT): O agente aprende a estrutura básica dos comportamentos de recuperação (seleção de unidade, geração de consulta, sumarização, geração de resposta) imitando as trajetórias estruturadas.
Estágio 2 (Otimização de Política Relativa de Grupo - GRPO): O agente é adicionalmente otimizado usando aprendizado por reforço com uma função de recompensa ao nível de rollout ( $R_i$ ) que avalia conjuntamente a qualidade do roteamento ( $R_{route}$ ) e a correção da resposta final ( $R_{ans}$ ). Isso fortalece a capacidade do agente de planejar caminhos de recuperação sob feedback de nível de tarefa.

Principais Contribuições

Framework Inovador: O MM-R2 é um framework agêntico multimodal que raciocina explicitamente sobre o alvo de recuperação e o espaço de busca antes da recuperação, tornando o "o quê" e o "onde" da recuperação interpretáveis.
Inovações Arquiteturais: O design do Módulo de Vinculação de Intenção-Referente e do KnowledgeMap fornece um estado de decisão explícito e um espaço de busca estruturado, abordando a ambiguidade e a planaridade dos sistemas mRAG anteriores.
Dataset e Treinamento: A construção do MM-R2-Traj e a adoção de uma estratégia de treinamento de dois estágios (SFT+GRPO) permitem que os agentes aprendam o planejamento de recuperação complexo de múltiplas etapas.
Análise de Nível de Processo: O framework permite uma análise leve de nível de processo, permitindo a inspeção da intenção inferida, das unidades selecionadas e das evidências separadamente.

Resultados Experimentais

Os autores avaliaram o MM-R2 em dois benchmarks: InfoSeek e Encyclopedic VQA.

Efetividade ao Nível da Tarefa: O MM-R2 supera substancialmente os fortes baselines. No InfoSeek, alcançou 54,3% de acurácia (All), melhorando em 7,8 pontos em relação ao baseline anterior mais forte (Wiki-R1-7B com 46,5%). No Encyclopedic VQA, atingiu 39,4%. Os ganhos de desempenho foram consistentes em diferentes orçamentos de recuperação (Top-1 a Top-5), com melhorias aumentando conforme o orçamento expandia, sugerindo a utilização eficaz de evidências adicionais.
Verificabilidade de Nível de Processo:
- Acurácia de Roteamento: O Route Recall@1 melhorou significamente de 0,2339 (baseline) para 0,7400, indicando que o agente identifica com sucesso as regiões corretas do KnowledgeMap.
- Qualidade do Traço: As pontuações de LLM-como-Juiz para consistência entre traço-resposta e cobertura de evidência melhoraram.
- Fidelidade: O modelo alcançou uma pontuação de fidelidade de 0,9011, indicando que a previsão final é altamente reproduzível a partir do resumo de evidências revelado, ao contrário dos baselines que frequentemente dependem de conhecimento paramétrico oculto.

Significância e Alegações

O artigo afirma que o MM-R2 demonstra que reformular a recuperação multimodal como uma tarefa de raciocínio ("raciocinar antes de recuperar") produz benefícios substanciais. Ao ancorar explicitamente a intenção de recuperação e estruturar o espaço de busca, o sistema alcança:

Maior Acurácia: A recuperação de evidências mais precisa leva a uma melhor geração de resposta.
Interpretabilidade: A trajetória de recuperação é transparente, permitindo que os usuários inspecionem o raciocínio do agente, as decisões de roteamento e o uso de evidências.
Verificabilidade: Os resumos de evidências expostos são suficientes para justificar a resposta final, reduzindo a dependência de conhecimento paramétrico de "caixa preta".

Os autores concluem que o MM-R2 oferece uma abordagem mais robusta e confiável para consultas multimodais complexas em comparação com pipelines de recuperação estáticos e planos.