💬 NLP

MCite-RL: Towards Reliable Multimodal RAG via Citation-enhanced Agentic Reinforcement Learning

O artigo propõe o MCite-RL, um framework de aprendizado por reforço agêntico com citações aprimoradas que melhora a confiabilidade do RAG multimodal ao introduzir um módulo de Refinamento Agêntico iterativo para citação visual dinâmica e um mecanismo de recompensa de nível duplo para otimizar conjuntamente a precisão da resposta e a rastreabilidade da fonte.

Autores originais: Suifeng Zhao, Zida Liu, Xinyu Lei, Lei Sun, Jun Gao, Sujian Li

Publicado 2026-08-25

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Suifeng Zhao, Zida Liu, Xinyu Lei, Lei Sun, Jun Gao, Sujian Li

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Na era digital moderna, a inteligência artificial aprendeu a ler textos e a observar imagens com uma habilidade notável. Quando esses sistemas são questionados sobre questões complexas, eles frequentemente recorrem a uma biblioteca de documentos para encontrar a resposta certa, um processo conhecido como geração aumentada por recuperação. Imagine pedir a um bibliotecário um fato específico; o bibliotecário encontra o livro, lê a página e lhe diz a resposta. Por anos, esse sistema funcionou bem apenas com texto. No entanto, à medida que esses modelos de IA se tornaram mais sofisticados, eles começaram a lidar com documentos repletos de tabelas, gráficos e fotografias. O desafio agora não é apenas encontrar a página certa, mas apontar exatamente para o ponto específico naquela página — a pequena seção de um gráfico ou uma pequena caixa em uma foto — que prova que a resposta é verdadeira. Sem essa capacidade de apontar para a evidência, o sistema é como um aluno que dá a resposta certa em uma prova, mas não consegue mostrar o seu raciocínio, deixando o professor incapaz de verificar se o aluno realmente entendeu o material ou se apenas chutou.

Uma equipe de pesquisadores da Universidade de Pequim e da Panasonic Connect desenvolveu um novo método para resolver este problema de "mostrar o raciocínio" no mundo visual. Eles chamam seu sistema de MCite-RL. A ideia central é ensinar a IA não apenas a encontrar uma resposta, mas a tratar o ato de encontrar a evidência como uma investigação cuidadosa e passo a passo. Em vez de adivinhar a localização da prova em um único olhar rápido, o sistema é treinado para agir como um detetive que dá zoom em um documento, corta as partes irrelevantes e estreita a área de busca até que apenas a peça crucial de informação permaneça. Esse processo é guiado por um novo tipo de aprendizado onde a IA recebe feedback não apenas sobre se a resposta final está correta, mas sobre o quão bem ela localizou a prova visual ao longo do caminho.

Os pesquisadores descobriram que os métodos anteriores frequentemente falhavam de duas maneiras específicas. Às vezes, a IA apontava para uma imagem que era grande demais, cobrindo todo um gráfico em vez do número único necessário, tornando a citação inútil para verificação. Outras vezes, a IA dava uma resposta correta, mas apontava para uma parte completamente diferente da imagem, como se a resposta e a evidência estivessem desconectadas. Para corrigir isso, a equipe criou um processo de treinamento que combina uma fase de "partida a frio" (cold start), onde a IA aprende as etapas básicas de busca e recorte de imagens, com uma fase de aprendizado por reforço. Nesta segunda fase, a IA vivencia muitos cenários diferentes, tentando encontrar a resposta e a prova. Se ela conseguir estreitar a imagem até o lugar certo e acertar a resposta, recebe uma recompensa. Se se perder ou apontar para a área errada, ela aprende com esse erro.

Os resultados desta abordagem foram testados em três conjuntos diferentes de documentos desafiadores, incluindo relatórios financeiros e páginas longas da Wikipédia. O novo sistema superou significativamente os métodos existentes. Em um teste importante, ele melhorou a precisão de apontar para a evidência visual correta em mais de 26% em comparação aos métodos padrão. Talvez de forma surpreendente, ao forçar a IA a ser precisa sobre onde encontrou a informação, o sistema também se tornou melhor em acertar a resposta real, com a precisão aumentando quase 6% em média. O estudo sugere que, quando uma IA é treinada para ser rigorosa com suas fontes, ela se torna mais confiável no geral. Os pesquisadores observam que, embora o sistema seja um passo significativo à frente, ele ainda requer supervisão humana cuidadosa, especialmente em situações de alto risco, e atualmente funciona melhor com imagens únicas em vez de documentos complexos de várias páginas. Fundamentalmente, este trabalho demonstra que ensinar uma IA a apontar para sua evidência não é apenas uma forma de verificar seu trabalho, mas uma ferramenta poderosa para ajudá-la a pensar com mais clareza.

Resumo Técnico: MCite-RL

Definição do Problema
Sistemas de Geração Aumentada por Recuperação Multimodal (RAG) visam aumentar a rastreabilidade e a verificabilidade de Modelos de Linguagem Multimodais (MLLMs) ao vincular respostas geradas a evidências visuais. No entanto, as abordagens atuais, particularmente aquelas que dependem de Ajuste Fino Supervisionado (SFT) ou pipelines RAG estáticos, enfrentam duas limitações críticas:

Citação Visual Imprecisa: Os modelos frequentemente falham em localizar a evidência na granularidade correta, produzindo caixas delimitadoras (bounding boxes) que são ou muito grosseiras (cobrindo regiões irrelevantes) ou muito finas (perdendo detalhes importantes), levando ao desvio espacial (spatial drift).
Desacoplamento entre Resposta e Citação: Frequentemente ocorre um desalinhamento entre a resposta gerada e a região visual citada. Os modelos podem gerar uma resposta correta baseada em seu raciocínio interno, mas citar uma região visual de um contexto completamente diferente, minando a confiabilidade do sistema.

Os métodos existentes tratam o aterramento visual (visual grounding) como um processo estático de etapa única ou como um sinal intermediário implícito, carecendo do refinamento iterativo e da otimização explícita necessários para uma citação fina e confiável em documentos multimodais complexos.

Metodologia: MCite-RL
Os autores propõem o MCite-RL, um framework de aprendizado por reforço agêntico com citação aprimorada, projetado para otimizar conjuntamente a precisão da resposta e a rastreabilidade da fonte. O framework consiste em dois componentes principais:

Fluxo de Trabalho de Refinamento Agêntico:
- Em vez de uma geração de etapa única, o modelo opera como um agente realizando uma trajetória de tomada de decisão sequencial ( $\tau$ ).
- O processo envolve recuperação iterativa e recorte visual progressivo. O agente alterna entre recuperar imagens relevantes e podar regiões visuais irrelevantes para estreitar o espaço de busca.
- Este processo dinâmico transforma a citação de uma etapa estática em um loop de raciocínio baseado em evidências, permitindo que o modelo convirja progressivamente para a região visual ideal ( $\hat{v}_{cT}$ ) antes de gerar a resposta final e a citação conjuntamente.
Mecanismo de Recompensa com Citação Aprimorada:
- O framework emprega uma função de recompensa composta $R(\tau)$ que integra feedback de nível de processo e de nível de resultado dentro de um paradigma de Aprendizado por Reforço (especificamente usando a Otimização de Política Relativa de Grupo, GRPO).
- Recompensa de Nível de Processo ( $R^{proc}_{cit}$ ): Utiliza a Interseção sobre a Verdade Fundamental (IoGT - Intersection-over-Ground-truth) para avaliar recortes intermediários. Isso incentiva o agente a preservar a evidência central ao longo do processo de poda, evitando a perda de informação durante a busca.
- Recompensa de Nível de Resultado ( $R^{out}_{cit}$ ): Utiliza a Interseção sobre a União (IoU) para avaliar a citação prevista final contra a verdade fundamental, garantindo a localização precisa.
- Recompensas Adicionais: A função também inclui eficiência de recuperação (nDCG), precisão da resposta (Exact Match) e restrições de formato para garantir trajetórias agênticas válidas.

Pipeline de Treinamento
O treinamento segue um processo de duas etapas:

SFT de Inicialização a Frio (Cold-Start): O modelo é primeiro ajustado via SFT em dados sintetizados contendo trajetórias agênticas passo a passo (recuperação, recorte, resposta) geradas pelo GPT-5. Isso estabelece uma política base e familiariza o modelo com a sequência estrutural necessária.
RL com Citação Aprimorada: O modelo ajustado via SFT passa por treinamento de RL usando GRPO. O agente gera múltiplos rollouts, e a política é atualizada com base nas recompensas de citação aprimoradas, otimizando diretamente tanto a precisão da citação quanto a correção da resposta.

Principais Contribuições

Framework: Introdução do MCite-RL, que integra fluxos de trabalho agênticos com RL de citação aprimorada para abordar a lacuna de confiabilidade no RAG multimodal.
Design de Fluxo de Trabalho: Um novo mecanismo de refinamento agêntico para citação visual que utiliza o refinamento de evidência iterativo para alinhar respostas e citações dentro de um processo de raciocínio compartilhado.
Função de Recompensa: Desenvolvimento de uma função de recompensa de múltiplos níveis que otimiza explicitamente a precisão da citação (tanto de processo quanto de resultado) juntamente com a precisão da resposta, tratando a citação como um objetivo primário e não como um subproduto.
Validação Empírica: Avaliação extensiva demonstrando que a supervisão de citação explícita impulsiona melhorias tanto na precisão da citação quanto na qualidade da resposta.

Resultos Experimentais
Os autores avaliaram o MCite-RL em três benchmarks: Wiki-VISA, FinRAGBench-V e MMLongBench-Doc, utilizando backbones Qwen2.5-VL (3B e 7B).

Precisão da Citação: O MCite-RL alcançou melhorias significativas em relação aos baselines. No backbone Qwen2.5-VL-7B, ele melhorou a métrica de Interseção sobre a União (IoU) em uma média de 26,16% em comparação ao RAG convencional. Especificamente, atingiu 36,05% de precisão de citação no Wiki-VISA e 37,22% no FinRAGBench-V, superando baselines fortes como o VRAG-RL e modelos proprietários (ex: GPT-4o, Gemini-2.0).
Precisão da Resposta: A integração das recompensas de citação levou a um aumento concomitante na precisão da resposta. Para o modelo 7B, o MCite-RL alcançou 60,00% de precisão no Wiki-VISA, um aumento de 4–6% sobre os baselines fortes anteriores.
Estudos de Ablação: A remoção da etapa de RL ou das recompensas de citação resultou em degradação significativa de desempenho, confirmando que a otimização estratégica de recompensa é o principal motor do sucesso. O estudo também observou que as recompensas de nível de resultado são críticas para evitar recortes excessivamente expansivos, enquanto as recompensas de nível de processo garantem a preservação da evidência.

Significância e Alegações
O artigo afirma que o MCite-RL fornece uma solução sistemática para o desafio do RAG multimodal confiável ao demonstrar que otimizar explicitamente a precisão da citação no nível do objetivo é crítico. Os autores argumentam que o aprendizado por reforço com citação aprimorada não apenas melhora a verificabilidade dos resultados, mas também aumenta a qualidade da resposta ao forçar o modelo a fundamentar seu raciocínio em evidências visuais precisas e compartilhadas. O trabalho destaca que o RAG multimodal confiável requer mais do que apenas respostas precisas; necessita de localização de evidência precisa e alinhamento consistente entre resposta e citação, o que pode ser alcançado através de refinamento agêntico iterativo e supervisão de recompensa de múltiplos níveis.

Limitações
Os autores reconhecem que o processo de treinamento atual introduz sobrecarga computacional e que a formulação é limitada a citações baseadas em caixas delimitadoras (bounding boxes) em imagens únicas, sem modelar explicitamente estruturas de citação mais expressivas. Eles observam que, embora o sistema melhore a rastreabilidade, não garante a correção factual do conteúdo recuperado em si.

Mais como este