Resumo Técnico: Cadeia de Evidências (CoE) para Geração Aumentada por Recuperação Iterativa

1. Declaração do Problema

A Geração Aumentada por Recuperação Iterativa (iRAG) emergiu como um paradigma para responder a perguntas complexas de múltiplos saltos, recuperando e raciocinando progressivamente sobre documentos externos. No entanto, os sistemas iRAG atuais enfrentam três gargalos críticos ao operar em documentos do mundo real, ricos em elementos visuais (por exemplo, PDFs, apresentações, relatórios da web):

1. O Gargalo de Verificação: Sistemas existentes fornecem citações grosseiras, em nível de texto (por exemplo, "[Fonte: Doc-1]"). Em cenários de múltiplos saltos, isso força os usuários a examinar manualmente documentos extensos para localizar sentenças de suporte específicas, criando uma alta carga cognitiva.
2. Perda de Informação na Conversão para Texto: A conversão de documentos ricos em elementos visuais em texto linear via OCR ou análise destrói a lógica espacial e as pistas de layout (por exemplo, tendências de gráficos, fluxos de diagramas, hierarquias de slides). Para muitos documentos, a evidência existe na relação visual entre os elementos, não apenas no texto, tornando as citações baseadas em texto fundamentalmente insuficientes.
3. Cadeias de Raciocínio Opacas: Os usuários carecem de visibilidade sobre a trajetória das decisões. Os métodos atuais não visualizam a "cadeia de evidências"—como uma peça intermediária de evidência guia a seleção do próximo documento em uma trajetória de múltiplos saltos.

2. Metodologia: Cadeia de Evidências (CoE)

Para abordar essas limitações, os autores propõem a Cadeia de Evidências (CoE), um framework de atribuição visual agnóstico ao recuperador que opera diretamente em capturas de tela de documentos, em vez de texto analisado.

Arquitetura Central

• Paradigma Visual-Primeiro: A CoE contorna pipelines de análise de texto frágeis. Ela recebe um conjunto de capturas de tela de documentos candidatos (de um recuperador a montante) e as processa como imagens ($d^{vis}_i \in \mathbb{R}^{H \times W \times 3}$).
• Design Agnóstico ao Recuperador: O framework assume um recuperador genérico a montante retornando um conjunto de $k$ melhores candidatos. A CoE foca em selecionar, ordenar e fundamentar evidências dentro desses candidatos sem introduzir parâmetros específicos do recuperador.
• Formato de Saída: Em vez de citações de texto, a CoE produz uma cadeia estruturada de evidências consistindo em:
  • Identificadores de imagens candidatas selecionadas.
  • Caixas delimitadoras precisas $[(x_1, y_1), (x_2, y_2)]$ apontando para regiões de evidência (parágrafos de texto, células de tabela, diagramas).
  • Subconsultas em linguagem natural ou pensamentos de raciocínio para cada salto.
• Processo de Geração: O modelo realiza uma única passagem autoregressiva para gerar a cadeia completa de evidências, mapeando a consulta e as capturas de tela candidatas para uma resposta e uma sequência de tuplas $(documento, \text{caixas delimitadoras}, \text{raciocínio})$.

Estratégia de Treinamento

Os autores empregam uma estratégia de aprendizado de currículo em duas fases utilizando o modelo Qwen3-VL-8B-Instruct:

1. Fase I (Salto Único): Foca em estabelecer capacidades de fundamentação visual, treinando o modelo para localizar evidências em uma única imagem.
2. Fase II (Múltiplos Saltos): Introduz a geração de cadeias de evidências de múltiplos saltos sobre as 5 melhores capturas de tela candidatas, iniciando com aquecimento a partir do ponto de verificação da Fase I.

• Aumento de Dados: Para garantir robustez, o treinamento incorpora aumento espacial (recorte, translação), variação de resolução (lidando com diferentes densidades visuais) e permutação de evidências (desacoplando a ordem de apresentação da ordem lógica de raciocínio).

3. Conjuntos de Dados e Avaliação

Para avaliar rigorosamente a CoE em vários níveis de complexidade visual, os autores introduzem uma estratégia de duplo benchmark:

• Wiki-CoE: Um conjunto de dados em grande escala derivado do 2WikiMultiHopQA, contendo 70.418 perguntas de múltiplos saltos. Apresenta capturas de tela de alta fidelidade de páginas da Wikipedia com anotações de caixas delimitadoras para layouts estruturados (tabelas, infoboxes).
• SlideVQA: Um conjunto de dados desafiador de slides de apresentação apresentando diagramas complexos, layouts livres e gráficos, onde o arranjo espacial é semanticamente crucial.

Métricas de Avaliação:

• Precisão da Resposta (EM): Correspondência Exata para a resposta gerada.
• Precisão de Localização de Evidência (Loc-Acc): Uma métrica conjunta que exige a seleção correta da imagem candidata e uma sobreposição de caixa delimitadora (IoU $\ge$ 0,3) com a verdade fundamental.
• Precisão da Cadeia de Raciocínio (Chain-Acc): Verifica se a sequência ordenada de documentos selecionados corresponde ao caminho de raciocínio ouro.

4. Resultados Principais

Experimentos demonstram que a CoE supera significativamente as bases de comparação baseadas em texto e Modelos de Linguagem-Vision (VLMs) de zero-shot, particularmente em cenários que exigem compreensão de layout visual.

• Desempenho no Wiki-CoE: A CoE-8B alcança 82,3% EM, 94,4% Chain-Acc e 80,4% Loc-Acc. Embora VLMs gerais (por exemplo, GPT-5) alcancem precisão de resposta competitiva, a qualidade de sua atribuição é significativamente mais fraca (por exemplo, o GPT-5 alcança apenas 31,7% Loc-Acc).
• Desempenho no SlideVQA: A vantagem da abordagem visual-primária é mais pronunciada aqui. As bases de comparação baseadas em texto falham devido à perda de informações de layout. A CoE-8B alcança 58,8% EM, 87,5% Chain-Acc e 61,0% Loc-Acc. Em contraste, o Qwen3-VL-235B de zero-shot cai para 6,8% Loc-Acc, e as bases de comparação baseadas em OCR com texto lutam significativamente com slides ricos em diagramas.
• Impacto da Complexidade Visual: Em slides com fluxogramas e gráficos de dados, a CoE supera os métodos baseados em OCR por margens de até 28,1% em precisão, provando que a atribuição visual é uma necessidade, não apenas um aprimoramento, para estruturas de informação não lineares.
• Estudos de Ablação:
  • Aprendizado de Currículo: Remover a fase de pré-treinamento de salto único causa quedas significativas na Loc-Acc (por exemplo, -7,3 pontos no Wiki-CoE), confirmando que a fundamentação isolada é um pré-requisito para o raciocínio de múltiplos saltos.
  • Resolução: A entrada de alta resolução (1536×1536) é crítica; reduzir a resolução para 512×512 causa uma queda catastrófica no desempenho, especialmente para texto de granularidade fina em infoboxes.
  • Modalidade: Uma base de comparação apenas de texto (usando OCR) exibe uma lacuna de desempenho de ~26 pontos no Wiki-CoE e ~22 pontos no SlideVQA em comparação com o modelo visual, validando que a estrutura visual é o principal portador de informações lógicas nesses contextos.

5. Significado e Alegações

O artigo afirma que a Cadeia de Evidências (CoE) representa uma mudança de paradigma na iRAG, transitando da análise de texto frágil para o raciocínio visual robusto.

• Fundamentação Visual como Necessidade de Raciocínio: Os autores argumentam que, para documentos complexos, a modalidade visual não é meramente um recurso de interpretabilidade, mas um requisito fundamental para o raciocínio. A lógica espacial frequentemente supera o texto linear, e descartá-la leva a alucinações e respostas não verificáveis.
• Resolvendo o Gargalo de Verificação: Ao fornecer caixas delimitadoras em nível de pixel e visualizar a cadeia completa de raciocínio, a CoE oferece um mecanismo de verificação visual imediato. Isso permite que os usuários auditem por que uma resposta foi gerada, abordando a opacidade dos sistemas iRAG atuais.
• Interpretabilidade Agnóstica ao Recuperador: A CoE estabelece uma solução para iRAG interpretável em nível de pixel que é compatível com qualquer recuperador a montante (lexical, denso, híbrido ou visual), desacoplando as capacidades de raciocínio e atribuição do mecanismo de recuperação.
• IA Confiável: O trabalho fornece um roteiro para a próxima geração de sistemas de IA verificáveis, particularmente para domínios de alto risco, onde a atribuição de fontes e a transparência do raciocínio são essenciais.

Os autores concluem que seu trabalho desafia a visão centrada no texto predominante da recuperação de informação, demonstrando que preservar a semântica visual é crítico para o raciocínio de múltiplos saltos confiável e interpretável.