Resumo Técnico: FLOWREADER

Declaração do Problema

Documentos longos e multimodais apresentam um desafio significativo para sistemas de Geração Aumentada por Recuperação (RAG). A evidência necessária para responder a consultas complexas está frequentemente fragmentada entre textos, tabelas, gráficos e slides, distribuída por múltiplas células, páginas ou modalidades. As abordagens tradicionais de recuperação de chunks top-$k$ falham neste contexto porque tratam os fragmentos de evidência de forma independente. Essa independência impede que o sistema represente conexões estruturais, dependências multi-hop ou a maneira como a evidência deve ser montada a partir de fontes disjuntas (por exemplo, uma figura e sua discussão, ou um cabeçalho de tabela e uma linha distante). Além disso, políticas de recuperação fixas alocam o mesmo orçamento computacional para consultas de complexidades variadas, levando a ineficiências.

Metodologia

O FLOWREADER reformula o problema de montagem de evidências como uma tarefa de otimização de fluxo de custo mínimo (min-cost flow) em um grafo de nós multimodais. O sistema opera através de três fases estruturadas:

1. Construção de Grafo Multimodal (Offline)

O corpus de documentos é pré-processado em um grafo heterogêneo direcionado e ponderado $G = (V, E)$.

• Nós ($V$): Particionados em unidades textuais ($V_{txt}$), visuais ($V_{vis}$) e de tabela ($V_{tbl}$). Cada nó contém um resumo gerado por LLM, palavras-chave de indexação, uma tag de modalidade e um embedding.
• Arestas ($E$): Arestas direcionadas carregam pesos que codificam afinidade semântica. O grafo é construído usando um processo de evolução dual (inspirado no G2-Reader) que refina iterativamente os atributos dos nós e a adjacência com base em vizinhos semânticos e layout.

2. Pontuação de Nós de Múltiplos Sinais e Roteamento de Fluxo (Online)

No momento da consulta, um score escalar único $h_i$ é computado para cada nó, agregando três sinais:

• Relevância da Consulta ($r_i$): Uma fusão de similaridade de cosseno densa e scores BM25.
• Propagação Estrutural ($\phi_i$): Relevância propagada ao longo do grafo para capturar nós que fazem parte de clusters densos de alta relevância, mesmo que sua relevância individual seja moderada.
• Difusão de Localidade ($\psi_i$): Um score de PageRank personalizado que captura conexões de longo alcance dentro do vizinhança tópica da consulta.

Esses scores direcionam um problema de fluxo de custo mínimo em uma rede aumentada $G^*$:

• Fontes e Sumidouros (Sources e Sinks): Fontes são selecionadas a partir de nós alinhados à consulta usando Relevância Máxima Marginal (MMR) para garantir diversidade. Sumidouros são selecionados com base em um score de "respondibilidade" que combina relevância e densidade de informação.
• Custos e Capacidades: Custos de aresta penalizam transições semanticamente incoerentes e desvios através de nós de baixo score. As capacidades são limitadas pela qualidade dos nós conectados.
• Otimização: Um programa linear roteia um orçamento de evidência fixo $F$ das fontes para os sumidouros, minimizando o custo total. O fluxo ótimo é decomposto em um conjunto de caminhos de evidência candidatos (cadeias).

3. Seleção de Caminho e Síntese Adaptativa

A decomposição do fluxo gera muitos caminhos candidatos, frequentemente com nós sobrepostos. O FLOWREADER seleciona um subconjunto compacto e não redundante usando dinâmica de replicador (RD) regularizada por entropia:

• Jogo Qualidade-Diversidade: Os caminhos são tratados como estratégias em um jogo onde a matriz de payoff equilibra o payoff individual de qualidade contra a diversidade pareada (medida pelo não-sobreposição de Jaccard).
• Seleção: A RD atualiza iterativamente a população de caminhos, convergindo para um clique máximo ponderado que maximiza o trade-off qualidade-diversidade.
• Síntese de Resposta: Os caminhos selecionados são processados em paralelo por trabalhadores de Modelos de Linguagem Visual (VLM).
• Portão de Processo Duplo (Dual-Process Gating): Uma passagem de "Sistema 1" gera respostas iniciais. Um portão monitora a consistência da resposta entre os trabalhadores e a saturação do fluxo. Se a consistência for baixa ou o fluxo estiver sobrecarregado (indicando evidência insuficiente), uma única passagem de refinamento de "Sistema 2" é disparada. Esta passagem modifica o grafo (ex: adicionando arestas de ponte ou reponderando arestas) e executa o pipeline novamente uma vez.

Principais Contribuições

1. Formulação de Fluxo de Custo Mínimo: O artigo introduz um framework unificado onde uma única parametrização (o score do nó $h$) controla a seleção de fontes, a seleção de sumidouros, os custos das arestas e as capacidades. Isso colapsa as etapas tradicionalmente separadas de pontuação, roteamento e seleção em um único problema de otimização.
2. Lidando com Evidência Fragmentada: Ao modelar a montagem de evidência como transporte de fluxo, o sistema captura explicitamente dependências multi-hop e conexões estruturais que o top-$k$ retrieval perde.
3. Computação Adaptativa: A integração de um portão de processo duplo permite que o sistema aloque recursos computacionais adicionais (uma passagem de refinamento de Sistema 2) apenas quando a recuperação e síntese iniciais forem consideradas não confiáveis, equilibrando desempenho e custo.
4. Seleção Regularizada por Entropia: O uso de dinâmica de replicador fornece uma abordagem fundamentada, baseada na teoria dos jogos, para selecionar um conjunto diverso de caminhos de evidência, evitando o colapso em um único caminho de alto score, mas potencialmente redundante.

Resultados Experimentais

O sistema foi avaliado no VisDoMBench, cobrindo cinco subconjuntos multimodais: SPIQA, FetaTab, PaperTab, SciGraphQA e SlideVQA.

• Desempenho em Evidência Fragmentada: O FLOWREADER alcançou os melhores resultados nos dois subconjuntos dominados por evidência fragmentada:
  • PaperTab: 58.40 (uma melhoria de +1.30 sobre o forte baseline G2-Reader).
  • SlideVQA: 72.93 (uma melhoria de +0.62 sobre o G2-Reader).
• Desempenho Geral: O score médio macro em todos os cinco subconjuntos foi 65.47, ficando a 0.74 pontos do baseline mais forte (G2-Reader, 66.21).
• Cenário Competitivo: Embora o FLOWREADER tenha se destacado em tarefas fragmentadas, ele foi competitivo, mas não superior, em outros subconjuntos (ex: ficando atrás do VisDoMRAG no SPIQA). Os autores atribuem a lacuna de desempenho no SciGraphQA ao uso de um encoder open-source menor (nomic-embed-text-v1.5) em comparação aos encoders proprietários usados pelos baselines, e prompts ancorados estritamente em entidades que penalizam respostas parafraseadas comuns nesse dataset.
• Eficiência: O sistema opera com um orçamento limitado de chamadas de VLM. O Sistema 2 é acionado no máximo uma vez por consulta, resultando em uma média de 30.8–47.3 chamadas, comparado aos loops de replanejamento ilimitados de alguns baselines.

Significância e Alegações

O artigo afirma que o fluxo de custo mínimo é um mecanismo eficaz para montar evidências multimodais fragmentadas onde o top-$k$ retrieval tradicional falha. Ao unificar pontuação, roteamento e seleção sob um único objetivo de otimização, o FLOWREADER fornece uma maneira fundamentada de lidar com a complexidade estrutural de documentos longos.

Os autores enfatizam que sua abordagem oferece um mecanismo de controle unificado para todo o pipeline de recuperação, permitindo a alocação adaptativa de computação sem a necessidade de ajustes complexos de múltiplos estágios. Os resultados sugerem que, em regimes onde a evidência é altamente fragmentada (tabelas, slides), o roteamento estruturado é mais crítico do que simplesmente aumentar a escala do modelo gerador. O trabalho posiciona-se como um passo para mover o RAG além de heurísticas fixas em direção a processos estruturados aprendidos para a montagem de evidências dentro de orçamentos de computação controlados.