SlideAgent: Hierarchical Agentic Framework for Multi-Page Visual Document Understanding

Título: SlideAgent: Framework Agente Hierárquico para Compreensão de Documentos Visuais Multi-página

1. O Problema

Documentos visuais multi-página (como manuais, apresentações de slides, relatórios financeiros e pôsteres) transmitem informações cruciais através da interplay complexa entre texto, layout, cores, ícones e referências cruzadas entre páginas. Embora os Modelos de Linguagem Grandes Multimodais (MLLMs) tenham avançado na compreensão de documentos, eles enfrentam três lacunas críticas ao lidar com documentos complexos e multi-página:

1. Raciocínio Granular Escalável: MLLMs atuais tendem a processar um número limitado de imagens simultaneamente e tratam cada página de forma holística. Isso faz com que percam pistas de nível de elemento (como gráficos específicos ou tabelas) necessárias para consultas de usuários, levando a erros de contagem ou interpretação em páginas poluídas.
2. Semântica Visual Específica de Domínio: A maioria dos MLLMs é pré-treinada em imagens naturais, carecendo de familiaridade com diagramas financeiros, gráficos científicos e convenções de documentos (ex: logos repetidos, esquemas de cores codificadas, posicionamento espacial indicando importância). Eles falham frequentemente no raciocínio espacial e na localização precisa de elementos.
3. Integração sem Metadados: Muitos sistemas dependem de metadados limpos (tags de hierarquia, camadas de texto embutidas) que muitas vezes estão ausentes ou corrompidos em arquivos PDF do mundo real (ex: capturas de tela, PDFs achatados, documentos escaneados). Métodos que ignoram metadados ainda apresentam uma lacuna de desempenho significativa.

2. Metodologia: SlideAgent

O SlideAgent é um framework agente baseado em MLLM projetado para a compreensão granular de documentos visuais multi-página e de tamanhos variados. Inspirado em modelos de processamento de informação humana, ele emprega uma arquitetura hierárquica com agentes especializados em três níveis: Global, Página e Elemento.

O processo opera em duas etapas principais:

A. Etapa de Construção de Conhecimento (Knowledge Construction)
Nesta fase, o sistema constrói uma base de conhecimento agnóstica à consulta ($K = \{K_g, K_p, K_e\}$) de cima para baixo:

• Agente Global ($M_g$): Gera um resumo do documento, objetivos e fluxo narrativo. Para lidar com a limitação de contexto visual, amostra as primeiras páginas e, posteriormente, refina esse conhecimento com base em evidências de todas as páginas.
• Agente de Página ($M_p$): Processa cada página sequencialmente, gerando conhecimento específico da página ($K_p$) condicionado ao conteúdo visual, ao conhecimento global inicial e ao conhecimento da página anterior. Isso cria uma representação intermediária que liga o conteúdo local ao contexto global.
• Agente de Elemento ($M_e$): Decompõe cada página em elementos visuais e textuais (gráficos, tabelas, blocos de texto) usando um pipeline de análise de layout. Para cada elemento, gera conhecimento detalhado ($K_e$) incluindo função semântica, propósito e relação espacial (coordenadas de bounding box).

B. Etapa de Inferência (Inference Stage)
Durante a resposta a uma consulta ($q$):

1. Classificação de Consulta: Um orquestrador classifica a consulta em categorias (ex: compreensão global, fato direto, raciocínio multi-hop, relação visual) para ativar apenas os agentes necessários, otimizando o custo computacional.
2. Geração de Subconsultas e Recuperação: O sistema gera subconsultas ($\hat{Q}$) para recuperar as páginas e elementos mais relevantes da base de conhecimento construída.
3. Geração e Síntese de Resposta: Os agentes ativados geram respostas parciais e raciocínios ($h_g, h_p, h_e$). Um sintetizador final ($\phi$) combina essas evidências hierárquicas e as imagens recuperadas para produzir a resposta final coerente e contextualizada.

3. Contribuições Principais

• Arquitetura Hierárquica Agente: Propõe uma abordagem estruturada que separa o raciocínio em níveis globais, de página e de elemento, permitindo uma compreensão que vai além da simples extração de texto.
• Independência de Metadados: O framework funciona eficazmente apenas com a imagem visual do documento, sendo robusto a PDFs escaneados, achatados ou sem estrutura de texto legível por máquina.
• Raciocínio Espacial e Granular: Ao isolar e analisar elementos específicos (como um gráfico dentro de uma página), o sistema supera as limitações de MLLMs que falham ao tentar processar a página inteira de uma só vez.
• Agnosticismo de Modelo: O framework pode ser aplicado sobre diferentes backbones de MLLMs, tanto proprietários quanto de código aberto.

4. Resultados Experimentais

Os autores avaliaram o SlideAgent em vários conjuntos de dados (SlideVQA, TechSlides, FinSlides e InfoVQA) comparando-o com MLLMs proprietários (GPT-4o, Gemini, Claude), modelos de código aberto (Llama, InternVL, Qwen) e métodos de RAG multimodal existentes.

• Desempenho Geral: O SlideAgent superou consistentemente todos os métodos de base (RAG e sistemas multi-agente) e os próprios MLLMs base.
  • Modelos Proprietários: Melhoria de +7.9% na precisão geral sobre o GPT-4o.
  • Modelos de Código Aberto: Melhoria de +9.8% na precisão geral sobre o InternVL3-8B.
• Tipos de Consulta: O maior ganho foi observado em consultas de raciocínio multi-hop (+9.8% de melhoria) e relações visuais/layout (+7.7%), demonstrando a eficácia do raciocínio guiado por conhecimento hierárquico.
• Eficiência: Em cenários de recuperação, o SlideAgent reduziu o número de tokens de entrada em mais de 90% (de ~15.400 para ~1.330 tokens) mantendo latência competitiva, graças à recuperação baseada em conhecimento estruturado em vez de enviar todas as imagens brutas para o modelo.
• Análise de Erros: A maioria dos erros não se deveu à falha de parsing (OCR/Layout), mas sim a ambiguidade na pergunta ou desvio na recuperação, indicando que o sistema de parsing é robusto.

5. Significado e Impacto

O SlideAgent representa um avanço significativo na compreensão de documentos visuais complexos, especialmente em domínios de alto risco como finanças e tecnologia, onde erros de interpretação podem levar a decisões custosas.

• Superação de Limitações Atuais: Resolve o problema de "alucinação" e contagem incorreta em documentos densos ao forçar uma decomposição estruturada antes do raciocínio.
• Aplicabilidade Prática: Por não depender de metadados, é imediatamente aplicável a documentos legados, escaneados e formatos não estruturados comuns em ambientes corporativos.
• Escalabilidade: A abordagem de construção de conhecimento uma vez (amortizada) e recuperação eficiente permite o processamento de documentos longos (ex: relatórios anuais de 100 páginas) que seriam inviáveis para MLLMs diretos devido a limitações de contexto e custo.

Em resumo, o SlideAgent demonstra que a decomposição hierárquica e a especialização de agentes são estratégias superiores para a compreensão de documentos visuais multi-página em comparação com abordagens monolíticas de MLLMs.