SlideAgent: Hierarchical Agentic Framework for Multi-Page Visual Document Understanding

论文标题: SlideAgent: 用于多页视觉文档理解的层次化智能体框架

作者: Yiqiao Jin (佐治亚理工学院), Rachneet Kaur, Zhen Zeng, Sumitra Ganesh (摩根大通 AI 研究), Srijan Kumar (佐治亚理工学院)

---

1. 问题背景与挑战 (Problem & Challenges)

多页视觉文档（如财报、技术手册、演示文稿、海报等）通过布局、颜色、图标和跨页引用传递关键信息。尽管多模态大语言模型（MLLMs）在文档理解方面取得了进展，但在处理复杂的多页视觉文档时仍面临三大核心挑战：

1. 可扩展的细粒度推理缺失 (Scalable Fine-Grained Reasoning):
   • 现有的 SOTA MLLM 通常一次只能处理有限数量的图像，且倾向于将每一页作为一个整体（Holistic）处理。
   • 这导致模型难以捕捉用户查询所需的细粒度元素级线索（例如，在杂乱的幻灯片中准确数出图表的特定部分，如图 1 所示）。
2. 领域特定的视觉语义理解不足 (Domain-Specific Visual Semantics):
   • 大多数 MLLM 在自然图像上预训练，缺乏对领域特定图表（如金融图表、科学绘图）的理解。
   • 模型难以理解视觉文档中的特殊语言（如红色代表亏损、绿色代表盈利）、图标含义（灯泡代表创新）以及空间位置的重要性（中心元素通常比角落注释更重要）。
   • 低分辨率的视觉编码器容易遗漏脚注或上标等细节。
3. 缺乏元数据的集成 (Metadata-Free Integration):
   • 许多现有系统依赖干净的元数据（如图表位置、层级标签、嵌入文本层）。
   • 然而，现实世界中的文档（如截图、扫描件、扁平化 PDF）往往缺乏或损坏了这些结构信息，导致依赖元数据的系统失效。

---

2. 方法论 (Methodology)

SlideAgent 是一个基于 MLLM 的智能体框架，旨在通过层次化架构和专用智能体来解决上述问题。其核心思想是模仿人类的信息处理模型，将推理分解为三个层级：全局 (Global)、页面 (Page) 和 元素 (Element)。

2.1 整体架构

SlideAgent 分为两个阶段：

1. 知识构建阶段 (Knowledge Construction): 自顶向下地构建查询无关的层次化知识库 $K = \{K_g, K_p, K_e\}$。
2. 推理与问答阶段 (Inference & QA): 根据查询 $q$ 检索特定知识，并综合各层级智能体的输出生成答案。

2.2 核心组件

• 全局智能体 (Global Agent, $M_g$):
  • 功能: 生成文档级别的初始知识 $K_g^{(0)}$，捕捉整体主题、目标和叙事流。
  • 机制: 由于视觉输入容量限制，通常采样前几页生成初始摘要，随后利用所有页面的页面级知识进行单遍字段重写 (Single-pass fieldwise rewrite)，以修正早期假设并消除偏差。
• 页面智能体 (Page Agent, $M_p$):
  • 功能: 为每一页 $p_i$ 生成页面级知识 $K_p$。
  • 机制: 采用序列方式，结合当前页视觉内容 $v_i$、全局知识 $K_g^{(0)}$ 以及前一页的知识 $K_{p}^{i-1}$。这确保了跨页面的连贯性和上下文关联。
• 元素智能体 (Element Agent, $M_e$):
  • 功能: 将每一页分解为细粒度的元素集合（图表、文本块、图标等）。
  • 机制: 集成外部工具（OCR、布局检测、元素分类）进行布局解析，生成包含边界框坐标、文本内容和语义角色的元素级知识 $K_e$。这解决了 MLLM 在空间推理和定位视觉元素方面的弱点。
• 智能体编排器 (Agent Orchestrator):
  • 查询分类: 将用户查询分类为四种类型（全局理解、事实性直接查询、多跳推理、布局/视觉关系），从而动态激活相应的智能体组合。
  • 子查询生成: 将原始查询转化为针对关键实体的子查询，用于检索相关页面和元素。
  • 答案合成: 如果各智能体答案一致则直接输出；否则，由合成器 $\phi$ 结合所有智能体的推理和视觉证据生成最终答案。

2.3 关键创新点

• 元数据无关 (Metadata-Free): 仅依赖视觉图像进行解析，不依赖 PDF 内部结构，适应性强。
• 查询无关的知识构建: 预先构建结构化知识库，支持后续任意查询的高效检索。
• 分层检索与推理: 从文档级到页面级再到元素级的逐级细化，显著提升了空间推理和细粒度计数能力。

---

3. 实验结果 (Results)

作者在多个数据集（SlideVQA, TechSlides, FinSlides, InfoVQA）上评估了 SlideAgent，对比了专有模型（如 GPT-4o, Gemini）和开源模型（如 Llama-3.2, InternVL3）。

3.1 性能提升

• 整体准确率: SlideAgent 在专有模型基础上提升了 +7.9%，在开源模型基础上提升了 +9.8%。
• 细粒度任务: 在数值推理（Numeric Reasoning）和 F1 分数上提升尤为显著（例如在 FinSlides 上 F1 提升 +17.5%）。
• 多跳推理: 在需要跨页推理的复杂问题上，准确率提升了 9.8%（从 67.4% 提升至 77.2%）。
• 空间与视觉推理: 在涉及布局、视觉关系和计数的查询中，性能提升明显（+7.7%），证明了元素级解析的有效性。

3.2 消融实验 (Ablation Studies)

• 页面智能体最关键: 移除页面智能体导致性能下降最严重（GPT-4o 整体下降 6.3%），说明跨页连贯性至关重要。
• 元素智能体保障精度: 移除元素智能体会导致数值问题准确率下降，证明细粒度解析对事实性 grounding 的必要性。
• 子查询生成: 移除子查询生成在检索场景下导致较大性能损失，表明其能有效对齐文本意图与视觉语义。

3.3 检索增强效果

• 利用 SlideAgent 生成的结构化知识（子查询和页面描述）作为检索输入，显著提升了文本检索器（如 BM25, SFR）和多模态检索器（如 COLPALI, VisRAG）的召回率和排序质量。

---

4. 核心贡献 (Key Contributions)

1. 提出了 SlideAgent 框架: 首个专门针对多页、多布局视觉文档（特别是幻灯片）的层次化智能体框架，实现了全局、页面和元素三级的结构化理解。
2. 解决了细粒度推理难题: 通过显式的元素级解析和空间定位，有效解决了现有 MLLM 在复杂图表计数、布局理解和跨页引用方面的弱点。
3. 实现了元数据无关的鲁棒性: 不依赖文档内部元数据，仅通过视觉解析即可处理扫描件、截图等“脏”数据，具有极强的现实适用性。
4. 广泛的实证验证: 在多个基准测试中，无论是配合专有模型还是开源模型，SlideAgent 均显著优于现有的多模态 RAG 方法和多智能体系统，建立了新的 SOTA。

---

5. 意义与未来展望 (Significance & Future Work)

• 实际意义: SlideAgent 能够显著降低金融分析师、工程师和教育工作者在处理复杂文档时的错误率，避免因误解视觉细节而导致的昂贵决策失误。
• 技术启示: 证明了在 MLLM 时代，通过分层智能体协作和结构化知识构建，可以有效弥补大模型在长上下文、细粒度空间推理方面的不足。
• 未来方向:
  • 提高低对比度布局的解析鲁棒性。
  • 通过图结构建模元素间的关系。
  • 将“前 N 页”启发式替换为内容感知的页面选择策略。
  • 扩展至多轮对话场景。

总结: SlideAgent 通过引入层次化智能体架构，成功将多页视觉文档理解从“整体模糊感知”推进到了“结构化细粒度推理”的新阶段，为复杂文档的自动化理解提供了强有力的解决方案。