Beyond Rows to Reasoning: Agentic Retrieval for Multimodal Spreadsheet Understanding and Editing

该论文提出了名为 BRTR 的多模态智能体框架，通过迭代工具调用循环替代传统单次检索，解决了企业级电子表格在复杂推理与编辑中的上下文丢失与窗口限制问题，并在多项基准测试中显著超越了现有最先进方法。

要点

这篇论文介绍了一个名为 BRTR（Beyond Rows to Reasoning，意为“超越行，迈向推理”）的新系统。简单来说，这是一个能让 AI 像资深人类会计师一样，去阅读、理解并修改那些超级复杂、成千上万行的 Excel 表格的智能助手。

为了让你更容易理解，我们可以把处理 Excel 表格比作在巨大的图书馆里找书，或者在迷宫里寻宝。

1. 以前的 AI 遇到了什么麻烦？（旧方法的痛点）

想象一下，你有一个巨大的图书馆（企业级的 Excel 表格），里面有几百万本书（单元格数据），而且这些书还互相引用（跨表关联），甚至里面还夹着照片和图表（多媒体内容）。

• 旧方法 A（压缩法）： 就像把几百万本书强行塞进一个手提箱里，只留下大概的目录。当你问 AI 问题时，它只能看着这个被压扁的“手提箱”瞎猜。结果就是，它经常搞错细节，因为关键信息在压缩过程中丢失了。
• 旧方法 B（一次性检索）： 就像你问图书管理员：“帮我找关于‘苹果’的书。”管理员只去书架上扫一眼，把看到的第一本相关书递给你，然后说：“这就是全部，请回答。”如果第一本书没讲清楚，管理员也不会再去翻别的书。这导致 AI 经常因为信息不全而答错。
• 旧方法 C（全量投喂）： 试图把整个图书馆的书一次性全塞进 AI 的脑子里。但这就像试图把整个海洋倒进一个水杯里，AI 的“脑子”（上下文窗口）会直接撑爆，导致它什么也记不住。

核心问题： 以前的 AI 太“死板”了，它们要么只看一眼，要么把东西压扁，要么试图一口吞下整个世界，无法像人类一样反复查阅、交叉验证、逐步推理。

2. BRTR 是怎么解决的？（新系统的魔法）

BRTR 引入了一个**“智能侦探”（Agent）的概念。它不再是一次性完成任务，而是通过“提问 - 查看 - 再提问”**的循环来工作。

核心比喻：聪明的图书管理员 vs. 笨拙的复印机

想象 BRTR 是一个超级聪明的图书管理员，而以前的方法是复印机。

• 第一步：拆解任务（规划者）
  当你问：“请帮我分析上季度的财务报表，并找出为什么利润下降了。”
  笨拙的复印机直接开始复印整本账本。
  而 BRTR 的“规划者”会先思考：“这个问题太复杂了，我需要分三步走：1. 去查收入表；2. 去查成本表；3. 对比两张表里的图表。”

• 第二步：迭代搜索（智能检索）
  它不会一次性把所有书都搬出来。它会先问：“收入表里 Q3 的数据在哪？”拿到数据后，它会看：“哦，收入没问题，那可能是成本表的问题。”于是它转身去查成本表。
  如果第一次找到的数据模糊不清，它会再次提问，甚至指定：“我要看第 5 行第 3 列的那个具体数字。”
  这个过程就像侦探在案发现场反复勘查，直到证据链完整为止。

• 第三步：多工具协作（执行者）
  BRTR 不仅仅会找书，它还有各种工具：

  • OCR 工具： 能读懂扫描件里的文字。
  • 计算器： 能自动算公式。
  • 画图工具： 能根据数据生成图表。
  • 跨文件搜索： 能同时打开 PDF、图片和 Excel 进行对比。

• 第四步：记忆管理（上下文控制）
  随着调查深入，AI 脑子里的信息会越来越多。BRTR 很聪明，它会**“断舍离”**：把之前看过的图片数据（因为占内存）暂时扔掉，只保留文字笔记和结论。这样它就不会因为脑子塞满而崩溃，同时又能记住推理的逻辑。

3. 它有多厉害？（实验结果）

研究人员找了 200 多个专家，像考官一样测试了这个系统：

• 准确率大爆发： 在三个最难的测试中，BRTR 比以前的最好方法分别提高了 25%、7% 和 32% 的准确率。
  • 比喻： 以前做 100 道题，旧方法可能只能做对 70 道；现在 BRTR 能做对 95 道以上，几乎接近满分。
• 谁表现最好？ 他们测试了 5 种不同的“搜索引擎”（嵌入模型），发现 NVIDIA NeMo 最擅长理解这种“文字 + 图片”混合的表格。
• 性价比之王： 虽然这种“反复思考”的方法消耗的计算资源（Token）多一点，但 GPT-5.2 模型在保持高准确率的同时，最省钱、最快。

4. 为什么这很重要？

在现实世界中，企业的财务报表、审计数据往往极其复杂，涉及成百上千个表格和无数交叉引用。

• 以前： 人类专家需要花几天时间手动核对，容易出错，且无法处理海量数据。
• 现在： BRTR 可以像人类专家一样，主动思考、反复验证、跨文件查找，并且每一步操作都有完整的“审计追踪”（就像侦探的办案记录，每一步都有据可查）。

总结

这篇论文的核心思想是：不要试图让 AI 一次性吞下所有数据，而是给它一个“思考的循环”。

BRTR 就像给 AI 配备了一个**“放大镜”和“笔记本”，让它能像人类分析师一样，在复杂的 Excel 迷宫中，一步步地寻找线索、验证假设、最终得出结论**。这不仅让 AI 变得更聪明，也让它在处理企业级复杂任务时变得真正可靠。

技术摘要

1. 研究背景与问题 (Problem)

尽管多模态检索增强生成（RAG）技术已使大语言模型（LLM）能够分析包含数百万单元格、跨表依赖和嵌入视觉元素的复杂企业级电子表格，但现有的最先进方法存在以下关键局限性：

• 单次检索的局限性 (Single-Pass Limitation)： 现有方法通常采用“单次检索”策略，缺乏迭代机制。真实分析师会交叉引用多张工作表、追踪单元格依赖并逐步收集证据，而现有系统无法根据中间结果重新查询或细化搜索。
• 上下文丢失与压缩 (Context Loss & Compression)： 压缩类方法（如 SheetCompressor）为了适应 LLM 上下文窗口，会丢失关键细节和跨表关系；而全量注入（Naive Full-Context）则会导致超出 LLM 的上下文窗口限制（通常在 5 万个单元格以上失效）。
• 多模态检索评估缺失： 缺乏针对混合表格和视觉数据的多模态嵌入模型的综合评估，从业者缺乏选择最佳嵌入模型的指导。
• 复杂工作流支持不足： 现有方法难以处理需要多步骤推理、跨文件验证以及涉及计算、格式化、可视化和编辑的复杂企业级工作流。

2. 方法论 (Methodology)

作者提出了 Beyond Rows to Reasoning (BRTR)，这是一个多模态代理框架，旨在通过迭代工具调用循环取代单次检索，实现端到端的电子表格分析与编辑。

核心组件：

1. 多模态索引与检索 (Multimodal Indexing & Retrieval)：

   • 分块策略： 将电子表格内容分为四种块类型：行（Row）、列（Column）、矩形窗口（Rectangular Window）和嵌入图像（Embedded Image）。
   • 混合检索： 结合稠密向量搜索（Cosine Similarity）和稀疏词汇匹配（BM25），后者对精确数值和单元格引用至关重要。
   • 融合策略： 使用倒数排名融合（RRF）整合不同分块类型的结果。
   • 嵌入模型选择： 经过评估，选定 NVIDIA NeMo Retriever 1B 作为处理混合表格和视觉数据的最佳嵌入模型。

2. 代理工具调用循环 (Agentic Tool-Calling Loop)：

   • 迭代细化： LLM 不再是单次生成，而是通过多轮对话调用搜索工具（如 search_rows, search_columns, search_images 等）。
   • 动态决策： 模型检查返回结果，若证据不足或模糊，则细化查询、请求不同内容类型或应用坐标过滤。
   • 上下文管理： 采用“始终修剪”（Always-Prune）策略。当检索到新图像时，从之前的工具响应中移除旧图像数据（仅保留元数据），防止 Token 消耗溢出，同时保留推理历史。

3. 规划器 - 执行器架构 (Planner-Executor Architecture)：

   • 任务分解： 规划器（Planner）将复杂的工作流指令分解为有向无环图（DAG）形式的子任务。
   • 专用执行器： 六个专用执行器并行处理不同任务：Excel（读写/公式/图表）、IO（PDF/CSV）、Web（搜索/数据）、验证（会计恒等式检查）、OCR（图像转录）和搜索（基础检索工具）。
   • 优势： 解决了长视界（Long-horizon）任务中的误差累积问题，通过并发执行独立分支提高效率。

3. 主要贡献 (Key Contributions)

1. 多模态嵌入模型评估： 在 FRTR-Bench 上首次对五种多模态嵌入模型进行了全面比较，为混合表格和视觉数据的检索提供了实证指导，确定了 NVIDIA NeMo Retriever 1B 为最佳选择。
2. BRTR 代理框架： 提出了一种支持端到端 Excel 工作流（从复杂分析到结构化编辑）的框架。该框架引入了结构化的搜索工具和上下文预算管理机制。
3. 全面评估与消融实验： 基于超过 200 小时 的专家人工评估，在三个前沿基准测试中验证了性能。消融实验证明了规划器、检索机制和迭代推理各自的关键贡献。
4. 可审计性： 框架通过显式的工具调用轨迹（Tool-call traces）保持了全流程的可审计性。

4. 实验结果 (Results)

研究在三个基准测试中进行了评估：FRTR-Bench（复杂跨表任务）、SpreadsheetLLM（单表任务）和 FINCH（企业级财务工作流）。

• FRTR-Bench 表现：

  • BRTR 结合前沿模型（如 GPT-5, Gemini 3 Pro）达到了 99% 的准确率。
  • 相比最佳单次检索基线（FRTR），准确率提升了 25 个百分点。
  • 相比压缩方法（SpreadsheetLLM），性能提升巨大（后者在跨表任务上准确率仅为 6-34%）。
  • GPT-5.2 展现了最佳的效率 - 准确率平衡，仅需约 20k Token 和 90 秒延迟即达到 98% 准确率。

• SpreadsheetLLM 基准表现：

  • BRTR 达到 97-98% 的准确率，超越了 SpreadsheetLLM 自身的压缩方法（89-91%）和全量注入基线（55-68%）。
  • 证明了迭代检索不仅适用于复杂企业工作簿，也适用于通用的表格理解任务。

• FINCH 基准表现（财务与会计工作流）：

  • 在 172 个复杂企业工作流中，BRTR 结合 Claude Opus 4.6 达到了 95.3% 的准确率。
  • 相比单调用 API 代理（Naïve baseline），准确率提升了 32 个百分点（从约 63% 提升至 95%）。
  • 成功处理了涉及多文件、PDF、图像和跨表验证的混合任务。

• 消融实验结论：

  • 规划器（Planner）： 移除规划器导致准确率下降 20%，且 Token 消耗增加 40%（因为上下文膨胀）。
  • 代理循环（Agent Loop）： 移除迭代循环导致准确率降为 0%，证明了多轮推理和反馈对于验证结果和链式操作至关重要。
  • 检索（Retrieval）： 全量注入（Full Context）不仅 Token 消耗巨大，且准确率仅为 52%，且 20% 的任务因超出上下文窗口而无法完成。

5. 意义与影响 (Significance)

• 范式转变： 将电子表格理解从“单次检索/压缩”转变为“迭代代理推理”，使 LLM 能够像人类分析师一样进行多步骤、跨文件的探索性分析。
• 企业级适用性： 解决了处理数百万单元格、跨表依赖和混合模态（文本 + 图像）数据的实际痛点，能够处理真实的财务和会计工作流。
• 成本与效率优化： 虽然迭代过程增加了 Token 消耗，但通过智能的上下文修剪和规划器分解，BRTR 在保持高准确率的同时，显著降低了无效计算（相比全量注入）。
• 可解释性与审计： 显式的工具调用轨迹为金融和会计等高风险领域的 AI 应用提供了必要的可审计性，增强了信任度。
• 未来方向： 为扩展到其他结构化文档类型、自适应检索策略以及实时生产环境部署奠定了基础。

总结： BRTR 通过引入迭代式代理检索和规划分解架构，显著提升了 LLM 在处理复杂、多模态企业电子表格任务中的能力，在准确率、鲁棒性和可审计性方面均达到了新的状态（State-of-the-Art）。