🤖 AI

AgentFinVQA: A Deployable Multi-Agent Pipeline for Auditable Financial Chart QA

AgentFinVQA 是一个可部署的多智能体流水线，用于可审计的金融图表问答，它在确保数据驻留并为受监管环境提供可追溯验证的同时，在 FinMME 基准测试上实现了最先进的准确率。

原作者： Aravind Narayanan, Shaina Raza

发布于 2026-06-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Aravind Narayanan, Shaina Raza

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一名金融分析师，正试图通过阅读一张复杂的图表来回答一个问题，比如：“哪些年份的销售额在 1 万美元到 2.5 万美元之间？”

如果你向一个标准的 AI（即“零样本”模型）提问，这就像是请一位才华横溢但缺乏耐心的实习生扫一眼图表，然后大声喊出答案。他们可能会答对，但也可能会瞎猜、产生幻觉，或者漏掉微小的细节。更糟糕的是，你完全不知道他们是如何得出答案的，如果他们错了，你也无法证明。在规则严苛且数据敏感的金融世界里，你不能仅仅信任一个“黑箱”式的答案。你需要知道每一个步骤，而且你不能把私密的客户数据发送给陌生人的电脑。

AgentFinVQA 就是作者构建的解决方案。不要把它仅仅看作一个单一的天才，而要把它看作一个用于回答图表问题的专业化工厂流水线。任务不再由一个人完成所有工作，而是分解给一个由专家组成的团队，每个人都有特定的职责，并且每一个步骤都会被记录在永久性的“收据”（称为模型评估包，Model Evaluation Packet）中，以便你审计到底发生了什么。

以下是这个“工厂”的工作流程，分步详解：

规划者（建筑师）： 在任何人看到图表之前，这个纯文本智能体先阅读问题和多项选择选项。它还看不到图像。它会创建一个清单：“好的，我们需要检查颜色、查看年份并对比柱状图。”它告诉团队具体要寻找什么。
OCR 阅读器（抄写员）： 这个智能体观察图表，并且只读取文本（标题、坐标轴标签、数字）。它将这些内容整理成一份整齐的列表。这可以防止后续步骤误读模糊的标签。
图例定位器（翻译官）： 图表经常使用颜色（红线、蓝柱）来代表不同的事物。这个智能体将颜色与名称进行匹配（例如，“红色 = 2023 年销售额”）。它创建了一张地图，确保后续环节不会混淆颜色。
颜色区域工具（测量尺）： 对于像饼图或堆叠柱状图这样难以通过肉眼判断大小的复杂图表，仅凭直觉很难准确判断。这并不是一个聪明的 AI，而是一个简单的、机械的计算器。它通过实际统计特定颜色的像素点来给出精确的测量值。这就像是用尺子测量，而不是用眼睛去猜。
视觉智能体（检查员）： 现在，主智能体带着清单、文本列表、颜色地图和像素测量值一起观察图表。它将所有信息整合在一起，起草出一个答案。
验证器（质量控制经理）： 这是建立信任最关键的一步。第二个独立的智能体再次观察图表并审视草拟的答案。它会询问：“这真的符合数据吗？”
- 如果一致，它会说**“确认（Confirmed）”**。
- 如果不一致，它会说**“修改（Revise）”**。
- 至关重要的是，系统会记录一个“置信度分数”。如果经理不确定，它会标记该答案需要人工检查。这让公司可以将人力资源集中在那些可能出错的答案上，从而节省时间。

为什么这很重要？

它是可审计的： 因为每一步都记录在那个“收据”（MEP）中，你可以回溯并说：“啊，系统出错是因为它混淆了红线和蓝线。”你知道出错的确切原因。
它是私密的： 你可以在自己的电脑上（本地部署）使用开源软件运行整个工厂。你永远不必将秘密的客户图表发送到大型科技公司的云端。
它是准确的： 作者在一个名为 FinMME 的高难度金融图表数据集上测试了该系统。
- 当使用顶尖的商业 AI（Gemini-3）时，他们的工厂比直接询问 AI 的正确率高出了 7.68%。
- 当使用在自有服务器上运行的免费开源 AI（Qwen）时，他们仍然获得了 4.84% 的正确率提升。
- “质量控制经理”（验证器）在识别错误方面表现出色：当它说“确认”时，答案正确的概率为 68.2%。当它说“修改”时，原始答案通常是错误的。

哪些地方做得不够完美？

作者承认该系统并非万能。大约三分之二的错误是由以下原因造成的：

AI 误解了问题（例如，把“最高”理解成了“最低”）。
它被图例误导了（搞混了哪个颜色代表哪一年）。
尽管找到了图表上的正确位置，但读错了数字。

有趣的是，“质量控制经理”在识别这些特定类型的错误时表现并不理想。这告诉作者他们下一步需要改进的方向。

简而言之： AgentFinVQA 将一个具有风险且不透明的 AI 猜测，转变为一个透明的、分步进行的工厂流程。它证明了你可以同时拥有高准确性、完全的隐私保护以及清晰的审计追踪，而这正是金融机构信任 AI 处理其数据所必需的。

技术摘要：AgentFinVQA

问题陈述

在受监管的环境中，金融图表问答（QA）面临着现有解决方案无法同时解决的三重挑战：

可审计性： 从业者需要通过可见的推理过程来建立对答案的信任，然而目前的智能体通常是透明度极低的“黑盒”。
数据驻留： 许多金融机构无法将敏感的客户数据传输给外部 API 提供商，因此需要本地化部署。
准确性与透明度的权衡： 现有系统要么依赖专有 API 优先保证原始准确性（缺乏审计追踪），要么依赖难以部署和审计的本地微调及分割模型。

现有的智能体框架通常依赖本地计算机视觉工具来操作图像，或者需要针对标注数据集进行繁重的微调，这为受监管部门设置了准入门槛。目前市场缺乏一种仅基于提示词（prompting-only）（无需本地分割或特定任务微调）、完全可审计且能在不显著损失准确性的情况下部署在开源权重模型上的系统。

方法论：AgentFinVQA 流水线

作者提出了 AgentFinVQA，这是一个将图表问答分解为顺序、可追溯阶段的多智能体流水线。该系统运行于一张金融图表图像 ( $c$ )、一个自然语言问题 ( $q$ ) 以及可选的多个选项 ( $O$ )。

核心架构

流水线按固定顺序执行阶段：规划 $\rightarrow$ OCR $\rightarrow$ 定位 $\rightarrow$ 色块统计 $\rightarrow$ 检查 $\rightarrow$ 验证。每个阶段都会将输入、输出和工具追踪记录到 模型评估包（Model Evaluation Packet, MEP） 中，这是一种便携式 JSON 构件，实现了完整的可审计性和事后错误归因。

规划器（Planner）： 一个纯文本 LLM 在不查看图像的情况下分析问题和 MCQ 选项，生成结构化的 JSON 检查计划。它对问题类型进行分类，并指导后续视觉智能体如何处理单选与多选查询。
OCR 阅读器（OCR Reader）： 通过一次专注的视觉语言模型（VLM）调用，将所有可见文本（轴标签、刻度、图例、注释）转录为结构化元数据。这可以防止视觉智能体在后续环节中误读文本。
图例定位器（Legend Grounder）： 通过定向 VLM 调用，将图例条目映射到视觉属性（颜色描述、近似 RGB、线型）。该映射作为显式证据注入视觉提示词中，并包含一项合规性检查，确保视觉智能体引用这些标签。
色块统计工具（Colour-Area Tool）： 一个确定性的、基于规则的像素计数阶段（使用 OpenCV），当出现比较类关键词时激活（适用于柱状图/饼图/环形图）。它根据图例映射应用 HSV 颜色掩模，以统计每个序列的像素数量，从而为视觉智能体提供“主导标签提示”。该阶段不需要 GPU 或训练好的模型。
视觉智能体（Vision Agent）： 一个编排后的智能体（使用 CrewAI）利用图表图像、OCR 元数据、图例映射和色块统计提示来执行检查计划。它生成草拟答案及每个选项的置信度得分。一个“强制选择重试”机制用于处理 MCQ 中的过度拒绝现象。
验证器（Verifier）： 一个独立的 VLM 调用，根据图表图像审计草拟答案。它发布 确认（CONFIRM） 或 修改（REVISE） 的判定，并附带自报告的置信度得分。置信度门限（0.75）防止低置信度的修改覆盖高质量的视觉输出。

部署灵活性

系统使用可配置的后端抽象。它支持专有 API（如 Gemini-3 Flash）和本地服务的开源权重模型（如通过 vLLM 服务的 Qwen3.6-27B-FP8）。这使得机构可以在单张 A100 GPU 上运行整个流水线，确保数据绝不离开其基础设施。

核心贡献

AgentFinVQA 流水线： 一个仅基于提示词的多智能体框架，将图表问答分解为专门的步骤，并将每项操作记录在可追溯的 MEP 中，以实现完全的可审计性。
开源权重模型的适用性： 经验证据表明，智能体分解带来的准确性提升可以从专有骨干网络迁移到本地服务的开源权重模型上，从而支持在保持适度准确性权衡的前提下进行内部部署。
基于置信度的路由机制： 验证器的判定提供了实用的置信度信号。“修改”后的答案会被标记以供人工审查，而“确认”的答案则被视为优先级较低，从而优化了人机协作的工作流。

结果

在 FinMME 基准测试（约 11,000 个样本）上的评估显示，AgentFinVQA 相比于模型匹配的零样本（zero-shot）基准表现出显著提升：

专有骨干网络 (Gemini-3 Flash)：
- 平均准确率：71.24% vs 63.56% (Zero-shot)。
- 提升幅度：+7.68 个百分点 (pp)。
- MCQ 准确率：+8.1 pp。
- 统计显著性：McNemar $p \approx 1.1 \times 10^{-16}$ 。
开源权重骨干网络 (Qwen3.6-27B-FP8, 本地)：
- 平均准确率：66.52% vs 61.68% (Zero-shot)。
- 提升幅度：+4.84 pp。
- MCQ 准确率：+5.3 pp。
- 统计显著性：McNemar $p \approx 3.0 \times 10^{-6}$ 。
- 注：开源权重模型在开放式问题上没有可靠的增益（-1.0 pp），这表明在本地部署环境下，处理最难的问题类型时存在适度的准确性成本。

错误分析与验证器效用

失效模式： 约三分之二的失败源于问题理解偏差、图例混淆以及提取错误。
验证器表现： 验证器能有效识别某些类别中的错误，但在检测问题理解偏差和图例混淆方面效果较弱。
路由信号： 被验证器标记为“确认”的答案达到了 68.2% 的精确准确率，而“修改”类答案为 55.6%。这表明验证器可以成功地将最可能出错的 ~19% 输出路由给人类分析师，而剩余的 ~81% 则可以以更高的置信度被信任。

意义与主张

本文声称，可审计的、本地化的金融图表问答是切实可行的。研究证明：

智能体分解通过无需本地计算机视觉模型或特定任务微调的方式，显著提高了准确性，优于零样本基准。
这些增益并不依赖于专有 API；它们在本地服务的开源权重模型上依然存在，从而实现了完整的数据驻留。
验证器的集成提供了一种“基于置信度的真人审查路由”机制，为适合受监管金融环境的自动化与可审计性之间的权衡提供了务实的方案。

作者承认存在局限性，包括缺乏跨数据集的泛化性测试（仅使用了 FinMME）、开源权重模型在开放式问题上的适度准确性成本，以及验证器的置信度是自报告而非经过校准的。他们指出，色块统计工具的主要价值在于架构层面（确定性定基与审计追踪），而非提升整体准确率，因为该工具仅在 5% 的数据集中激活。