💬 NLP

Self-Ensembling Vision-Language Models for Chart Data Extraction

本文提出了一种自集成视觉语言模型方法，通过聚合多个采样的表格输出以提升图表到表格数据提取的准确性与可靠性，并经由新构建的复杂基准（WB-ChartExtract）验证，该方法相较于单次通过方法展现出显著的性能提升。

原作者： Thomas Berkane, Qianyi Wang, Maimuna S. Majumder

发布于 2026-05-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Thomas Berkane, Qianyi Wang, Maimuna S. Majumder

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和日常类比对该论文的解读。

问题：图表是“锁定”的图片

想象一下，你在一份 PDF 报告或网站上看到一张精美、色彩丰富的图表。它展示了销售数据、温度变化或人口增长。对人类来说，只需瞥一眼就能理解趋势。但对计算机而言，那张图表只是一张图片（一张“光栅化图像”）。实际的数字被囚禁在像素之中。

如果你想利用这些数字进行数学运算、与其他数据对比或构建新模型，你无法直接复制粘贴它们。你必须手动输入，这不仅缓慢、枯燥，而且充满拼写错误。

现有方案（及其缺陷）

最近，我们构建了“视觉 - 语言模型”（VLM）——这是一种能够“看”图并“阅读”的 AI 大脑。你可以问 AI：“这张图表里的数字是多少？”它会尝试将这些数字写成表格。

然而，这些 AI 有点像在考试时紧张的学生。如果你问同一个学生同一个问题两次，他们可能会给出两个略有不同的答案。

运行 1： “销售额是 100、105 和 102。”
运行 2： “销售额是 100、104 和 103。”

有时 AI 会完全漏掉一个数字；有时，它会编造一个不存在的数字。目前的方法通常只取 AI 给出的第一个答案，并寄希望于好运。这很冒险，因为那个单一的猜测可能是错误的。

新想法：“专家委员会”

本文作者提出了一种巧妙的解决方案：不要信任一次猜测，要信任多次猜测的平均值。

他们创建了一种称为**自集成（Self-Ensembling）**的方法。可以这样理解：

民意调查： 不要只问 AI 一次，而是对同一张图表问 20 次。
大众意见： 你会得到 20 个不同的表格。有些是 100，有些是 101，有些是 99。
共识： 系统将这 20 个表格排列起来。对于表格中的每一个数字，它会查看所有 20 个版本，并选择中位数（中间值）。
- 如果 19 个人说"100"，而 1 个人说"1000"（错误），系统会忽略这个异常值并确定为 100。
- 如果 AI 感到困惑并给出不同的数字，那么“中间地带”通常比任何单次猜测都更准确。

额外功能：知道何时停止以及确信程度

论文为此过程添加了两个智能工具：

“停止标志”（收敛检测）： 询问 AI 20 次需要花费时间和金钱。系统会在每几次猜测后检查：“答案稳定了吗？”如果最后几次猜测基本相同，系统就会说：“好的，我们有了一个可靠的答案，停止吧。”这为简单的图表节省了成本。
“信心计”（不确定性估计）： 如果 AI 的 20 次猜测彼此非常接近，系统就知道它很有信心。如果猜测五花八门（有些说是 50，有些说是 90），系统会将该特定数字标记为“不可靠”。这有助于用户了解数据的哪些部分可以信任，哪些部分需要人工复核。

新测试：“困难模式”

作者意识到，用于检查这些 AI 的标准测试（如ChartQA）太容易了。它们就像在空旷的停车场进行的驾驶考试。图表很简单，数字通常直接印在柱状图上，这使得 AI 很容易只是“读取”文本，而不是真正理解图表。

为了解决这个问题，他们建立了一个更难的测试，称为WB-ChartExtract。

来源： 他们使用了来自世界银行的真实数据。
难度： 这些图表拥挤、复杂，且没有印上数字。AI 必须实际测量柱状图的高度或线条的位置来猜测数字。
多样性： 他们使用了四种不同的图表类型和四种不同的绘图软件，确保 AI 无法仅仅死记硬背某一种风格。
规模： 平均而言，这些图表的数据点比旧测试多7 倍。

结果

当他们在简单测试和新困难测试上运行其“专家委员会”方法时：

处处有效： 该方法提高了他们尝试的几乎所有 AI 模型的准确性。
在困难图表上收益巨大： 在困难的测试中，与只问 AI 一次相比，该方法将准确性提高了高达23%。
成本与回报： 虽然多问 AI 几次会稍微增加成本，但系统会对简单图表提前停止，使总成本保持在非常低的水平（整个数据集通常低于 15 美元）。

总结

论文指出："AI 非常擅长读取图表，但它不一致。如果你多次问它同一个问题并取中间答案，你会得到更准确的结果。我们还建立了一个更难的测试，以证明这在现实世界杂乱的数据中有效，并且我们添加了一个‘信心计’，让你知道何时可以信任 AI。”

重要说明： 作者明确指出，他们的方法受限于 AI 自身的错误。如果 AI 持续误解某种特定类型的图表，问它 20 次也无法解决这个问题。此外，他们的新测试是合成的（计算机生成的），因此虽然它模仿了真实数据，但可能无法捕捉到扫描的低质量文档中出现的每一个奇怪伪影。

技术摘要：用于图表数据提取的自集成视觉语言模型

问题陈述
图表是科学和政策语境中传达定量信息的主要媒介，然而底层数据通常被锁定在光栅化图像格式中，导致其无法用于搜索、关联或下游分析。虽然手动数字化是可行的，但其过程缓慢且容易出错。自动化的“图表转表格”提取已成为一种解决方案，近期方法利用视觉语言模型（VLM）直接“读取”图表并输出文本形式的表格表示。然而，现有的基于 VLM 的方法表现出脆弱性：单次前向传播往往产生不一致的结果，例如遗漏数据点、幻觉数值或误读坐标轴。此外，当前的基准测试（如 ChartQA）通常包含风格变化有限且带有打印数值标签的简单图表，导致性能指标趋于饱和，无法反映现实世界中复杂图形的难度。

方法论
作者提出了一种与模型无关的自集成方法，利用 VLM 的随机性来提高提取的准确性和可靠性。核心工作流程包括：

迭代采样：对于给定的图表图像，以特定的采样温度重复查询基础 VLM，生成多个候选的 TSV 格式表格输出。
解析与规范化：将原始输出解析为 TSV 格式，必要时修复行或列。单元格转换为数值，去除货币符号等伪影，而非数字字符串则被视为缺失值。
行与列对齐：由于标签的拼写和顺序在不同样本中可能有所差异，该方法使用平均归一化莱文斯坦相似度（ANLS）独立地对行标签和列标签进行聚类。如果标签满足相似度阈值且并非源自同一张采样表格（避免表内重复），则将其归入规范聚类。出现在少于 20% 表格中的虚假聚类将被修剪。
逐单元格聚合：对于每个对齐的单元格（行，列），该方法收集所有采样表格中的数值预测。共识值计算为这些值的中位数。
收敛检测：采样过程包含一个早停机制。如果在连续若干次更新中，至少 95% 的聚合单元格值的变化不超过 1% 的相对容差，则停止采样。这在计算成本与边际精度提升之间取得了平衡。
不确定性估计：为了评估可靠性，该方法计算每个单元格的相对中位数绝对偏差（MAD）。样本间的高离散度表明提取置信度低，为用户提供验证结果或请求更多采样的信号。

主要贡献

自集成框架：一种与模型无关的方法，在单元格级别聚合多个 VLM 输出以生成更准确的共识表格，抑制异常值预测和幻觉。
收敛检测：一种机制，用于识别何时额外的样本不太可能改变聚合结果，从而实现实用的早停。
不确定性量化：一种基于集成的不确定性估计（相对 MAD），与提取精度呈负相关，帮助用户评估可靠性。
WB-ChartExtract 基准：一个从世界银行时间序列数据构建的新基准，包含 1,000 个合成图表。与现有数据集不同，它包括：
- 更高的复杂度：图表平均包含的数据点数量是 ChartQA 中图表的 7 倍。
- 风格多样性：图表使用四种库（Matplotlib、Seaborn、Plotly、Bokeh）渲染，涵盖四种图表类型（折线图、面积图、分组条形图、堆叠条形图），并随机化字体、颜色和布局。
- 无打印标签：数值未直接打印在图表上，迫使模型从坐标轴和几何形状推断数据，而不是依赖 OCR 捷径。

结果
该方法在标准的ChartQA和新构建的WB-ChartExtract基准上进行了评估，涵盖了各种基础模型，包括专用图表提取器（OneChart、TinyChart、DePlot）以及通用开源和闭源 VLM（Qwen3-VL、Llama 4 Scout、Seed 1.6 Flash、GPT-5.1、Claude Opus 4.6、Gemini 2.5 Pro）。

精度提升：自集成 consistently 提高了提取精度（通过相对映射相似度 RMSF1 衡量），优于单次前向传播基线。
- 在WB-ChartExtract上，相对提升幅度从 2.7%（TinyChart）到 23.1%（Seed 1.6 Flash）不等。
- 在ChartQA上，通用模型观察到了提升（例如 Qwen3-VL 从 91.43 提升至 93.21），但 TinyChart 的提升微乎其微，因为它在其领域内训练分布上的表现已经饱和。
误差分析：集成方法纠正的主要失败模式是数值错误（数值不匹配）和缺失数据点。标签错误可忽略不计。该方法在恢复复杂图表（如面积图和折线图）中缺失的结构方面特别有效。
成本效益：虽然集成会增加 API 成本（根据模型不同，大约增加 4–16 倍），但收敛检测机制通过为较简单的样本提前停止，显著缓解了这一问题。在 WB-ChartExtract 上，早停在平均使用 1.24 倍更少样本的情况下，保留了集成方法 99% 的精度提升。
不确定性相关性：提出的不确定性指标（相对 MAD）与 RMSF1 显示出显著的负相关（Spearman $\rho \approx -0.34$ 至 $-0.37$），证实了更高的集成分歧可可靠地预测更低的提取精度。

意义与主张
该论文主张，这种方法通过解决单次前向传播 VLM 生成的脆弱性以及当前基准测试的局限性，使图表转表格提取更接近现实世界的部署。通过引入 WB-ChartExtract，作者提供了一个更严格的测试平台，揭示了不同模型在视觉推理能力上的真实差异，特别是在数据密度和风格变化方面。自集成方法提供了一种实用且与模型无关的策略，以解锁以前被隔离在图表图像中的表格数据，从而实现具有量化可靠性的下游分析。

局限性
作者承认，该方法受限于基础 VLM 的失败模式；系统性错误可能会被强化而非纠正。收敛标准侧重于数值稳定性，可能会遗漏表格结构中的语义不一致性。此外，不确定性估计是启发式的，并非正确性的校准概率。最后，虽然 WB-ChartExtract 具有多样性，但它是合成渲染的，可能无法捕捉所有现实世界的伪影，如低分辨率扫描或非标准布局。