💻 computer science

Assessing Y-Axis Influence: Bias in Multimodal Language Models on Chart-to-Table Translation

本文介绍了 FairChart2Table 框架，揭示了多模态语言模型在图表转表格任务中表现出与 y 轴特征（如数字位数、刻度数量和数值范围）及图例复杂度相关的显著性能偏差，同时证明了提供明确的 y 轴信息可以缓解这些差异。

原作者： Seok Hwan Song, Azher Ahmed Efat, Wallapak Tavanapong

发布于 2026-04-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Seok Hwan Song, Azher Ahmed Efat, Wallapak Tavanapong

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一位机器人厨师（多模态语言模型，或称 MLM），它的工作是查看一张图表的图片，并原封不动地写下食谱（数据表）。你或许会认为这位机器人应该完美无缺，对吧？

这篇论文指出：且慢。 这位机器人实际上对图表垂直标尺（y 轴）上的数字书写方式非常挑剔。如果标尺看起来是某种特定样式，机器人就能烹制出美味佳肴；如果看起来稍有不同，机器人就会把食物烧焦。

以下是他们研究发现的拆解，使用了简单的类比：

1. 问题：机器人存在“盲点”

研究人员注意到，机器人所训练的图表存在不平衡。这就像只教厨师使用“杯”作为面粉计量单位的食谱，却从未教过他们使用“汤匙”。当厨师最终看到“汤匙”时，他们就会感到困惑。

在图表世界中，“食材”包括：

数字位数： 数字是"5"还是"5,000,000"？
刻度线： 标尺上有 3 条线还是 11 条线？
格式： 数字是写成"7,000"、"7K"还是"7.00e+3"？

研究发现，即使实际数据相同，当这些特定“食材”发生变化时，机器人的表现也会变差。

2. 解决方案：一个“公平测试厨房”（FairChart2Table）

为了证明这一点，研究人员建立了一个全新的、高度受控的测试厨房，名为FairChart2Table。

设置： 他们不使用杂乱无章的真实世界图表，而是生成了数千张完美的合成图表。
控制： 他们一次只改变一个因素。例如，他们使用完全相同的数据，制作了一张数字为"1, 2, 3"的图表，另一张则为"1,000, 2,000, 3,000"。
目标： 确切地找出标尺的哪个具体特征会让机器人失足。

3. 关键发现：什么会让机器人绊倒？

A. 数字的“大小”（数字位数）
将数字位数想象成标尺上字体的大小。

发现： 当数字变得非常长（如 15 或 16 位）时，机器人会感到困惑。这就像试图阅读一份价格用极微小的微缩字体书写的菜单。一些机器人（如 GPT-4o）在处理非常长的数字时变得极其混乱，而另一些机器人（如 Gemini）处理得稍好，但仍有困难。

B. 图表中的“人群”（实体数量）
想象一张只有一条线（一个实体）的图表，与一张有六条线像一碗意大利面一样相互交叉的图表。

发现： 随着线条变得更加拥挤，机器人开始将它们混淆。它们可能会说：“这个点属于红线”，而实际上它属于蓝线。线条越多，机器人交换答案的可能性就越大。

C. 标尺的“风格”（格式和刻度）

发现： 机器人讨厌缩写。如果你将"1 Million"写成"1M"或"1,000,000"，一些机器人会迷失方向。如果标尺上的刻度很少（3 个刻度）而不是很多（11 个刻度），它们也会感到困难。这就像试图用一支只标有“热”和“冷”的温度计来猜测温度， versus 一支标有每一个具体刻度的温度计。

4. 魔法技巧：给机器人一张作弊条

研究人员问道：“如果我们直接告诉机器人标尺上写的是什么，会怎样？”

实验： 他们给机器人一个提示，明确列出 y 轴上的数字（例如，“标尺从 0 到 100，每步增加 10"）。
结果： 这对某些机器人来说像魔法一样有效。它们的性能显著提升。这就像把一把尺子递给厨师，这样他们就不必猜测测量值了。然而，这并没有同等地帮助所有机器人；有些机器人原本就表现尚可，而另一些机器人仍然在特定格式（如缩写）上遇到困难。

5. 工作的新工具

该论文还发明了评估机器人的新方法。

旧评分： 过去只是检查数字是否接近。
新评分（TBE）： 他们意识到，偏离"200 点”在不同图表中看起来截然不同。如果图表范围是从 0 到 1,000，偏离 200 是一个巨大的错误。如果图表范围是从 0 到 1,000,000，偏离 200 则微不足道。他们的新指标基于图表的“网格线”来衡量误差，这是一种更公平的方式来判断机器人是否真正看对了图表。

总结

该论文得出结论：多模态语言模型在读取图表方面尚未完美，因为它们受到垂直轴上数字呈现方式的偏见影响。它们在某些样式上表现良好，但在其他样式上则失败。通过创建一个公平的测试环境，并给予模型一点帮助（用轴值提示它们），我们可以确切地看到它们在哪里失败，并帮助它们改进。

注意： 该论文并未声称这些机器人目前用于医疗诊断或金融交易；它严格专注于将图表图像转换为数据表的技术性能。

以下是论文《评估 Y 轴影响：多模态语言模型在图表转表格翻译中的偏差》的详细技术总结。

1. 问题陈述

多模态语言模型（MLMs）正越来越多地被用于将图表图像翻译为结构化表格数据（图表转表格翻译）。尽管先前的研究已调查了 MLMs 在图表复杂度、配色方案和字体大小方面的偏差，但在理解Y 轴特定信息如何影响模型性能方面仍存在显著空白。

作者指出，公共数据集（如 PlotQA、ChartQA）在 Y 轴特征方面存在严重的不平衡，例如：

数字位数：Y 轴最大值整数部分的数字位数。
刻度配置：主刻度的数量及数值范围。
数值格式：缩写（K、M、B）、科学计数法或千位分隔符的使用。

这些不平衡导致了非预期的偏差，即模型在特定的 Y 轴配置上表现良好，但无法泛化到其他配置。此外，现有的评估指标（如 RMSF1）往往无法捕捉视觉上显著的误差（例如超过最小刻度间隔的偏差），导致评估结果不可靠。

2. 方法论：FairChart2Table 框架

为了填补这些空白，作者提出了FairChart2Table，这是一个偏差受控的框架，包含一个新的基准数据集和新的评估指标。

A. 基准构建

该框架使用 Bokeh 绘图库生成合成数据集，以确保对变量的严格控制。数据集分为四个子集（A–D 部分），以隔离特定的偏差：

A 部分（数字位数）：生成 3,060 张图像，变化 Y 轴数值的数字位数（0–16）和实体数量（1–6）。
B 部分（主刻度）：比较 3、6 和 11 个主刻度下的性能。
C 部分（数值范围）：测试三种范围场景：
- 正数（Pos）：原点向上移动（所有值为正）。
- 负数（Neg）：原点向下移动（所有值为负）。
- 扩展（Ext）：数据范围加倍，将数值推向底部。
D 部分（数字格式）：测试普通数字、千位分隔符、缩写（K、M、B、T）和科学计数法。

所有其他视觉元素（标题、字体、颜色、X 轴）均被标准化，以防止混淆因素。

B. 新评估指标

作者批评标准的RMSF1指标未能充分惩罚视觉上明显的误差。他们提出了**基于刻度的误差（TBE）**指标：

**$DTBE $（基于刻度的距离）**：将绝对误差（$ |g - p| $）除以最小刻度间隔（$ t$）进行归一化，而不是除以真实值。
$DTBE(g, p) = \min\left(1, \frac{|g - p|}{t}\right)$
$RMSTBE_{F1}$ ：一种使用$DTBE$进行数值对齐的 F1 分数变体，移除了标题惩罚以专注于数据准确性。
$RMSTBE_{F1}$ -Sig：仅关注“显著”偏差，即误差超过最小刻度间隔的情况。
SES（交换误差分数）：衡量结构性误差，即数值被正确提取但被分配给了错误的实体（在线条交叉时常见），计算为最小成本匹配分数与标准 $RMSTBE_{F1}$ 之间的差值。

3. 实验设置

该框架用于评估五种最先进的模型：

闭源模型：GPT-4o、Gemini-2.0-flash。
开源模型：Pixtral-12B。
专用/监督模型：DePlot（专门针对图表转表格）、ChartGemma 和 TinyChart（通用图表理解）。

实验涉及配对统计检验（Wilcoxon 符号秩检验），以比较不同偏差配置下的性能。

4. 关键结果与发现

研究问题 1：Y 轴信息的影响

数字位数：随着数字位数的增加，性能普遍下降。
- DePlot和TinyChart在较高数字位数（如 11、15、16）时出现显著下降。
- GPT-4o整体表现最差，且对高数字位数表现出强烈的偏差。
- Gemini最为稳健，但仍显示出下降趋势。
主刻度：所有模型在3 个主刻度时表现最差。闭源模型（Gemini、GPT-4o）在 11 个刻度时有所改善，而开源模型未显示出统一趋势。
数值范围：
- DePlot在负数原点和扩展范围下表现挣扎。
- TinyChart在轴线跨越零点时表现出色，但在原点偏移时失败。
- Gemini在大多数范围内保持一致，但在扩展范围下显著下降。
数字格式：
- **缩写（K、M、B、T）**导致几乎所有模型的性能急剧下降（例如，TinyChart 从约 80% 降至约 26%）。
- 科学计数法也对许多模型产生负面影响，尽管 DePlot 和 TinyChart 处理缩写时的表现优于处理科学计数法。

研究问题 2：其他因素（实体数量和图表类型）

实体数量：随着实体数量（1–6）的增加，由于线条交叉概率增加，性能普遍下降。
- SES 分数：DePlot 和 TinyChart 等模型在 5–6 个实体时显示出较高的交换错误（混淆实体）。
- Gemini和Pixtral对实体数量增加的鲁棒性更强。
图表类型：当底层数据相同时，折线图、散点图和柱状图之间的性能差异具有统计学意义，但不如 Y 轴偏差显著。

研究问题 3：Y 轴提示对提示工程的影响

将明确的 Y 轴刻度值作为提示的一部分提供，显著提高了某些模型的性能。
Pixtral的提升幅度在**0.94% 到 26.60%**之间。
Gemini在处理缩写格式时表现出显著改善（从 46.54% 提升至 61.32%），表明该提示有助于解码非标准格式。

5. 意义与贡献

识别隐藏偏差：本文系统地揭示了 Y 轴特征（数字位数、刻度数量、格式）是 MLMs 中主要的、此前未被审查的偏差来源。
FairChart2Table 框架：一个可复现的基准和方法，用于生成偏差受控的数据集，允许研究人员隔离特定变量。
改进的指标：引入基于 TBE 的指标（ $RMSTBE_{F1}$ ），与传统基于文本的指标相比，提供了对图表转表格翻译误差更准确的视觉评估。
实用见解：研究表明，提示工程（提供 Y 轴提示）可以减轻特定偏差，特别是在处理缩写和复杂数字位数方面。

6. 局限性

数据集是合成的（通过 Bokeh 生成），不包含现实世界中带有噪声的图表图像。
所有文本（图表和图例）均为英文。
研究仅专注于Y 轴偏差，不涉及其他图表元素。

结论

作者得出结论，当前的 MLMs 对 Y 轴配置高度敏感，通常在处理高数字位数或非标准格式的数据时失败。FairChart2Table框架为开发更稳健、无偏差的图表理解模型提供了必要的工具，并表明明确的 Y 轴上下文可以是提高模型准确性的有力杠杆。