From Data to Insights: Exploring Program-of-Thoughts Prompting for Chart Summarization
本文提出了一种零样本思维程序提示策略，该策略利用轻量级视觉语言模型和一种新颖的图表转字典辅助任务来生成 Python 代码，以实现准确且高效的图表摘要，在达到与现有方法相当性能的同时提升了事实准确性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象你有一张复杂的图表，比如天气图或股市走势图。你的目标是写一个简短的故事来解释这张图表在说什么。这被称为“图表摘要”。
问题在于，计算机（特别是被称为视觉语言模型的 AI 模型）非常擅长看图，但往往极不擅长做数学运算。如果你让 AI 查看图表并告诉你平均温度或最高销售额，它通常只是猜测。它可能会说平均温度是 50 度，而实际是 72 度；或者它可能会编造根本不存在的数字。这就像让一位诗人帮你报税；他们拥有丰富的想象力，但并未受过会计师的训练。
解决方案：“思维程序”（PoT）
这篇论文介绍了一个巧妙的技巧，称为思维程序（Program-of-Thoughts, PoT）。研究人员不再让 AI 在“脑海”中“思考”和“计算”（那里容易出错），而是让 AI 编写一个 Python 计算机程序来替它完成数学运算。
可以这样理解：
- 旧方法（直接提示）： 你问 AI，“总销售额是多少？”AI 看着图表，眯起眼睛，猜出一个数字。这就像让厨师在没有秤的情况下猜测牛排的重量。
- 新方法（PoT）： 你让 AI，“编写一个读取牛排重量并计算总和的计算机脚本。”AI 编写代码。然后，计算机运行该代码。计算机在数学方面完美无缺，因此结果是准确的。AI 随后利用这个准确的数字来撰写其摘要。
新工具：“字典”
为了让这种方法生效，研究人员必须教会 AI 一种描述图表的新方式。通常，AI 试图将图表转换为电子表格（表格）。但图表很杂乱；它们包含颜色、形状和标签，无法整齐地放入行和列中。
作者发明了一个新步骤，称为图表转字典（Chart-to-Dictionary）。
- 想象图表是一个杂乱的房间。
- 表格试图将每个物品强行塞进一个僵硬的盒子里。如果某个物品放不进去，它就会丢失。
- 字典则像一个智能标签制作器。AI 查看图表并说：“好的，这里有一份物品清单：
{'sales': [100, 200, 300], 'months': ['Jan', 'Feb', 'Mar']}。”它以计算机易于读取和计算的灵活、有序的列表形式捕捉数据。
他们如何测试
研究人员在多个不同的 AI 模型上，使用真实世界的图表（如条形图、折线图和饼图）测试了这种“编写代码以进行数学运算”的策略。他们比较了三种方法：
- 直接法： 仅让 AI 进行摘要。
- MCoT： 让 AI 用文字逐步思考（就像人类大声思考）。
- PoT： 让 AI 编写一个 Python 程序来计算数字，然后进行摘要。
他们的发现
结果有点像一支运动队，其策略完全取决于你拥有哪位球员：
- 对某些 AI 模型效果极佳： 对于擅长理解文本和数据的模型（如 InternVL 和 Qwen），PoT 方法大获成功。它帮助它们避免编造虚假数字，并提高了摘要的准确性。这就像给一名好学生一台计算器；他们本来就知道如何撰写故事，但计算器让事实变得完美。
- 对其他模型则表现不佳： 对于其他一些模型（如 DeepSeek），PoT 方法实际上使情况变得更糟。似乎这些模型被编写代码的额外步骤搞糊涂了，或者它们编写了破坏流程的错误代码。这就像给一个不懂如何使用计算器的人一台计算器；他们可能会把它弄掉，或者按错按钮。
- “字典”很有帮助： 将图表转换为 Python 字典（灵活列表）的新方法取得了成功。它为 AI 提供了一种更好的方式来在尝试进行数学运算之前“看清”数据。
结论
这篇论文表明，如果你希望 AI 准确地总结图表，你不应该只是让它“做数学运算”。相反，你应该让它编写一个工具（代码）来执行数学运算，然后让计算机运行该工具。
然而，这个技巧并非对所有 AI 都灵验。它最适合那些本身已擅长处理文本和数据的特定类型的 AI 模型。对于这些模型，这种方法就像一个安全网，在 AI 编造虚假数字之前将其拦截，确保最终的故事既引人入胜又事实准确。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。