EvidenceLens: A Claim-Evidence Matrix for Auditing Financial Question Answering
EvidenceLens 是一个视觉分析原型，它通过将模型输出分解为原子级断言，并利用结构化的断言-证据矩阵将其与多模态源证据的对齐情况进行可视化，从而增强了财务问答的可审计性。
原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你是一名金融分析师，你向一个超级聪明的 AI 助手提问：“公司利润上升是因为他们提高了生产效率，还是仅仅因为卖掉了一栋旧楼？”
AI 给出了一个自信且圆滑的段落说：“是的，这绝对是因为他们提高了生产效率。”听起来非常完美。但在高风险的金融世界里，“听起来完美”是不够的。你需要知道 AI 是在陈述事实，还是在为了显得聪明而信口开河。
这就是 EVIDENCELENS 的用武之地。你可以把它看作是 AI 回答的 “真相探测器” 或 “事实核查 X 光机”。
问题所在：“圆滑的谎言”
目前的 AI 聊天机器人就像圆滑的销售人员。它们能将真实的事实、微弱的猜测和完全的捏造无缝地融合进一个流畅的故事中。如果你只是阅读答案，它看起来很棒。但如果你仔细观察，可能会发现 AI 忽略了一张显示相反情况的图表，或者忽略了一个足以推翻整个故事的微小脚注。
解决方案：将答案拆解为“乐高积木”
EVIDENCELENS 改变了游戏规则，它拒绝将 AI 的回答视为一个巨大的文本块。相反，它将答案拆解成微小的、原子的 “主张”（Claims）（就像单个的乐高积木）。
- 主张 1： “利润上升了。”
- 主张 2： “这是因为更好的制造工艺。”
- 主张 3： “卖掉大楼并不重要。”
一旦答案被拆解开来，系统就会针对原始文档（年报、电子表格和图表）对每一个“积木”进行核查。
核心工具：“主张-证据矩阵”
EVIDENCELENS 的核心是一个巨大的网格（矩阵），看起来有点像电子表格或游戏棋盘。
- 行 是 AI 的各个主张。
- 列 是在文档中发现的证据（文本、表格或图表）。
这个网格使用颜色来直观地讲述故事：
- 绿色： “太棒了！这个主张得到了一个表格和一个图表的支持。”
- 黄色/橙色： “嗯……这个主张得到了文本的支持，但没有数字来证实。”
- 红色： “停下！AI 说的是一回事，但图表显示的却是完全相反的情况。”
- 空白处： “AI 在瞎编。对于这个主张，根本没有任何证据。”
它如何帮助你（分析师）
想象你是一名侦探。与其为了寻找一个谎言而去阅读一份 50 页的报告，EVIDENCELENS 直接递给你一张地图，标出了问题所在。
- 识别“虚假的自信”： 有时 AI 听起来非常笃定，但证据却很微弱。EVIDENCELENS 会高亮显示这种“置信度差距”。这就像一位老师在给学生评分，学生写了一篇辞藻华丽的长篇大论，但数学题却全做错了。系统会立即标记出这种情况。
- 发现“隐藏的矛盾”： 也许正文说的是一回事，但一个微小的脚注或某个特定的柱状图却显示了另一回事。矩阵会将这些冲突的颜色并排展示，让你不会错过隐藏在细则中的矛盾。
- 检查“成分”： 它能让你看到 AI 仅仅是依赖于文本（这可能很模糊），还是真的查看了表格中的硬性数字以及图表中的趋势。
现实世界测试
论文通过两个真实场景测试了该系统：
- “利润提升”案例： AI 自信地表示利润上升是由于效率提高。EVIDENCELENS 显示，虽然“利润上升”这一事实是真的，但“原因”（效率）仅得到了一半的支持，且 AI 完全忽略了关于“资产一次性出售才是主要原因”的证据。
- “业绩指引下调”案例： AI 说订单下降意味着客户正在永久流失。EVIDENCELENS 显示，虽然文本是这么说的，但图表仅显示了暂时性的下滑，而非永久性的崩溃。
底线
EVIDENCELENS 不仅仅给你一个答案；它给了你一条 审计追踪路径。它将 AI 从一个只会吐出文本的“黑箱”，转变为一个透明的系统，你可以清楚地看到答案的哪些部分是坚实的，哪些是摇摆不定的，以及哪些是凭空捏造的。
用论文的原话来说，它处理金融问题时，不将其视为一个“写作问题”（如何写出一个好句子），而是一个“对齐问题”（句子是否与证据相符）。这是一个帮助人类在利用 AI 进行重要金融决策时，依然能稳坐驾驶位（掌控全局）的工具。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。