Measuring Judgment Quality in Natural-Language Explanations: Evidence from Forecasting Tournaments
本文介绍了解释质量标记（Explanation Quality Markers, EQMs），这是一种基于大语言模型的可扩展方法，用于对自然语言解释中的六十种推理模式进行评分，该方法能有效预测预测准确性，并优于传统的文本分析技术。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你是一位正在努力招聘顶尖金融顾问的经理。你面前有一叠 55,000 份申请书。每份申请都包含一个特定的预测（例如，“股票上涨的可能性为 20%”）以及一段解释其原因的文字。
你的问题在于？你无法阅读所有 55,000 段文字来判断谁真正擅长预测未来。你需要一种方法来快速扫描文本，并判断：“这个解释看起来很聪明，”或者“这个只是在瞎猜。”
这篇论文介绍了一种名为**解释质量标记（Explanation Quality Markers, EQMs）**的新工具来解决这个问题。以下是它的工作原理，我们使用简单的类比来解释。
旧方法：数单词和查字典
在此研究之前，研究人员尝试使用“前大语言模型时代（pre-LLM）”的工具来评判这些解释。这些工具就像是拼写检查器或单词计数器。
- 他们会统计段落中的单词数量。
- 他们会寻找特定的“听起来很高级”的词汇（如“因此”或“然而”）。
- 他们会检查文本的复杂度。
结果： 这些工具就像是通过计算一个厨师使用了多少种香料来评判其烹饪水平。这并不能真正告诉你食物是否好吃。研究发现，这些旧方法与一个人实际的准确性几乎没有任何联系。
新方法：“超级阅读者” AI
作者使用了一个大语言模型（一种先进的 AI，类似于 GPT-4o）来充当**“超级阅读者”**。AI 不仅仅是计数，它还经过训练，可以寻找专家公认的 60 种特定的“推理模式”。
把这个 AI 想象成一名正在寻找嫌疑人供词中线索的侦探。
- 好线索（绿灯）： 这个人是否参考了历史数据？他是否承认自己可能会出错？他是否将一个大问题分解成了若干个易于处理的小部分？
- 坏线索（红灯）： 这个人是否只是在瞎猜？是否过于自信（“肯定会发生！”）？是否忽略了与其观点相悖的证据？
AI 阅读解释，并根据它发现的“绿灯”和“红灯”数量给出评分。
重大发现：“垃圾检测器”
研究人员将这个 AI 与预测的实际结果（股票上涨还是下跌）进行了对比测试。以下是他们的发现：
- AI 是一个出色的“垃圾检测器”： AI 非常擅长识别糟糕的解释。如果一个解释充满了“红灯”（如瞎猜或过度自信），AI 就会将其标记出来，而这类人的预测几乎总是错误的。
- AI 是一个较弱的“明星发现器”： AI 在识别绝对顶尖专家方面的表现稍逊一筹。仅仅因为一个解释看起来完美，并不保证那个人就是天才。
- 类比： 想象一下海滩上的金属探测器。它非常擅长发现生锈的钉子和碎玻璃（坏的东西）。但它并不擅长区分一块闪亮的铜片和真正的金块（最好的东西）。
它与人类的对比
研究人员还要求人类阅读这些解释并进行评分。
- 人类容易被长度迷惑： 人类倾向于给较长的解释打高分。他们认为：“哇，这个人写了这么多，所以他一定很聪明。”
- 现实情况是： 文本的长度与预测是否正确几乎没有任何关系。
- AI vs. 人类： AI 在预测谁更准确方面，比人类做得更好。人类会被“废话”（长度和华丽的辞藻）所干扰，而 AI 则专注于实际的逻辑。
为什么这很重要
这个工具之所以有用，是因为它不需要过往业绩记录。
- 通常，要了解一个预测者的水平，你必须等待数月或数年才能看到他们过去的结果。
- 有了 EQMs，你可以通过观察单次书面解释，就能大致判断该人的准确性概率。
总结
- 问题： 我们有太多的专家解释需要阅读，而且我们不知道哪些是值得信赖的。
- 解决方案： 一种能够扫描 60 种特定推理习惯（如检查偏差或使用数据）的 AI。
- 结果： AI 比旧的计算机方法更有效，也比人类读者更能识别出糟糕的推理。它能帮助决策者过滤掉“噪音”和“瞎猜者”，即使它不能完美地识别出那些“天才”。
注： 本论文严格测试于地缘政治和经济预测竞赛。它并不声称这种方法适用于医疗诊断、法律判决或其他领域；它仅证明了该方法在这些特定竞赛中对预测未来事件是有效的。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。