VecCISC: Improving Confidence-Informed Self-Consistency with Reasoning Trace Clustering and Candidate Answer Selection
本文介绍了 VecCISC，这是一个轻量级框架，它通过在评估前利用语义相似性过滤冗余或幻觉推理轨迹，从而降低置信度驱动自一致性的计算成本，在各类推理基准测试中实现了高达 47% 的 token 节省，同时保持或提升了准确率。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在尝试解开一个非常棘手的谜题。你请一位超级聪明但有时话痨的机器人（人工智能）来解答。为了确保机器人答对，你让它尝试解答这个谜题 20 次。
旧方法（自一致性）：
你收集全部 20 个答案，直接挑选出现频率最高的那个。如果有 15 个机器人说“答案是保龄球”，而 5 个说“答案是国际象棋”，你就选择保龄球。这种方法有效，但速度很慢，因为你必须等待 20 个完整的答案。
“思考两次”的升级（CISC）：
研究人员意识到，仅仅统计票数是不够的。有时机器人会给出一个带有非常自信口吻解释的错误答案，或者给出一个带有摇摆不定解释的正确答案。因此，他们增加了一位“法官”机器人。
- 第一个机器人提供 20 个答案及其推理过程。
- 法官机器人阅读这 20 个推理故事中的每一个，并为它们打分（0 到 100 分的“置信度”）。
- 你选择总分最高的答案。
问题：
这对提高准确率很有帮助，但成本极高。让法官为每个问题阅读 20 篇长文，就像雇佣一个由 20 名编辑组成的团队来审阅一封信的 20 个草稿。这需要大量的时间和金钱（计算能力）。此外，第一个机器人有时会困惑，写出胡言乱语（幻觉）或反复重复同一句话（退化痕迹）。法官也会浪费时间阅读这些垃圾草稿。
新解决方案（VecCISC）：
本文作者 James Petullo 及其团队想出了一个巧妙的捷径，称为VecCISC。你可以把它想象成坐在第一个机器人和法官之间的一个“智能分类器”。
以下是它的工作原理，使用一个简单的类比：
- 分组： 第一个机器人仍然写出 20 个故事。
- “氛围检查”（聚类）： 智能分类器不是将所有 20 个故事都发送给法官，而是查看它们并按“氛围”或含义进行分组。
- 想象机器人写了 15 个故事，都说“这部电影是关于保龄球的”，只是用词略有不同。分类器看出这些本质上是同一个故事。
- 它将这 15 个故事归入一堆。
- 它将那 3 个说“是关于国际象棋”的故事归入另一堆。
- 它发现那 2 个只是胡言乱语或乱码的故事，并将它们放入“垃圾”堆。
- 代表： 从“保龄球”堆中，分类器只挑选一个最具“代表性”或最完美的故事作为该组的范例。它忽略其他 14 个，因为它们只是复制品。它完全忽略垃圾堆，因为它显然已损坏。
- 法官的工作： 现在，法官不再需要阅读 20 个故事，而只需阅读来自“保龄球”堆的一个故事和来自“国际象棋”堆的一个故事。
结果：
通过这样做，团队发现：
- 他们节省了巨额的时间和金钱： 他们将总工作量（token）减少了47%。这就像把账单减半。
- 他们没有损失准确率： 事实上，由于法官不再被垃圾或重复的故事分散注意力，最终答案往往比以前更准确。
- 它适用于所有领域： 他们在数学、科学、生物学和常识问题上测试了这种方法，对所有问题都效果良好。
简而言之：
VecCISC 就像一位聪明的图书管理员，意识到如果你拥有 20 本相同的书，你只需要阅读其中一本就能了解其内容。通过在昂贵的“法官”阅读之前过滤掉重复内容和垃圾，整个流程变得更加便宜和快速，同时不会牺牲最终答案的质量。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。