💬 NLP

Inclusion-of-Thoughts: Mitigating Preference Instability via Purifying the Decision Space

本文提出了“思维包含”（IoT）方法，通过逐步过滤干扰项并重构多选题以净化决策空间，从而有效缓解大语言模型在存在干扰选项时的偏好不稳定性，显著提升其在各类推理基准上的表现及决策透明度。

原作者： Mohammad Reza Ghasemi Madani, Soyeon Caren Han, Shuo Yang, Jey Han Lau

发布于 2026-04-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Mohammad Reza Ghasemi Madani, Soyeon Caren Han, Shuo Yang, Jey Han Lau

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为**“思维包含”（Inclusion-of-Thoughts，简称 IoT）**的新方法，旨在解决大型语言模型（LLM）在做选择题时容易“犯糊涂”的问题。

为了让你轻松理解，我们可以把语言模型想象成一个正在参加考试的聪明学生，而这篇论文就是给这个学生提供的一套**“防干扰复习策略”**。

1. 核心问题：为什么聪明的学生会“翻车”？

想象一下，你问这个学生：“哪种环境更适合人类生存？”
选项有：A. 独自生活 B. 海洋 C. 城镇 D. 洞穴。

现状： 学生其实心里清楚“城镇”（C）是最好的。但是，选项里混入了几个看起来也挺像那么回事的“干扰项”（比如“洞穴”听起来很原始，也很安全）。
问题所在： 当学生看到所有选项挤在一起时，他的注意力被分散了。他会在“城镇”和“洞穴”之间反复横跳，最后因为犹豫不决，或者被某个干扰项带偏，选错了答案。
论文术语： 这叫**“偏好不稳定”**（Preference Instability）。简单说，就是模型知道正确答案，但被干扰项搞得“心态崩了”，导致答案忽对忽错。

2. 解决方案：IoT 的“三步走”策略

为了解决这个问题，作者设计了一个像**“层层过滤”**一样的过程，把干扰项一个个剔除，只留下最核心的两个选项进行最终对决。

这就好比学生做考前模拟，不再是一次性看所有选项，而是分三步走：

第一步：直觉初选（Initial Preference）

动作： 让学生看完整的题目和所有选项，让他凭第一直觉选一个。
比喻： 就像学生快速扫了一眼试卷，圈出了他最确定的答案（比如“城镇”）。

第二步：反向验证（Second Plausibility Assessment）

动作： 这是一个很巧妙的步骤。我们把学生刚才选的那个答案（“城镇”）从选项里拿走，换成一个“以上都不是”的选项，然后问学生：“现在剩下的选项里，哪个最好？”
目的：
- 如果学生真的非常确定“城镇”是对的，他看到“城镇”没了，应该会说：“那剩下的都不对，选‘以上都不是’。”
- 如果学生其实很犹豫，他可能会说：“哦，那‘洞穴’（干扰项）好像也不错。”
比喻： 这就像老师把正确答案藏起来，问学生：“如果没有正确答案，你觉得剩下的哪个最像对的？”如果学生还能坚持说“没有正确答案”，说明他之前的判断很稳；如果学生改口选了别的，说明他之前的判断其实是在摇摆。

第三步：终极对决（Confined Final Inference）

动作： 根据前两步的结果，只把**“最初选的那个”和“第二步里冒出来的那个最像的干扰项”**放在一起，重新问学生：“现在只有这两个，你选哪个？”
目的： 把战场缩小到只有两个选项，消除了其他所有干扰项的噪音。
比喻： 就像决赛圈，把其他所有选手都请出赛场，只留下“城镇”和“洞穴”两个选手 PK。这时候，学生不再需要处理复杂的干扰信息，能更专注地比较这两个选项，从而做出最理性的决定。

3. 这个方法有什么厉害之处？

像“做减法”一样聪明： 以前的方法（比如让模型多思考几次、或者随机猜很多次再投票）像是在给大脑“做加法”，消耗大量算力。而 IoT 是**“做减法”**，通过剔除干扰，让模型在更纯净的环境里思考。
省钱又高效： 它不需要模型做复杂的搜索或生成成千上万次答案。它只需要多问两三次，就能大幅提升准确率。
透明度高： 我们可以清楚地看到模型在每一步是怎么想的，是“稳如泰山”还是“摇摆不定”。这就像给模型的思考过程装了个“监控摄像头”。

4. 实际效果如何？

论文在数学、常识推理、教育类题目等多个领域进行了测试。

结果： 使用这种方法后，模型（比如 Llama、Olmo 等）的答题准确率显著提升，甚至刷新了某些任务的最强纪录。
比喻： 就像给这个学生戴上了一副“防干扰眼镜”，让他能一眼看穿干扰项，直接锁定正确答案。

总结

这篇论文的核心思想就是：有时候，模型答错不是因为“不懂”，而是因为“太纠结”。

“思维包含”（IoT） 就像一位经验丰富的教练，它不教学生新知识，而是教学生如何排除干扰、聚焦核心。通过把复杂的选择题简化为“二选一”的终极对决，它让模型能够更稳定、更自信地发挥出自己真正的实力。

论文技术总结：Inclusion-of-Thoughts (IoT)

1. 研究背景与问题定义 (Problem)

核心问题：多项选择题（MCQ）中的偏好不稳定性 (Preference Instability)
尽管大语言模型（LLM）在多项选择题任务中表现优异，但它们在面对看似合理的干扰项 (plausible distractors) 时往往表现出不稳定性。

现象：模型通常能够识别出正确答案，但在存在多个高置信度干扰项时，其最终预测会在正确和错误答案之间反复震荡。
原因：这种错误并非源于缺乏相关知识或推理步骤不足，而是源于认知负荷 (Cognitive Load) 导致的偏好不稳定性。模型在比较多个看似合理的选项时，内部推理受到干扰，导致最终决策失败。
现有方法的局限：
- 思维链 (CoT)：虽然能提升推理能力，但无法解决选项间的干扰问题。
- 自一致性 (Self-Consistency, SC)：通过多次采样和投票来稳定输出，但计算成本高昂（Token 消耗大）。
- 排除法 (Exclusion-of-Thoughts, EoT)：通过逐步排除低概率选项来减少认知负荷，但往往基于启发式评分，未能直接针对模型对“前两名”候选项的偏好不稳定性进行干预。

2. 方法论：Inclusion-of-Thoughts (IoT)

核心理念：IoT 是一种轻量级、零样本 (Zero-shot)、无监督的测试时（Test-time）策略。它不试图生成更多的推理路径，而是通过结构化地重构问题空间，将模型的注意力集中在最可能的两个候选项上，从而“净化”决策空间。

三阶段流程：

阶段一：初始偏好 elicitation (Initial Preference Elicitation)
- 输入原始 MCQ（包含所有选项 $O$ ）。
- 使用标准 CoT 提示模型，生成其最可能的答案，记为 $o^*_1$ 。
阶段二：二次可行性评估 (Second Plausibility Assessment)
- 扰动策略：从选项集中移除阶段一选出的 $o^*_1$ ，并替换为一个中性占位符（如"none of the options"）。
- 重新查询：将修改后的问题输入模型，获取其新的首选答案 $o^*_2$ 。
- 逻辑：如果 $o^*_1$ 是稳健的正确选项，模型在 $o^*_1$ 缺失时应选择“无选项”；如果模型选择了另一个具体选项 $o^*_2$ ，说明模型在 $o^*_1$ 和 $o^*_2$ 之间存在偏好摇摆。
阶段三：受限最终推理 (Confined Final Inference)
- 构建新问题：仅保留阶段一和阶段二选出的两个最可能的候选项（即 $\{o^*_1, o^*_2\}$ ），构建一个只有两个选项的简化版 MCQ。
- 最终决策：在这个去除了干扰项的“纯净”环境中，模型进行最终比较并输出答案。
- 早期停止机制 (Early Stopping)：如果在阶段二中，模型选择了“无选项”（即确认 $o^*_1$ 优于所有其他选项），则直接输出 $o^*_1$ ，跳过阶段三，以节省计算资源。

3. 关键贡献 (Key Contributions)

提出 IoT 框架：一种轻量级的测试时框架，通过隔离和比较模型的高置信度候选项来提升 MCQ 推理能力，无需额外的训练或微调。
重新定义错误来源：从“偏好不稳定性”而非“知识缺失”的角度审视 MCQ 推理错误，指出许多错误源于模型在干扰项存在时的决策震荡。
基于转换的诊断分析：引入了基于阶段转换的分析方法（如 TTT, FTT, TFF 等模式），能够诊断模型是在哪个阶段丢失了正确答案，从而揭示数据集的噪声或歧义性。
高效性与可扩展性：证明了 IoT 在显著提升准确率的同时，计算开销极低（仅约为标准 CoT 的 2.2 倍，远低于 SC 的 4.6 倍）。

4. 实验结果 (Results)

实验设置：

模型：在 Llama-3.3-8B, Olmo-2-7B/13B, GPT-4o-mini 等多个不同规模的模型上测试。
数据集：涵盖常识推理 (CSQA, OBQA, SIQA)、教育基准 (ARC, MMLU) 和数学推理 (GSM8K-MC, AQuA)。

主要发现：

性能提升：IoT 在所有任务中均显著优于标准 CoT 和自一致性 (SC)。
- 例如，在 Olmo-2-7B 上，IoT 在 OBQA 上提升了 +3.40%，在 GSM8K-MC 上提升了 +3.95%。
- 在 Olmo-2-7B 上，IoT 达到了 72.91% 的平均准确率，超越了所有基线。
计算效率：
- IoT 生成的 Token 数量约为 CoT 的 2.2 倍。
- 相比之下，SC 需要生成约 4.6 倍的 Token。
- 早期停止机制有效减少了不必要的推理步骤。
鲁棒性：IoT 显著降低了模型对选项顺序的敏感性（Sensitivity Gap），表现出更稳定的偏好结构。
组合效果：IoT 可以与 SC 结合使用，进一步微调性能，尽管边际收益递减。
诊断价值：通过分析 TFF（阶段 1/2 正确，阶段 3 错误）和 FTF 案例，IoT 成功识别出部分数据集标签错误或题目本身存在歧义的情况。

5. 意义与局限性 (Significance & Limitations)

意义：

低成本高性能：提供了一种在推理阶段无需昂贵采样或复杂搜索即可显著提升 LLM 推理稳定性的方法。
可解释性：通过显式记录过滤过程，增强了模型决策的透明度。
新视角：将“偏好稳定性”作为优化目标，为理解 LLM 在干扰环境下的行为提供了新视角。

局限性：

适用范围：专为多项选择题设计，难以直接推广到开放式生成任务。
选项数量依赖：当选项集非常小（如只有 2-3 个选项）时，偏好不稳定性本身较弱，IoT 的提升效果有限。
知识边界：IoT 仅解决决策不稳定性，无法修复因缺乏知识或根本性推理错误导致的失败。

总结：
这篇论文提出了一种名为 Inclusion-of-Thoughts (IoT) 的创新策略，通过“做减法”（移除干扰项，聚焦核心候选项）来对抗 LLM 在多项选择题中的决策震荡。它证明了在推理阶段通过控制变量和结构化扰动，可以以极低的计算成本显著提升模型的推理稳定性和准确率，为 LLM 的测试时优化提供了新的范式。