💬 NLP

Conditional Cognitive Biases in LLMs: How Biased User Turns Modulate In-Context Reasoning

本文评估了多轮对话中偏见的用户输入如何调节最先进大语言模型中的认知偏见表达，通过对涵盖八个模型的超过 24,000 个经过验证的提示词的全面基准测试，揭示了虽然对话暴露通常会放大偏见，但显性的偏见线索可以触发对齐机制从而抑制公开的偏见。

原作者： Sachini Weerasekara, Sagar Kamarthi, Jacqueline Isaacs

发布于 2026-08-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Sachini Weerasekara, Sagar Kamarthi, Jacqueline Isaacs

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正坐在一间屋子里，对面是一个超级聪明的机器人，它读过几乎所有被写下来的书籍。你向它提问，它给了你答案。但这里有个转折：这个机器人的设计初衷是提供帮助、保持诚实且无害。现在，想象你不仅仅是在提问，而是在进行一场对话。在真实的对话中，人们往往会在不知不觉中带入自己的观点、担忧或思维捷径。这些思维捷径被称为认知偏差。例如，如果你对机器人说：“大家都知道这支股票要崩盘了！”（这是一种被称为“从众效应”的偏差），或者说：“我确定这个项目只需要两天就能完成！”（这是一种被称为“规划谬误”的偏差），你本质上是在递给机器人一副特定的有色眼镜。科学家们一直在思考的一个大问题是：机器人只是礼貌地忽略了这些眼镜，还是它真的戴上了眼镜，开始用你的方式来看待世界？这至关重要，因为我们正开始将这些机器人用于严肃的工作，比如提供医疗建议或协助法律决策。如果一个带有偏见的人意外地用自己的错误思维“感染”了机器人，后果可能会非常严重。

来自东北大学的一个研究小组决定扮演侦探的角色，对目前最先进的八个AI机器人进行调查。他们设计了一个大规模实验，涉及超过24,000个不同的对话场景。这就像是一场针对AI的巨大“老师说”游戏，只不过机器人不是在拍手或跳跃，而是在做关于金钱、时间和公平性的决策。研究人员创建了三种不同的与机器人交流的方式：

单项测试： 机器人接收到一个没有任何对话历史的问题（这是我们通常测试它们的标准方式）。
中性聊天： 机器人接收到一个问题，但在此之前，人类先说了一些枯燥且中性的内容，比如“你好，让我们讨论一下”。
偏见聊天： 机器人接收到一个问题，但在此之前，人类先说了一些带有特定认知偏差的内容，比如“我确定这会既容易又快速！”

研究人员想要观察机器人的回答改变是因为有人在与之交谈（“存在感”效应），还是因为那个人说了什么（“内容”效应）。

以下是他们的发现，情况比简单的“是”或“否”要复杂得多。首先，他们发现仅仅是进行对话就会改变机器人。即使人类说的是完全中性的内容，机器人表现出的偏差也会比单独回答时略多一些。这就像机器人变得更具“社交性”了，开始模仿人类的存在感，即使人类并没有试图去欺骗它。

然而，真正的惊喜出现在研究人员观察到人类表现出显性偏见时。在他们测试的八个机器人中，有六个机器人展现出了一个引人入胜的“拉锯战”。一方面，当机器人听到人类表现出明显的偏见时，它似乎启动了一个“安全开关”。这就像机器人心里在想：“噢，这个人表现得不公平或者过于乐观了；我应该更加谨慎并纠正他。”这导致机器人在面对人类的偏见时，反而减少了自己的偏差。就好像机器人试图成为人类这个“坏警察”面前的“好警察”。

但有一个主要的例外规则。研究人员发现，有一种特定的偏差——规划谬误（即倾向于认为任务所需的时间和成本比实际更少、更低的倾向）——就像一种超级病毒，机器人根本无法抵抗。无论研究人员测试的是哪种机器人，也无论人类使用什么样的偏差来试图诱导它，当人类表现得乐观时，机器人都会一致地对时间和成本变得更加乐观。看来在涉及到规划时，机器人极易受到人类那种“一切都会很轻松”氛围的感染。

该研究排除了其他几种可能性。他们证明了这不仅仅是因为人类和机器人拥有相同的偏差（比如一个具有“损失厌恶”偏差的人去诱导一个同样具有“损失厌恶”偏差的机器人）。机器人的反应更多取决于它正在接受测试的哪种偏差，而不是人类的偏差是否与机器人的偏差相匹配。此外，他们发现，更大的、更聪明的机器人并不一定能更好地忽略偏差；事实上，一些最先进的模型也和较小的模型一样容易被左右。

简而言之，这篇论文表明，虽然AI机器人有一些内置的防御机制来应对明显的偏见，但它们并非免疫。它们可能会受到微妙的影响，仅仅是因为我们在与它们交谈；而且在面对过度乐观的规划时，它们有一个特定的弱点。研究人员警告说，如果我们想了解这些机器人在现实世界中究竟是如何表现的，我们不能仅仅测试它们孤立的问题；我们必须在混乱的多轮对话中测试它们，在这些对话中，人类可能会无意中或有意地递给它们那些有色的眼镜。

技术摘要：大语言模型中的条件性认知偏差

问题陈述

指令微调的大语言模型（LLMs）正越来越多地被部署在法律推理、医疗分诊和金融咨询等高风险领域，作为决策支持工具。尽管先前的研究已广泛刻画了 LLM 在零样本（zero-shot）评估下的认知偏差（如框架效应、锚定效应、确认偏差），但这些基准测试将偏差视为一种与上下文无关的属性。在实际部署中，模型的响应是基于前序对话轮次进行条件的。一个带有偏差的用户轮次引入了一个混淆的因果路径：它将输入格式从零样本转变为对话（激活了指令微调的条件化），并同时引入了特定的语义内容，这种内容会与模型的对齐训练产生相互作用。现有文献未能区分 LLM 偏差表达的变化是由用户轮次的“单纯存在”驱动的，还是由该轮次内“特定认知偏差内容”驱动的。

方法论

为了隔离这些因果路径，作者引入了一个创新的三条件实验框架，并在八种前沿指令微调 LLM（包括 GPT-4o、Claude-3.5-Haikot、Llama-3.1 变体和 DeepSeek-V3）上进行了评估。

实验设计

针对每个场景和目标偏差，LLM 在三种不同条件下进行评估：

零样本 ( $m_\emptyset$ )： 决策提示词在没有任何先前上下文的情况下呈现。
中性用户轮次 ( $m_n$ )： 在决策提示词之前，先出现一个无偏差的用户轮次，旨在隔离“格式转变”（对话模式 vs. 零样本模式）的影响，同时保持内容不变。
偏差用户轮次 ( $m_b$ )： 在决策提示词之前，出现一个明确表达特定认知偏差的用户轮次。

效应分解

研究定义了三个估算量，以分离偏差调节的机制：

存在效应 ( $\Delta_n = |m_n| - |m_\emptyset|$ )： 隔离从零样本转向多轮对话格式（且内容为中性）的影响。
内容效应 ( $\delta = |m_b| - |m_n|$ )： 在保持对话格式不变的情况下，隔离用户轮次中特定偏差内容的影响。
总效应 ( $\Delta_b = |m_b| - |m_\emptyset| = \Delta_n + \delta$ )： 相对于零样本基准线，偏差表达的净变化。

数据集与验证

作者构建了一个包含 24,300 个经人工校验的用户提示词库，涵盖了 $9 \times 9$ 矩阵的所有 81 个单元格（9 种目标 LLM 偏差 $\times$ 9 种人类轮次偏差）。

偏差选择： 基于既有基准测试（Malberg et al., 2025）选择了九种偏差：锚定效应（Anchoring）、可得性启发法（Availability Heuristic）、从众效应（Bandwagon Effect）、确认偏差（Confirmation Bias）、框架效应（Framing Effect）、内群体偏差（In-Group Bias）、损失厌恶（Loss Aversion）、规划谬误（Planning Fallacy）和现状偏差（Status Quo Bias）。
质量控制： 使用由三个模型组成的 LLM-as-judge 陪审团（GPT-4o-Mini、Claude-3.5-Haiku、Gemini）根据四个标准对所有用户轮次进行验证：目标评分、纯度（与其他偏差的区别）、自然度和盲测识别准确度。
因果识别： 研究采用了双重差分法（DiD）、倾向得分匹配法（PSM）和合成控制法（SCM），以提供超越聚合相关性的因果证据。

关键结果

1. 偏差轮次系统性地增加偏差（总效应）

在 8 个模型中的 6 个 中，引入偏差用户轮次会增加 LLM 偏差表达相对于零样本基准线的幅度（ $\bar{\Delta}_b > 0$ ，范围为 +0.022 至 +0.051）。

GPT-4o 是一个例外，其两个底层机制相互抵消（ $\bar{\Delta}_b \approx 0$ ）。
Claude-3.5-Haiku 显示出负的总效应（ $\bar{\Delta}_b = -0.064$ ），这是由强烈的负存在效应驱动的。

2. 存在效应会放大偏差

即使是中性内容的对话轮次，其单纯的存在也会显著增加 8 个模型中的 7 个 的测量偏差（ $\Delta_n$ 范围为 +0.019 至 +0.086）。这表明零样本基准测试系统性地低估了对话式偏差。

例外： Claude-3.5-Haiku 表现出负的存在效应（ $\Delta_n = -0.101$ ），这与其通过宪政 AI（Constitutional AI）对齐在对话模式下抑制偏差的表现一致。
相关性： 能力更高（以 MMLU 衡量）的模型显示出较小的存在效应膨胀。

3. 内容效应通常会抑制偏差

与“偏差上下文会放大偏差”的假设相反，将中性轮次替换为偏差轮次会降低 8 个模型中的 6 个 的偏差幅度（ $\delta < 0$ ）。

这种“对比抑制”（contrast suppression）现象表明，显性的偏差线索会触发与对齐相关的抵抗，从而导致更符合规范的补全。
例外： DeepSeek-V3 和 Claude-3.5-Haiku 显示出正的内容效应。作者将其归因于它们的审慎对齐策略（思维链 RLFT 和宪政 AI），这些策略似乎会放大而非抑制上下文信号。

4. 结构与诱导性的耦合

分析 $9 \times 9$ 偏差耦合矩阵显示：

行结构主导性： 目标偏差受其自身性质的影响，而非受人类偏差类型的具体影响。
不存在对角优势： 没有证据表明存在“同类偏差传染”（即，人类表达偏差 X 并不会比其他偏差更特异性地诱发模型产生偏差 X）。
规划谬误： 这是唯一在所有 8 个模型中都被证实具有普遍诱导性的目标偏差。它始终表现出正的总效应，这可能是因为其表达（乐观或低估）是隐性的，不太容易触发对齐抑制线索。
可抑制偏差： 从众效应和可得性启发法在面对上下文偏差轮次时，表现出持续的可抑制性。

意义与主张

本文声称，零样本偏差基准测试系统性地低估了对话式偏差，因为它们未能考虑到对话的“存在效应”。研究证明了：

上下文至关重要： 参与多轮对话这一行为本身就会改变模型偏差表达的剖面，使其区别于孤立的提示词。
对齐是依赖于“配方”的： 内容效应的方向（抑制 vs. 放大）取决于具体的对齐配方（例如，标准的 RLHF vs. 宪政 AI vs. 思维链 RLFT）。
普遍诱导性： 虽然大多数偏差会被显性线索抑制，但规划谬误在不同的模型架构和训练流程中都保持着稳健的诱导性。

作者得出结论，安全评估和偏差审计协议必须根据对齐配方进行分层，并包含前序对话轮次，以准确反映实际部署情况。他们发布了其框架、代码库以及包含 24,300 个条目的数据集，以支持未来的研究。