💬 NLP

TEMPER: Testing Emotional Perturbation in Quantitative Reasoning

该论文通过构建包含 5400 对情感变体的基准数据集 TEMPER，证实了即使保留所有数值内容，情感化表述仍会导致大语言模型在定量推理任务中准确率下降 2-10 个百分点，且通过推理时的情感中和可有效恢复性能。

原作者： Atahan Dokme, Benjamin Reichman, Larry Heck

发布于 2026-04-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Atahan Dokme, Benjamin Reichman, Larry Heck

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文就像是在给大语言模型（LLM）做一场特殊的“情绪体检”。

想象一下，你正在教一个超级聪明但有点“书呆子气”的学生做数学题。在传统的考试（基准测试）中，题目总是写得干干净净、冷冰冰的，比如：“小明有 3 个苹果，又买了 2 个，现在有几个？”

但现实世界可不是这样的。当你在生活中遇到数学问题时，往往伴随着各种情绪：

愤怒版：“气死我了！那个老师太混蛋了！我第一考才 70 分，第二考更是惨不忍睹只有 45 分……我到底要考多少分才能及格？！”
恐惧版：“救命啊！如果这道题算不对，我就完蛋了！这里有 30 个苹果，每箱装 5 个……"

这篇论文的核心发现就是：哪怕题目里的数字和逻辑完全没变，只要给题目裹上一层“情绪的外衣”，这些超级聪明的 AI 模型就会变笨，算错数的概率会显著增加。

下面我用几个生动的比喻来拆解这篇论文做了什么：

1. 实验工具：给题目“化妆”的翻译机

研究人员开发了一种特殊的“翻译机”（TEACHER-STUDENT 框架）。

它的任务：把原本冷冰冰的数学题，瞬间“化妆”成带有愤怒、悲伤、恐惧、厌恶等情绪的版本。
它的绝活：无论怎么改语气，它都能保证数字、逻辑关系、题目要求一丝一毫都不变。就像给一个人穿上不同的戏服，但人的本质没变。
成果：他们造出了一个名为 TEMPER-5400 的数据库，里面有 5400 对题目（原题 vs. 情绪版），涵盖了愤怒、快乐、悲伤、恐惧、厌恶、惊讶六种情绪。

2. 核心发现：情绪是 AI 的“干扰器”

研究人员用这个数据库测试了 18 种不同大小的 AI 模型（从小的 10 亿参数到顶尖的巨型模型）。结果令人惊讶：

现象：一旦题目变成了情绪化的版本，AI 的准确率就下降了 2% 到 10%。
- 比喻：就像你让一个正在解高数题的数学家，旁边突然有人在大声尖叫、哭诉或者疯狂嘲笑。虽然题目本身没变，但数学家被情绪干扰了，算错的可能性变大了。
谁最讨厌？：研究发现，“厌恶”（Disgust） 和 “恐惧”（Fear） 是最让 AI 崩溃的情绪。比如把题目改成“恶心的巧克力工厂”或“令人窒息的陷阱”，AI 最容易算错。而“快乐”和“惊讶”对 AI 的干扰相对较小。
大小模型都一样：无论是小模型还是目前最顶尖的“前沿”模型（如 GPT-5 级别），都逃不过这个魔咒。

3. 关键验证：是“情绪”在捣乱，不是“废话”

有人可能会问：“是不是因为情绪化的句子变长了、变啰嗦了，AI 才变笨的？”
为了证明不是这个原因，研究人员做了两个对照实验：

中性改写：把题目改得很长、很啰嗦，但完全没有情绪（比如用非常平淡的废话填充）。结果：AI 的准确率没有下降。
情绪中和：把那些情绪化的题目，再用“翻译机”变回冷冰冰的冷静版本。结果：AI 的准确率大部分恢复了！

比喻：这就像给 AI 戴上了“降噪耳机”。当你把那些带有情绪噪音的“情绪化题目”通过耳机过滤成“冷静题目”后，AI 又能算对了。这证明干扰它的不是题目变长了，而是那些情绪词汇本身。

4. 内部视角：AI 的“大脑”被带偏了

研究人员还查看了 AI 内部的工作状态（隐藏层表示）。

发现：当看到情绪化的题目时，AI 大脑里的“思维路径”发生了巨大的偏移。这种偏移程度是看到普通题目或中性长句时的 3 到 4 倍。
比喻：这就好比 AI 原本在走一条笔直的高速公路（解题逻辑），突然看到情绪化的文字，就像有人强行把它拽下高速，扔进了一条充满情绪迷雾的乡间小路，它在那里迷路了，找不到原来的方向。

5. 现实意义：为什么这很重要？

现在的考试太“假”了：目前的 AI 评测大多使用冷冰冰的数学题，这让我们误以为 AI 很聪明、很稳健。但这篇论文告诉我们，在充满情绪的真实世界里，AI 其实很脆弱。
未来的对策：既然知道情绪会干扰 AI，我们可以在 AI 回答问题前，加一个小小的“情绪过滤器”（Neutralizer），先把用户带着情绪的问题“翻译”成冷静的问题，再让 AI 去算。这就好比在 AI 戴耳机前，先帮它把噪音去掉，这样它就能发挥真正的水平了。

总结

这篇论文就像是一个**“情绪压力测试”**。它告诉我们：

大语言模型虽然能解复杂的数学题，但它们也是“情绪敏感肌”。当面对充满愤怒、恐惧或厌恶的真实人类提问时，它们会像普通人一样分心、犯错。要真正让 AI 在现实世界好用，我们不仅要教它算数，还得帮它学会“情绪免疫”，或者在让它算数前，先帮它把情绪“降噪”处理一下。

这是一份关于论文 TEMPER: Testing Emotional Perturbation in Quantitative Reasoning（TEMPER：量化推理中的情感扰动测试）的详细技术总结。

1. 研究背景与问题定义 (Problem)

核心问题：大型语言模型（LLM）通常在情感中立的“干净”语言上进行训练和评估（如 GSM8K 数据集）。然而，现实世界中的用户查询往往包裹着挫败感、紧迫感或热情等情绪。
研究假设：这种“情感框架”（Emotional Framing）本身是否会降低模型的推理能力，即使所有的数值内容和逻辑关系都保持不变？
现有局限：以往的研究要么同时改变语气和内容，要么关注毒性或礼貌性，未能将“情感”作为一个独立变量，在严格保持数学内容不变的情况下，量化其对定量推理性能的具体影响。
目标：构建一个受控的实验框架，分离情感变量，验证情感包装是否会导致推理准确率下降，并探究其内在机制。

2. 方法论 (Methodology)

为了回答上述问题，作者提出了一套完整的技术流程，包括翻译器构建、基准数据集构建和评估体系。

2.1 情感翻译器构建：师生蒸馏框架 (Teacher-Student Framework)

架构设计：
- 学生模型 (Student)：基于 Llama 3.1-8B-Instruct，使用 LoRA 进行微调，负责将中性数学问题重写为情感化版本（或反之）。
- 教师模型 (Teacher)：基于冻结的 DistilRoBERTa 分类器（在 GoEmotions 数据集上预训练，并在 72k 情感数学样本上微调），用于提供情感空间的辅助监督。
训练目标：
- 结合生成损失 ( $L_{CE}$ ) 和辅助对齐损失 ( $L_{aux}$ )。
- 辅助损失机制：将学生模型的隐藏状态投影到教师模型的特征空间。教师提供两种信号：
  1. 7 类情感分布 (EMO7)：控制情感类别。
  2. 100 维潜在表示 (EMO100)：捕捉更细粒度的情感强度和风格变化。
- 超参数 $\lambda$ ：控制情感强度与内容保真度之间的权衡。通过调节 $\lambda$ ，可以生成从轻微情感色彩到强烈情感表达的不同变体，同时确保数学内容不被破坏。
多样性控制：训练了 5 种变体（不同监督类型和权重），通过集成策略确保生成的情感文本在语义上多样化，但数学逻辑一致。

2.2 基准数据集：TEMPER-5400

构建过程：
- 从 GSM8K、MultiArith 和 ARC-Challenge 三个基准中抽取 900 个问题。
- 利用上述翻译器生成 6 种基本情绪（愤怒、厌恶、恐惧、快乐、悲伤、惊讶）的变体。
- 验证与过滤：采用多阶段过滤流程（自动化数值检查 + LLM 判断 + 人工审核），确保数值、量词和逻辑关系完全保留。
规模：最终构建了包含 5,400 个“情感 - 中性”配对（900 题 $\times$ 6 种情绪）的数据集，共 10,800 个翻译样本。
控制组：为了区分是“情感”导致的问题还是“改写”导致的问题，还生成了长度匹配但非情感的释义版本（Paraphrase）作为对照。

2.3 评估设置

模型范围：评估了 18 种不同规模的推理模型（从 1B 参数到前沿模型如 GPT-5, o3）。
提示策略：测试了基础提示（Base）和零样本思维链（Zero-shot CoT）。
分析维度：
- 行为分析：准确率变化、恢复率（Neutralization）。
- 表征分析：提取隐藏层状态，计算余弦距离和线性探针（Linear Probe）分类能力。

3. 关键贡献 (Key Contributions)

受控情感翻译框架：提出了一种结合情感潜在空间蒸馏和强度可控辅助损失的师生框架，能够生成高质量、内容保真的情感化数学问题。
TEMPER-5400 基准：发布了首个大规模、经过语义验证的情感 - 中性配对基准，覆盖三个推理领域和六种基本情绪。
情感干扰的实证证据：证明了即使数值内容完全保留，情感框架也会导致推理准确率显著下降（2% - 10%），且非情感改写不会造成此类下降。
中性化作为缓解手段：发现将情感文本“中性化”可以恢复大部分丢失的性能，表明这是一种轻量级的推理时（Inference-time）防御策略。
表征层面的解释：通过隐藏状态分析，揭示了情感文本在模型内部表示空间中造成了 3-4 倍的位移，且情感类别在表示空间中具有线性可分性，证实了情感干扰是结构性的而非简单的重述。

4. 主要结果 (Key Results)

4.1 情感对推理的负面影响

准确率下降：在 18 个模型和 3 个数据集中，情感框架导致准确率平均下降 2% 到 10%。
- 任务难度影响：ARC-Challenge（科学推理）受影响最大（平均下降 6.0%），GSM8K 次之（3.9%），MultiArith 最小（2.0%，受天花板效应影响）。
- 提示策略影响：在无思维链（Base）模式下，下降幅度更大（GSM8K 平均下降 6.1%），说明情感干扰在直接回答场景下更为致命。
- 模型规模：即使是 70B+ 参数和前沿 API 模型（如 GPT-5, o3）也无法免疫，仍损失 2-4% 的准确率。
情绪特异性：
- 厌恶 (Disgust) 和 恐惧 (Fear) 最具破坏性（平均分别下降 5.9% 和 4.3%）。
- 快乐 (Joy) 和 惊讶 (Surprise) 影响最小。
- 情感强度越高（分类器置信度越高），推理失败率越高。

4.2 恢复与对照实验

中性化恢复：将情感变体“中性化”后，模型能恢复约 70% 的丢失性能（ARC 为 70%，GSM8K 为 66%）。这证明性能下降是由情感风格引起的，而非内容损坏。
非情感对照：长度匹配的非情感释义（Paraphrase）未引起系统性的准确率变化（差异在 $\pm 1\%$ 内），排除了“文本长度增加”或“措辞改变”作为干扰源的可能性。

4.3 失败模式分析

通过分析思维链（CoT），发现情感干扰导致三种主要错误：

约束退化 (49.0%)：情感修饰语软化或曲解了数学约束（例如忽略“每个”或初始条件）。
注意力竞争 (30.0%)：情感语言分散了模型对关键数字元素的注意力（例如计算单程而非往返）。
过早完成 (8.6%)：情感框架突出了目标量，导致模型过早停止推理。
注：非情感对照中，这些模式极少出现，失败多为无结构错误。

4.4 表征分析 (Representational Evidence)

余弦距离：情感文本的隐藏状态与原始文本的距离是中性化文本或释义文本的 3-4 倍。
线性探针：情感文本在表示空间中形成了清晰分离的簇，可以被线性分类器完美区分（F1 $\approx$ 1.0），表明情感干扰改变了模型的内部表征结构，而不仅仅是表面重述。

5. 意义与启示 (Significance)

重新定义鲁棒性维度：现有的鲁棒性评估多关注格式、无关上下文或数值替换。TEMPER 揭示了情感风格是一个独立且关键的脆弱性维度，现有的基准测试可能高估了模型在真实人类交互场景（充满情绪）下的推理能力。
通用风格迁移框架：提出的师生蒸馏框架不仅适用于情感，还可扩展到其他风格属性（如正式度、讽刺、专业术语），为研究风格变量对下游任务的影响提供了通用方法论。
实用的缓解策略：证明了“中性化”（Neutralization）作为一种轻量级的推理时预处理步骤，可以有效缓解情感干扰，为部署在真实世界应用中的 LLM 提供了新的防御思路。
对未来的启示：研究指出，即使是前沿模型也无法完全免疫情感干扰，且情感强度与失败率正相关。未来的模型训练需要纳入更多样化、包含情感语境的推理数据，以增强其在真实场景下的鲁棒性。

总结：该论文通过严谨的受控实验，首次量化了情感包装对 LLM 定量推理的破坏性影响，揭示了情感风格本身就是一种干扰源，并提供了从数据构建到缓解策略的完整解决方案。