💬 NLP

How Temperature Shapes Ideological Discourse in Retrieval-Augmented Generation?

本研究表明，检索增强生成（RAG）系统可以将检索源中的意识形态偏见传递并放大至大语言模型（LLM）的输出中，且这种传递强度受采样温度的显著调节，并在随机性与接地性达到平衡的中等水平处达到峰值。

原作者： Elmira Salari, Hazem Amamou, José Victor de Souza, Shruti Kshirsagar, Maria Nunes Delfino, Anderson Avila

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Elmira Salari, Hazem Amamou, José Victor de Souza, Shruti Kshirsagar, Maria Nunes Delfino, Anderson Avila

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个超级聪明的机器人图书管理员，名叫“LLM”，它几乎无所不知，但如果被问到棘手的话题，有时会编造荒诞的故事。为了阻止这种谎言，我们给这位图书管理员背上了一个特殊的“RAG”背包，里面装满了真实的图书和文章。这个想法很简单：“只能使用背包里的内容进行回答！”但转折在于：如果背包里的书本身就在针对同一个话题进行截然不同、带有偏见的争论，那该怎么办？

这项研究提出了一个有趣但严肃的问题：如果我们交给图书管理员一个装满偏见书籍的背包，这些偏见会在多大程度上渗透进机器人的回答中，并且机器人的“情绪”（称为“温度”）是否会改变它模仿偏见的程度？

实验：两个世界的图书馆

研究人员利用 2020 年至 2022 年间关于 COVID-19 治疗方案 的 1,117 篇文章构建了一个特殊的背包。他们将这些文章分为两个阵营：

“认可”阵营： 991 篇文章，遵循官方卫生规则和科学标准。
“争议”阵营： 116 篇文章，推崇官方机构尚未批准的疗法（如羟氯喹）。

通过一种被称为**词汇多维分析（LMDA）**的高级数学工具，他们精确地计算出这两个阵营在用词上的差异。他们发现了三种不同的“意识形态话语”（基本上就是三种讨论同一论点的方式）。

“温度”调节旋钮

现在，想象机器人图书管理员有一个叫做**温度（Temperature）**的旋钮。

低温度 (0.1)： 机器人非常严肃、机械化，只会挑选最显而易见、最安全的词汇。这就像机器人在读剧本。
高温度 (0.9)： 机器人变得狂野、富有创造力，会随机挑选词汇。这就像机器人在即兴演奏爵士独奏。

研究人员要求机器人使用不同的温度和不同类型的指令（提示词），来回答有关这些治疗方案的问题。

重大发现：“金发姑娘”区间（黄金平衡点）

以下是他们的发现，这有点令人惊讶：

1. 背包胜出：
当机器人使用背包（RAG）时，它从书中吸收偏见的程度比仅使用自身大脑时要高得多。如果书是有偏见的，机器人的回答也会有偏见。背包是主要的驱动因素。

2. 温度的转折：
你可能会想：“如果机器人非常严肃（低温度），它就不会犯错，因此也就不会复制偏见。”错了！ 研究表明事实恰恰相反。

在低温度 (0.1) 下： 机器人过于僵化。它抑制了偏见的传递。它如此专注于精准度，以至于没有完全吸收偏见书籍的“氛围”。
在适中温度 (0.5) 下： 这是甜点位（最佳平衡点）。机器人达到了平衡——既足够严肃以阅读书籍，又足够灵活以吸收其意识形态的“风味”。此时，机器人的回答与偏见书籍之间的一致性最高。
在高温度 (0.9) 下： 机器人变得过于混乱。虽然它仍然在使用书籍的内容，但由于随机性太强，使得回答无法完美地对齐特定的偏见，尽管 RAG 系统仍能让它比没有背包的机器人更好地立足于原文。

3. “增强型”提示词：
当研究人员给机器人额外的笔记，说：“嘿，这些书有特定的观点，请尝试匹配它”时，偏见传递变得更加强烈。但即便有了这些笔记，适中温度仍然是机器人匹配偏见效果最好的时候。

机器人模型

他们测试了四个不同的机器人大脑：GPT-4o-mini, GPT-3.5-turbo, Gemini-2.0, 和 Qwen。

Qwen 最容易被偏见的书籍所左右，其匹配偏见的得分超过了 0.85（在以 1 为完美匹配的量表中）。
GPT-4o-mini 最为固执。它的得分最低，这表明更大的、更聪明的模型可能更擅长忽略背包中的偏见，即使背包里装满了偏见。

关于“无偏见”的情况如何？

他们还尝试使用“负向提示词”，告诉机器人：“这里有偏见的书籍，但不要模仿它们的风格！”

这奏效了！机器人的回答变得没那么有偏见了。
有趣的是，“无偏见”指令在最高温度 (0.9) 下效果最好，而“复制偏见”指令在适中温度 (0.5) 下效果最好。

核心结论

论文指出，温度不仅仅关乎创造力；它改变了机器人复制其来源材料中偏见的程度。

如果你想让机器人吸收特定来源的观点，**适中温度（约 0.5）**似乎是最有效的。
如果你想阻止机器人复制偏见，将高温度 (0.9) 与严格的“不要这样做”指令结合使用，可能是你最好的选择。

作者们谨慎地表示，这是基于 COVID-19 文本的模拟，因此我们不能 100% 确定它适用于所有主题或所有机器人。但数据展示了一个清晰的模式：机器人的“情绪”（温度）和“背包”（检索到的信息）共同起舞，决定了最终有多少偏见会进入答案。

技术摘要：温度如何塑造检索增强生成中的意识形态话语

问题陈述

尽管检索增强生成（RAG）已被广泛用于减轻大语言模型（LLM）的幻觉并提高其事实基础，但检索文档中的意识形态偏见对 LLM 输出的影响仍有待深入研究。现有研究已解决了检索中的事实错误问题，但很大程度上忽略了 RAG 框架可能会如何传播、放大或抑制存在于外部知识源中的意识形态话士。这在医疗保健等高风险领域尤为关键，因为细微的措辞变化可能会重塑对治疗方案和风险的解读。此外，作为控制 token 生成随机性的参数——采样温度（sampling temperature）——在调节 RAG 系统中这种意识形态传递方面的作用也受到了有限的关注。

研究方法

语料库构建与意识形态识别

本研究利用了一个关于 2020 年至 2022 年间发表的 COVID-19 治疗方法的特定领域科学文章语料库，共计 1,117 篇文章。该语料库分为两个子语料库：

争议性（Controversial）： 116 篇推广未经官方卫生机构批准的疗法（如羟氯喹、伊维拉莫韦）的文章。
认可性（Endorsed）： 991 篇符合国际卫生与科学标准的文章。

为了识别潜在的意识形态话语，作者应用了词汇多维分析（LMDA）。该方法扩展了 Biber 的多维分析，通过对词汇共现（搭配）进行因子分析，以揭示统计学衍生的维度。

预处理： 使用 Log-Dice 分数（ $D \ge 7$ ）在四词跨度内提取关键搭配。
因子分析： 计算了四分相关矩阵，随后进行因子分析。基于维度极性与文本子集（争议性 vs. 认可性）之间的清晰重叠，选择了三个主要维度。
微观分析： 对这些维度极端处的文本进行定性分析，从而为话语取向进行标注（例如：推广型 vs. 基于证据型）。

实验设置

研究评估了在不同条件下，这些识别出的意识形态话语如何传播到 LLM 的响应中：

模型： 测试了四种 LLM：GPT-4o-mini、GPT-3.5-turbo、Gemini-2.0 和 Qwen2.5。
生成条件：
- 仅 LLM（LLM-only）： 模型在没有外部上下文的情况下进行回答。
- RAG： 模型使用来自意识形态语料库的检索上下文进行回答。
提示策略：
- 常规提示（Regular）： 标准提示，包含或不包含检索到的上下文。
- 增强提示（Enhanced）： 提示中明确包含了 LMDA 元数据（维度标签、描述、典型词汇和示例文本），以引导模型趋向特定的意识形态框架。
- 负向提示（Negative Prompt）： 一种特定的条件，模型被明确指示要避免反映所提供的意识形态元数据。
采样温度： 实验在五种温度下进行：0.1, 0.3, 0.5, 0.7, 和 0.9。

评估指标

意识形态一致性通过三种相似度方法针对参考意识形态文本进行衡量：

语义相似度（Semantic Similarity）： 平均 BERT 类嵌入的余弦相似度。
词汇相似度（Lexical Similarity）： TF-IDF 向量的余弦相似度。
混合相似度（Hybrid Similarity）： 语义向量与词汇向量的拼接。

其他结构化指标包括类型-标记比（TTR）（用于衡量词汇多样性）、平均 Token 熵（Mean Token Entropy）（用于衡量生成不确定性）以及输出长度。

核心结果

1. RAG 与提示对一致性的影响

RAG 的优越性： 在所有温度和指标下，基于 RAG 的配置都实现了比仅 LLM 生成更高的意识形态一致性。
增强提示： RAG 结合增强提示（显式意识形态元数据）产生了最高的一致性得分，这表明当显式线索在提示中得到强化时，与检索到的意识形态上下文相结合最为有效。
仅 LLM 的局限性： 在没有检索接地（grounding）的情况下，即使是增强提示也未能显著提高一致性，这表明外部知识对于一致的意识形态传递至关重要。

2. 采样温度的角色

温度对话语一致性的影响高度依赖于系统配置：

RAG 结合增强提示： 在最确定性的设置（ $T=0.1$ ）下一致性最低，在**中等温度（ $T=0.5$ ）**处达到最大值，并在温度进一步升高时趋于稳定。这表明随机性与检索接地之间的平衡是最优的。
RAG 结合常规提示： 随着温度上升，一致性呈现出逐渐的单调增加，在 $T=0.9$ 时达到顶峰。检索到的证据似乎足以约束生成，从而在不降低一致性的情况下允许更高的多样性。
仅 LLM： 呈现出“上升后下降”的模式。一致性从 $T=0.1$ 增加到 $T=0.3$ ，然后在更高温度下下降并趋于稳定。这表明在缺乏检索支持的情况下，过度的随机性引入了模型无法控制的变异性，从而降低了意识形态的连贯性。

3. 特定模型的发现

Qwen2.5 在所有指标和温度下均表现出最高的一致性得分，表明其对意识形态影响的敏感度更高。
GPT-4o-mini 显示出最低的一致性得分和最小的跨温度变化，暗示具有更多编码世界知识的较大模型可能对外部意识形态框架具有更强的抵抗力。

4. 结构化指标

词汇多样性 (TTR)： 仅 LLM 的输出始终显示出比 RAG 输出更高的词汇多样性。在 RAG 设置下，温度对 TTR 的影响极小。
熵：随着温度升高，两种设置下的平均熵均略有增加，证实了 token 选择的随机性更高。
输出长度： RAG 输出明显长于仅 LLM 输出。RAG 长度随温度逐渐增加，而仅 LLM 的长度保持相对稳定。

5. 负向提示

当模型被明确指示避免意识形态一致性时（负向提示），一致性得分较常规设置显著下降。词汇指标显示出最大的降幅，表明词汇选择对提示极性高度敏感，而语义结构则更具抵抗力。

重要性与贡献

本文做出了两个主要贡献：

形式化定义意识形态维度： 它建立了一套通过 LMDA 从外部知识中衍生的意识形态维度，从而可以定量评估 LLM 响应对特定意识形态的一致性。
刻画意识形态传播： 它研究了在不同采样温度下，意识形态话语如何从 RAG 外部知识传播到 LLM 输出。

核心结论：
研究得出结论，虽然采样温度会显著影响话语一致性，但其效果受到系统设计的结构性调节。在 RAG 系统中，检索接地约束了由温度驱动的意识形态漂移，使得一致性在不同温度下比仅 LLM 系统更加稳定。接地系统中的意识形态传递源于解码随机性、基于元数据的提示与检索约束之间的相互作用，而非仅仅取决于温度。

局限性：
作者指出，研究结果特定于 COVID-19 话语背景（2020–2022 年），这一时期具有急性紧迫性和极化特征。在非医疗领域（如气候变化）的普适性仍有待验证。此外，由于依赖自动化相似度指标，未来需要人工评估来证实研究发现。