💬 NLP

Analysing Differences in Persuasive Language in LLM-Generated Text: Uncovering Stereotypical Gender Patterns

本研究评估了 13 个大语言模型在 16 种语言中的表现，发现它们一致地生成具有说服力的语言，并根据接收者的性别呈现出显著的、符合性别刻板印象的差异，反映了社会心理学和社会语言学中所记录的偏见。

原作者： Amalie Brogaard Pauli, Maria Barrett, Max Müller-Eberstein, Isabelle Augenstein, Ira Assent

发布于 2026-06-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Amalie Brogaard Pauli, Maria Barrett, Max Müller-Eberstein, Isabelle Augenstein, Ira Assent

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一支由 13 个不同且极其聪明的机器人（大语言模型，简称 LLM）组成的团队。你要求它们写一段具有说服力的信息，比如一封请求兄弟姐妹和你一起学习新语言的邮件。你给每个机器人的指令完全相同，但有一个微小的转折：对于其中一半的机器人，你告诉它们对方是一个男性；对于另一半，你告诉它们对方是一个女性。

这篇论文就像是一个侦探故事，研究人员扮演着“语言侦探”的角色，观察这些机器人是否会因为这一个微小的词汇而改变其写作风格。

重大发现：机器人戴上了“性别眼镜”

研究人员发现，所有 13 个机器人都会根据它们认为对方是男人还是女人，来改变自己的写作风格。它们不仅仅是更换了一个代词，而是彻底重写了信息的“氛围”。

这就像一只变色龙，它不仅是为了匹配背景颜色而改变颜色，更是为了匹配它通过观察人类而学到的刻板印象。

当与“男性”交流时： 机器人表现得像一位强悍的教练或商业策略师。它们使用关于“挑战”、“技能”、“职业”和“获胜”之类的词汇。语气直接、注重事实，并专注于完成任务。
- 类比： 就像机器人穿上了西装领带，开始谈论“作战计划”和“指标”。
当与“女性”交流时： 机器人表现得像一位温暖、感性的挚友。它们使用关于“爱”、“共度时光”、“乐趣”和“亲密感”之类的词汇。语气更柔和、更体贴，并专注于情感。
- 类比： 就像机器人穿上了一件舒适的毛衣，开始谈论“由衷的连接”和“共同的旅程”。

“评委”机器人

研究人员是如何得知这一点的？他们并没有仅仅阅读邮件，而是使用了一个特殊的“评委机器人”（另一个 AI）来评分。

想象一下一个选秀节目的评审团。他们并没有给出十分制的分数，而是观察了 19 种不同的“说服力维度”，例如：

逻辑 vs. 情感： 机器人使用的是事实（逻辑）还是感受（情感）？
直接 vs. 礼貌： 它是说“去做这件事”还是“你介意吗”？
独立 vs. 群体： 它关注的是“我与我的目标”还是“我们与我们的关系”？

“评委机器人”证实了“男性”信息在一致性上更具逻辑性和直接性，而“女性”信息则在一致性上更具情感性和关联性。

这种情况普遍存在吗？

研究人员在 16 种不同的语言（如英语、中文、德语和日语）中测试了这一点。尽管这些机器人说着不同的语言，但模式依然成立。无论机器人是在说丹麦语还是越南语，它们都会为男性写出“硬汉式”的信息，为女性写出“温柔女孩式”的信息。

他们还检查了机器人是否只是因为偷懒或者文本长度的问题。他们发现，差异并非因为一条信息比另一条长，而是风格本身有着根本性的不同。

为什么这很重要？

论文解释说，这些机器人并不是凭空创造出这些风格的。它们是在镜像人类社会中存在的刻板印象。

镜像效应： 就像镜子反射它面前的东西一样，这些 AI 模型反映了它们从海量人类文本中学习到的偏见。如果人类经常在谈论男性时提到“成就”，而在谈论女性时提到“关系”，那么 AI 就会学习到这就是写作的“正确”方式。
危险性： 论文警告说，如果我们使用这些机器人来撰写现实世界的消息（如求职申请、政治广告或销售推销），它们可能会在无意中强化陈旧的刻板印象。例如，由于提示词中的性别标签，一个机器人可能会为女性写一封听起来过于“软弱”以至于难以奏效的薪资谈判邮件，或者为男性写一封听起来过于“激进”的邮件。

这篇论文没有说明的内容

需要明确的是，这篇论文是一份诊断报告，而不是一份解决方案手册。

它没有告诉我们如何修复这些机器人。
它没有说明这些信息在现实生活中是否效果更好或更差（它只测量了风格，而非成功率）。
它没有解释为什么这些机器人的底层代码中存在这些偏见，只说明了它们确实存在。

核心结论

这篇论文证明了，即使是我们最先进的 AI 工具，仍然戴着“性别眼镜”。如果你要求它们为男性写信息，它们会戴上“商务”镜片；如果你要求为女性写信息，它们会戴上“情感”镜片。研究人员建立了一个衡量框架，并发现这种偏见在他们测试的几乎所有主流 AI 模型和语言中都是一致的。这提醒我们，虽然 AI 很聪明，但它尚未脱离教导它的那些人类的刻板印象。

技术摘要：分析大语言模型生成文本中说服性语言的差异

问题陈述
大语言模型（LLMs）正越来越多地被部署于人际沟通任务中，包括起草旨在影响和说服他人的信息。虽然先前的研究已经证实，LLMs 可以成功说服人类并放大说服性语言，但在理解特定的用户指令——特别是涉及接收者属性的指令——如何影响生成的说服性语言的“风格”方面，仍存在关键的研究空白。具体而言，目前尚不清楚 LLMs 是否会根据预期接收者的性别系统性地改变其说服策略，这可能反映并放大了社会性别刻板印象。本文调查了用户提供的指令文本中的属性（如接收者性别、用户设定的意图以及输出语言）是否会导致 LLMs 生成的说服性语言在维度上产生可衡量的偏移。

方法论
作者提出了一个系统性的框架，用于在受控的双向提示条件下评估 LLM 生成的说服性语言差异。该方法包含以下组成部分：

提示词构建： 生成了两组涵盖人际信息（例如，请求同事交换班次）和政治论点（例如，降低投票年龄）的指令提示词。对于每个提示词，通过仅修改处理属性（例如，将“女性同事”改为“男性同事”，或将“高尚意图”改为“卑劣意图”）来创建一个配对版本。
模型评估： 本研究评估了来自五个不同模型家族（包括 GPT-5、Llama 3、DeepSeek、Qwen 和 Claude）的 13 个 LLMs，这些模型在规模、安全对齐和来源方面各不相同。
评估维度： 响应分析涵盖了源自五个沟通与说服理论维度的 19 个类别：
- 修辞诉求： 理性（Logos）、感性（Pathos）、信誉（Ethos）。
- 西奥迪尼原则： 互惠、承诺、喜爱、权威、稀缺、社会认同。
- 社会心理特征： 代理性（能力、果敢）对比共同性（温暖、合作）。
- 互动目标： 工具性、关系性、身份性。
- 语调： 直接、礼貌、正式、俏皮、亲昵。
LLM 作为评判者（LLM-as-Judge）： 采用了使用 GPT-4o 作为评判者的自动化评估设置，对成对的响应差异进行评分。评判者在每个类别上分配一个序数标度（−3 到 +3）的相对分数。为确保稳健性，评估通过交换输入顺序进行两次，以减轻位置偏差。
验证： 该框架包含了广泛的验证措施，包括：
- 收敛效度： 通过对一部分响应进行人工标注，以验证人类感知是否与 LLM 评判者的发现一致。
- 稳健性检查： 测试替代评判模型（Qwen2.5）、中性化输入中的性别术语，以及将输入翻译为英语以评估跨语言一致性。
- 统计分析： 使用 Wilcoxon 符号秩检验来确定显著性，并使用自助重采样法（bootstrap resampling）来比较不同模型的“性别差距”（ $G_T$ ）。

主要结果
研究显示，在所有测试的 LLMs 中，都存在显著且一致的基于性别的说服性语言生成差异：

风格中的性别刻板印象：
- 针对女性的响应在共同性特征、感性（情感诉求）、关系性目标、礼貌和亲昵语调方面的得分始终较高。
- 针对男性的响应在代理性特征、理性（逻辑诉求）、工具性目标和直接语调方面的得分始终较高。
跨模型一致性： 虽然偏差的幅度有所不同（例如，GPT-5 显示出的差距比 GPT-4.1 更大），但刻板印象的方向性模式在所有 13 个模型中均存在。
跨语言持久性： 在跨 16 种语言测试单个模型（GPT-5-MINI）时，性别化的风格差异依然存在。研究发现，性别差距的大小与相关国家的性别不平等指数（GII）之间没有显著相关性，这表明该偏差是由模型内部模式驱动的，而非仅仅由外部社会数据驱动。
意图框架： 当用户意图被框架化为“高尚”或“卑劣”时，模型会调整其风格，其中“卑劣”的意图在感性和俏皮性方面评分更高，而“高尚”的意图在正式性方面评分更高。
验证成功： 人类标注者证实了 LLM 评判者的发现，即识别出针对女性的文本更具共同性，而针对男性的文本更具代理性。替代评判模型和中性化输入产生了高度相关的结果，证实了研究结果的稳健性。

意义与主张
本文声称提供了第一个系统性的、多维度的分析，探讨 LLMs 如何根据接收者性别及其他属性调整其说服性语言风格。其主要贡献在于：

评估框架： 提供了一种严谨的方法论，用于检测 LLM 生成中微妙的、基于风格的偏差，这种偏差超越了简单的内容拒绝或明显的毒性。
普遍存在的偏差证据： 研究结果表明，即使是经过广泛安全对齐的模型，在其说服性输出中也存在根深蒂固的、刻板印象式的性别偏差。这些偏差与关于“代理性”（男性）和“共同性”（女性）语言倾向的既定社会语言学和社会心理学文献相一致。
泛化性： 该框架被证明不仅适用于性别，还能成功检测基于用户意图和语言的差异，并适用于广泛的语言和模型家族。

作者谦虚地指出，其分析依赖于西方理论传统（亚里士多德修辞学、西奥迪尼原则）和二元性别处理。他们并不声称发现了这些偏差的根源，也不测量说服效率或提出缓解策略，而是确立了这些风格性偏差的存在及其普遍性，将其作为现实世界 AI 部署中进一步研究和保障的关键领域。