Language Shapes Mental Health Evaluations in Large Language Models

该研究发现，GPT-4o 和 Qwen3 等大语言模型在中文提示下相较于英文提示会表现出更高的心理健康污名化倾向，并在污名检测及抑郁严重程度分类等下游任务中产生系统性偏差，表明语言语境会显著塑造模型的评估模式并改变决策阈值。

要点

这篇论文就像是在给两个超级聪明的"AI 心理医生”（GPT-4o 和 Qwen3）做了一场双语体检。

研究人员发现了一个非常有趣且重要的现象：同一个 AI，如果你用中文问它，它和用英文问它，对待“心理健康”问题的态度竟然会完全不一样。

为了让你更容易理解，我们可以把这两个 AI 想象成两个拥有双重人格的**“翻译官兼心理顾问”**。

1. 核心发现：语言是“变色龙”的伪装

想象一下，你有一个朋友，他平时很开明、很包容。

• 当你用英语跟他聊天时，他表现得像个**“现代开明派”**：对抑郁症患者很理解，觉得大家都不该有偏见，甚至觉得病情可能比实际更严重一点（更谨慎）。
• 当你突然切换成中文跟他聊天时，他瞬间变成了一个**“传统保守派”**：对抑郁症患者更容易产生误解，觉得“这没什么大不了的”或者“这人就是太脆弱”，甚至觉得病情没那么严重。

论文的核心结论就是：语言不仅仅是翻译工具，它像是一个“开关”，直接改变了 AI 大脑里的“价值观”和“判断标准”。

2. 具体表现：三个“奇怪”的变化

研究人员通过三个具体的测试，发现了这种“变色龙”效应：

A. 偏见测试：中文模式下，AI 更容易“戴有色眼镜”

• 场景：研究人员问 AI：“你觉得大家会愿意和一个有抑郁症的人做朋友吗？”或者“如果你自己去看心理医生，你会觉得丢人吗？”
• 比喻：这就像是在问一个路人：“你愿意和隔壁那个生病的人做邻居吗？”
• 结果：
  • 英文模式：AI 说：“当然愿意，这很正常。”（偏见低）
  • 中文模式：AI 说：“呃……可能有点犹豫，毕竟大家可能会指指点点。”（偏见高）
  • 结论：在中文语境下，AI 表现出了更多的社会歧视、自我羞耻感，甚至对专业医生的态度也更消极。它好像突然“入乡随俗”，采纳了某种更保守、更羞于谈论心理问题的文化观念。

B. 侦探游戏：中文模式下，AI 变“迟钝”了

• 场景：给 AI 看一段对话，让它判断：“这段话里有没有歧视抑郁症患者的内容？”
• 比喻：这就像让 AI 当**“内容警察”**，去抓那些说坏话的人。
• 结果：
  • 英文模式：AI 很敏锐，一眼就能看出：“嘿，这句话有歧视！”（抓得准）
  • 中文模式：AI 变得**“视而不见”**。很多明显的歧视言论，它居然没发现，或者觉得“这不算什么”。
  • 结论：中文提示词让 AI 的**“歧视雷达”灵敏度下降了**。这意味着，如果未来用中文 AI 来审核网络内容，很多伤害性的言论可能会漏网。

C. 病情诊断：中文模式下，AI 容易“低估”病情

• 场景：给 AI 看一段用户发的关于抑郁心情的帖子，让它判断：“这个人的病有多重？”（轻度、中度、重度）。
• 比喻：这就像让 AI 当**“分诊护士”**，判断病人是“小感冒”还是“重症肺炎”。
• 结果：
  • 英文模式：AI 比较谨慎，倾向于把病情看得重一点（宁可信其有）。
  • 中文模式：AI 倾向于**“往轻了说”**。明明是很严重的抑郁，它可能觉得“哦，只是心情不好，睡一觉就好了”。
  • 结论：这是一个很危险的信号。如果用中文 AI 做初步筛查，很多真正需要帮助的重症患者，可能会被 AI 误判为“没事”，从而错过了求救的机会。

3. 为什么会这样？

这就好比 AI 在训练时，吃进了海量的中文和英文互联网数据。

• 英文数据里，关于心理健康的讨论往往更开放、更强调科学和去污名化。
• 中文数据里，受传统文化影响，可能更多地包含了“家丑不可外扬”、“忍一忍就过去了”或者对精神疾病的误解。

当 AI 用中文思考时，它就像**“激活”了中文数据里那些保守、传统的文化基因**；而用英文思考时，它激活的是更现代、更开放的基因。

4. 这对我们意味着什么？（大白话总结）

这篇论文给所有人敲了一记警钟：

1. 不要以为 AI 是绝对客观的：你以为它是个冷冰冰的机器，其实它很“随大流”。你用什么语言跟它说话，它就会变成那个语言环境下的“样子”。
2. 公平性危机：如果你用中文和英文分别向同一个 AI 求助，你可能会得到完全不同的建议。中文用户可能会得到更少同情、更不准确的病情评估。
3. 未来的风险：如果未来的医院、学校或社交平台都用 AI 来做心理筛查或内容审核，如果不解决这个问题，中文用户可能会面临“系统性”的不公平——他们的痛苦更容易被忽视，他们的求助更容易被拒绝。

一句话总结：
语言不仅是沟通的桥梁，它还是 AI 的“性格开关”。在心理健康这个敏感领域，用中文问和用英文问，得到的答案可能天差地别。我们需要让 AI 学会“一视同仁”，不管你说什么语言，它对待痛苦和疾病的态度都应该是一样的温暖和专业。

技术摘要

这是一份关于论文《语言塑造大语言模型中的心理健康评估》（Language Shapes Mental Health Evaluations in Large Language Models）的详细技术总结。

1. 研究问题 (Problem)

随着生成式人工智能（特别是大语言模型，LLMs）在多语言环境（如心理健康支持、内容审核、临床决策辅助）中的广泛应用，一个关键问题尚未得到充分解决：提示语言（Prompt Language）是否会导致模型在心理健康评估中产生系统性的跨语言差异？

具体而言，研究关注当使用中文与英文提示同一模型时，模型在以下两个层面是否存在差异：

1. 评估取向（Evaluative Orientation）： 模型对心理健康污名（Stigma）的态度和规范性立场是否随语言改变？
2. 下游决策行为（Downstream Decision Behavior）： 这种评估取向的差异是否转化为具体的决策偏差，例如在识别污名化内容或评估抑郁严重程度时的表现差异？

如果存在系统性偏差，意味着不同语言社区的用户可能面临不平等的安全保障、症状评估和干预优先级，从而引发公平性和可靠性问题。

2. 方法论 (Methodology)

研究选取了两个广泛部署的多语言大模型：GPT-4o 和 Qwen3，对比了中文和英文两种提示语言。研究分为两个阶段：

阶段一：构念层面的评估取向（心理测量学评估）

• 工具： 使用经过验证的心理测量量表，涵盖三个维度：
  • 社会污名 (Social Stigma)： 包括感知到的公众污名（Perceived Public Stigma）和个人污名（Personal Stigma）。使用量表：去价值化 - 歧视量表 (DDS)、精神疾病污名量表 (MISS)、基于情境的污名测量（Vignette-based）、抑郁症污名量表 (DSS)。
  • 自我污名 (Self-Stigma)： 使用寻求帮助的自我污名量表 (SSOSH)。
  • 专业污名 (Professional Stigma)： 使用医疗提供者开放思维量表 (OMS-HC)。
• 实验设计：
  • 将量表题目翻译并回译以确保语义对等。
  • 移除提示中所有关于种族、性别、教育等身份特征的线索，仅保留语言变量。
  • 设置温度参数 $Temperature=0.0$ 以确保确定性输出（并在 $Temperature=1.0$ 下进行了鲁棒性检查）。
  • 每个项目独立运行 100 次迭代，避免上下文学习效应。

阶段二：下游决策任务评估

• 任务 1：二元污名检测 (Binary Stigma Detection)
  • 构建双语数据集（基于英文基准，翻译为中文并经过严格语义对齐）。
  • 零样本（Zero-shot）设置，要求模型判断对话片段是否包含污名化内容。
  • 每个样本运行 30 次，通过多数投票聚合结果。
  • 使用 McNemar 检验比较准确率（Accuracy）、精确率（Precision）和召回率（Recall/Sensitivity）。
• 任务 2：抑郁严重程度分类 (Depression Severity Classification)
  • 基于社交媒体帖子，将抑郁严重程度分为四个等级：无/轻微 (Minimal)、轻度 (Mild)、中度 (Moderate)、重度 (Severe)。
  • 分析预测误差的方向性（高估 vs. 低估），计算预测值与真实标签的差值。
  • 重点考察是否存在系统性的方向性偏移（Directional Shift）。

3. 关键贡献 (Key Contributions)

1. 扩展了跨语言偏差的研究领域： 首次系统性地将跨语言差异的研究从一般的价值观或认知风格，延伸至高利害的社会解释领域（心理健康评估）。
2. 连接了“态度”与“行为”： 证明了模型在心理测量学层面的“评估取向”差异（如更高的污名评分）会直接转化为下游决策任务中的“行为偏差”（如更低的检测敏感度、更严重的低估倾向）。
3. 揭示了决策阈值的语言依赖性： 发现语言不仅影响模型“说什么”，还改变了模型在分类任务中的有效决策边界（Decision Thresholds），导致中文提示下模型对污名内容更保守，对抑郁症状更倾向于低估。

4. 主要结果 (Key Results)

A. 评估取向差异（污名化评分）

在所有测量的维度中，中文提示均导致模型产生显著更高的污名化评分（即更负面的态度）：

• 社会污名： GPT-4o 和 Qwen3 在中文提示下，对公众污名和个人污名的评分均显著高于英文（例如 GPT-4o 在 DDS 量表上，中文均值 3.85 vs 英文 3.65, $p < 0.001$）。
• 自我污名与专业污名： 中文提示下，模型表现出更强的寻求帮助的羞耻感（SSOSH）和医疗提供者对精神疾病患者的负面态度（OMS-HC）。
• 结论： 语言语境系统地改变了模型嵌入的规范性立场。

B. 下游决策差异

• 污名检测任务：
  • 召回率（敏感度）下降： 中文提示下，模型识别污名化内容的能力显著降低。GPT-4o 的召回率从英文的 0.466 降至中文的 0.428；Qwen3 从 0.547 降至 0.441。
  • 精确率稳定： 精确率在两种语言间无显著差异，说明偏差主要源于模型更不愿意将内容标记为“污名化”（即提高了判定阈值），而非产生更多误报。
• 抑郁严重程度分类：
  • 系统性低估： 中文提示导致模型显著倾向于低估抑郁严重程度。
  • 误差不对称性： 在 GPT-4o 中，中文提示下的低估案例（43 例）远多于英文（11 例）；Qwen3 同样呈现此趋势（46 vs 17）。
  • 严重程度分布： 这种低估效应在“中度”和“重度”案例中尤为明显，表明中文提示下的决策边界发生了向下的系统性偏移。

5. 研究意义 (Significance)

• 公平性与安全性风险： 如果同一模型在不同语言下对心理健康问题的评估标准不一致，中文用户可能面临更低的污名内容过滤保护，以及更严重的抑郁症状被低估的风险，导致干预资源分配不均。
• 对开发者的启示： 单一语言（通常是英文）的评估不足以反映模型的全貌。开发者必须将跨语言评估纳入标准流程，特别关注心理健康等敏感领域的决策阈值校准。
• 社会影响： AI 生成的内容可能反过来塑造不同语言社区对心理健康的讨论氛围。如果中文语境下的 AI 表现出更高的污名化和更低的严重性评估，可能会加剧该语言社区对心理问题的误解或忽视。
• 未来方向： 研究呼吁在模型对齐（Alignment）和安全干预中考虑语言特异性，并建议针对不同语言社区进行差异化的阈值调整或提示工程优化。

总结： 该论文通过严谨的实证研究证明，语言不仅是交流工具，更是塑造大模型认知和决策框架的关键变量。在心理健康这一敏感领域，提示语言的选择会系统性地改变模型对污名的态度以及对症状严重程度的判断，这对全球范围内负责任地部署 AI 提出了严峻挑战。