💬 NLP

Assessing Algorithmic Bias in Language-Based Depression Detection: A Comparison of DNN and LLM Approaches

本研究比较了深度神经网络与大语言模型在临床访谈中检测抑郁症的表现，发现虽然大语言模型通常优于深度神经网络且表现出较低的性别偏见，但两种方法在应对种族差异方面仍面临挑战，其中特定的公平性感知技术（如用于深度神经网络的最差组损失和用于大语言模型的伦理提示）仅能提供部分缓解。

原作者： Obed Junias, Prajakta Kini, Theodora Chaspari

发布于 2026-01-28

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Obed Junias, Prajakta Kini, Theodora Chaspari

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有两种不同类型的侦探正在试图破解一个谜题：“这个人是否感到抑郁？” 仅根据他们在访谈中所说的话来进行判断。

侦探 A (DNN) 像是一名受过高度专业训练的初级警员。他们研读过数千本心理健康书籍，了解那些通常预示着悲伤的语言“规则”。
侦探 B (LLM) 像是一个超级聪明的全才天才，几乎读遍了互联网上的所有内容。他们虽然没有专门针对这一个案件进行训练，但他们极其擅长理解细微差别、语气和语境。

研究人员想看看哪位侦探更擅长破解这个案件，更重要的是，这两位侦探对待人们是否公平？ 他们是否会对某些群体（比如男性与女性，或不同的种族背景）犯更多的错误？

以下是使用简单类比对他们调查过程的拆解：

1. 设置：审讯室

侦探们被给予了来自 DAIC-WOZ 的转录文本，这是一组真实的临床访谈，记录了人们谈论自己生活的内容。研究人员观察了两个主要的“嫌疑对象”，即偏见：

性别： 男性 vs 女性。
种族/族裔： 白人/高加索人 vs 非洲裔美国人 vs 拉丁裔。

2. 对决：谁更胜一筹？

结果： LLM (侦探 B) 在识别抑郁方面通常比 DNN (侦探 A) 表现得更好。

类比： 把 DNN 想象成一个背诵了教科书的学生。他们知道定义，但可能会错过对话中的“氛围”。LLM 则像是一位经验丰富的心理咨询师，能够读懂言外之意。
陷阱： 尽管 LLM 整体上更聪明，但它仍然有盲点。它在帮助拉丁裔群体方面表现出色（而 DNN 在这方面几乎完全失效），但它在让非洲裔美国人和白人参与者获得完全一致的待遇方面仍然存在困难。

3. 修正偏见：“训练”

研究人员试图“修复”这些侦探，使他们更加公平。

修复侦探 A (DNN)

由于 DNN 是一个机器学习模型，你可以通过改变它的“数学逻辑”来强制实现公平。他们尝试了两种方法：

方法 1：“最差群体规则” (Worst-Group Loss)。 想象一位老师说：“我不在乎你在容易的学生身上表现如何；我只在乎你是否能让那个最难教的学生及格。” 模型被迫专注于它失败得最严重的那个群体。
- 结果： 这效果很好！它平衡了得分，同时没有破坏侦探的整体准确性。
方法 2：“平均规则” (Fairness-Regularized Loss)。 这种方法试图同时让所有人的得分都相等。
- 结果： 这让侦探变得太困惑了。它为了追求对每个人的公平而过度努力，结果反而降低了它检测抑郁症的整体能力。

修复侦探 B (LLM)

你无法轻易地重新训练 LLM，所以研究人员尝试了提示词工程 (Prompting)（在开始之前给侦探一套具体的指令）。

“伦理框架”提示词： 他们给了 LLM 一张便条，上面写着：“嘿，无论性别或种族，请平等对待每个人。不要使用刻板印象。只需关注文字本身。”
- 结果： 这对解决性别偏见非常有帮助。当 LLM 仅接收一个示例 (1-shot) 并配合这条伦理说明时，它对待男性和女性更加公平。
- 局限性： 给 LLM 提供更多示例（3-shot 或 5-shot）并不能进一步修复偏见。此外，这个“伦理说明”并没有真正解决种族方面的偏见。无论给出多少指令或示例，LLM 在对待不同种族群体方面仍然难以做到完全公平。

4. 正义的代价

在时间和金钱方面存在权衡。

侦探 A (DNN) 速度极快，处理一个案例仅需 0.002 秒。
侦探 B (LLM) 处理一个案例大约需要 0.68 秒。
启示： 虽然 LLM 运行速度较慢且更“昂贵”，但它通常更准确，并且在修复性别偏见方面比快速、廉价的 DNN 更容易。

总结发现

LLM 是更强大的侦探，尤其是在处理 DNN 完全错失的群体（如拉丁裔参与者）时。
偏见是顽固的。 即使是最聪明的 AI (LLM)，在试图让不同种族群体得到完全相同的待遇方面仍然面临困难，即便你给了它伦理指令。
“最差群体”数学技巧是修复 DNN 偏见且不破坏其准确性的最佳方式。
伦理指令有助于 LLM 公平对待男性和女性，但仅限于侦探一次只看一个示例时。

简而言之： 本文表明，虽然 AI 在检测抑郁症方面正在变得越来越好，但要确保它不会根据人们的身分进行意外歧视，我们仍有很长的路要走。我们所尝试的“修复方法”很大程度上取决于我们使用的是专门化模型还是通用的庞然大物。

技术摘要：评估基于语言的抑郁症检测中的算法偏差

问题陈述
尽管自然语言处理（NLP）通过语言线索为自动化抑郁症检测提供了充满前景的途径，但针对社会人口统计学群体的算法偏差问题仍引起广泛关注。现有文献表明，抑郁症的语言标记因性别、种族和族裔而异，这可能导致自动化系统的性能表现出现差异。虽然先前的研究已针对基于音频或多模态的抑郁症检测中的偏差进行了探讨，但在评估基于临床访谈转录文本的纯文本模型方面仍存在显著空白。此外，新兴的大型语言模型（LLMs）对这些差异的影响，以及在临床 NLP 背景下偏差缓解策略的有效性，仍有待深入研究。本研究通过比较深度神经网络（DNN）嵌入与少样本（few-shot）LLM 方法在 DAIC-WOZ 数据集上的表现，旨在调查这些问题，并将性别和种族/族裔作为主要的偏差来源。

方法论
本研究利用 DAIC-WOZ 数据集，该数据集包含由患者健康问卷（PHQ-8）评分的临床访谈。在剔除缺失人口统计数据的参与者后，分析涵盖了 186 名性别样本和 184 名种族/族裔样本。

模型架构：
- 基于 DNN 的方法： 研究采用了 Mental-RoBERTa，这是一种在心理健康语料库上进行领域自适应预训练的模型。为了处理长文本转录，采用了分块策略（300 字窗口，80 字重叠），并通过多数投票确定最终预测。
- LLM 方法： 使用 GPT-4o-mini 进行少样本学习。研究对比了“无引导提示”（Unguided Prompting, UP）、“引导提示”（Guided Prompting, GP，包含抑郁症的具体语言线索）以及“带有伦理框架的引导提示”（Guided Prompting with Ethical Framing, GP-EF，增加了避免刻板印象并确保公平对待的明确指令）。实验在 1-shot、3-shot 和 5-shot 设置下进行。
偏差缓解策略：
- 针对 DNN： 实施了两种公平感知损失函数：
  - 最差组损失（Worst-Group Loss）： 根据具有最高交叉熵损失的子组对模型进行惩罚，以提高在表现最差组上的性能。
  - 公平正则化损失（Fairness-Regularized Loss）： 添加一个与子组特定损失的最大差异成比例的惩罚项。
- 针对 LLM： 偏差缓解仅通过提示工程（GP 和 GP-EF）以及改变 shot 数量的上下文学习进行探索。
评估指标：
性能使用平衡准确率（BA）、真阳性率（TPR）、精确率（Precision）和 F1 分数进行衡量。公平性通过等化赔率（Equalized Odds, EO）进行量化，定义为 $1 - |TPR_{非敏感组} - TPR_{敏感组}|$ 。统计显著性通过 t 检验和方差分析（ANOVA）进行评估。

核心贡献
本文通过以下方面为该领域做出贡献：

提供了基于 DNN 的嵌入与 LLM 在抑郁症检测方面的对比分析，同时评估了性能与算法公平性。
探讨了用于基于文本的抑郁症检测的公平感知建模约束（损失函数），此前该任务主要由表格或多模态数据研究主导。
研究了通过多样化的提示框架进行上下文学习以减轻 LLM 偏差的技术，这在抑郁症检测领域此前尚未被研究过。

结果

性能对比： LLM 通常在抑郁症分类方面优于基于 DNN 的嵌入，尤其是在包括西班牙裔在内的代表性不足的群体中。
性别偏差：
- DNNs： 在缓解前显示出显著的性别差异（EO = 0.85）。与 公平正则化损失 相比，最差组损失 在性能与公平性之间实现了更好的平衡，后者虽然提高了公平性，但以降低准确率为代价。
- LLMs： 与 DNN 相比表现出更低的性别偏差（1-shot 时 EO = 0.93）。GP-EF 策略进一步提高了 1-shot 设置下的 EO，使性别在 TPR 上的差异在统计上变得不显著。然而，增加 shot 数量（3 和 5）并未一致地进一步减少差异。
种族/族裔偏差：
- DNNs： 存在显著差异，在去偏差前，西班牙裔参与者的表现接近随机水平。两种损失函数都提高了西班牙裔和非裔的表现，其中 最差组损失 提供了更优的平衡。
- LLMs： 虽然 LLM 在整体检测西班牙裔方面的表现优于 DNN，但种族差异依然存在。无论是提示框架（GP, GP-EF）还是增加 shot 数量，都未能有效减少非裔/西班牙裔与白人/高加索人之间的差异。
效率： 基于 DNN 的嵌入速度明显更快（每个样本 0.0025 秒），而 LLM 较慢（每个样本 0.68 秒），尽管 LLM 展示了更优越的性能和公平性结果。

意义与主张
论文得出结论：虽然 LLM 提供更优的性能且通常比传统的 DNN 嵌入具有更低的性别偏差，但社会人口统计学差异——特别是跨种族差异——在两类模型中依然存在。研究强调，偏差缓解策略并非“一劳永逸”；最差组损失 被证明对 DNN 有效，而 LLM 中的伦理框架在特定设置下（1-shot 性别分析）展现出了潜力。

作者谦逊地指出，这些发现强调了在临床 NLP 中平衡公平性与准确性的复杂性。他们强调，有必要根据特定的模型类型和人口统计背景来定制去偏差策略。研究承认了局限性，包括数据集中抑郁症西班牙裔参与者的代表性不足，以及仅评估了每类中的两个代表性模型，这表明未来的工作应探索更广泛的模型范围和多语言数据集，以验证泛化能力。