技术摘要：超越准确率：解读自杀意念检测模型中的主题表示

问题陈述

自杀意念检测模型的评估通常依赖于聚合性能指标（如准确率、F1 分数），然而其对具有心理学意义的风险因素的内部表示在很大程度上仍是不透明的。在涉及高风险的心理健康应用中，这种缺乏可解释性的现状阻碍了对伪相关性的识别、对学习表示的审计以及对安全部署的保障。

当前研究表明，现有数据集往往存在主题不平衡问题：常见的风险因素（如抑郁、焦虑）过度代表，而其他因素（如移民、财务危机）则代表不足或缺失。这种不平衡可能导致分类器对过度代表的概念产生错误的因果关系，或对稀有主题变得不敏感。因此，模型可能无法为所有心理风险因素形成清晰、独特的内部表示，可能将它们与无关特征纠缠在一起（多义性/polysemanticity），或者根本未能捕捉到这些特征。

本文旨在解决两个主要研究问题：

1. 在用于自杀意念检测的语言模型训练过程中，心理风险因素是如何在内部激活空间中表示的？
2. 主题感知的合成数据增强是否能提高这些风险因素表示的清晰度、可分性和专业化程度？

研究方法

本研究将关注点从模型输出转向模型的内部表示，特别是残差流（residual stream）中的中间激活向量。该方法采用了基于**线性表示假设（linear representation hypothesis）和叠加假设（superposition hypothesis）**的机械解释性（mechanistic interpretability）方法。

1. 数据与模型

• 数据集： 分析使用了马里兰大学（UMD）Reddit 自杀倾向数据集作为基准。研究构建了第二个数据集，通过主题感知增强（topic-aware augmentation），利用大语言模型（LLM）生成合成的自杀相关帖子，并结合 UMD 数据的子集以平衡主题覆盖范围。
• 基础模型： 选用 ALBERT-base-V2 模型，并分别在原始 UMD 数据集和增强数据集上进行微调。选择 ALBERT 是因为它具有紧凑的架构和稳定的残差流表示。

2. 通过稀疏自编码器（SAE）进行字典学习

为了揭示可解释的特征方向，作者在微调后的 ALBERT 模型的词元级（token-level）残差流激活上训练了过完备稀疏自编码器（overcomplete sparse autoencoders）。

• 架构： SAE 使用一个过完备字典，其中潜在特征数量 ($F=4096$) 显著超过输入维度 ($D=768$)。这种设计旨在解构在稠密模型激活中发生叠加的特征。
• 机制： SAE 将激活向量分解为学习到的基向量方向（解码器向量）的稀疏线性组合。每个方向代表一个潜在特征，而编码器的输出则表示该特征对于给定词元的激活强度。
• 特征-主题映射： 特征根据其在标记有特定心理主题（如“家庭问题”、“移民”）的帖子中的平均激活程度进行分配。

3. 分析技术

研究采用了两种互补的方法来评估所学习特征的结构和可解释性：

• UMaP 可视化： 应用均匀流形近似与投影（UMAP）对归一化的解码器向量进行处理，在 2D 空间中可视化特征方向的几何组织。这允许定性评估与同一主题相关的特征是形成连贯、紧凑的簇（表明单义性/monosemanticity），还是呈现分散状态（表明多义性/polysemanticity）。
• 余弦距离衡量可分性： 引入了一种定量指标，用于衡量概念集（具有特定主题的帖子）的平均激活向量与非概念基准（无关的 Reddit 帖子）之间的角度分离度。
  • 通过最大池化（max-pooling）将词元级激活聚合到帖子级，以保留显著信号。
  • 对概念集和非概念集的帖子级特征向量取平均值，以创建均值向量。
  • 计算这两者之间的余弦距离 ($d_{cos}$)。较大的距离表示模型将该概念编码在一个区别于无关文本的方向上，标志着更高的表示清晰度。

关键结果

1. 潜在特征可视化 (UMAP)

UMaP 投影揭示了在原始 UMD 数据训练的模型与增强数据训练的模型之间的显著差异：

• UMD 模型： 与代表性不足的主题（如移民、完美主义）相关的特征呈现为分散、稀疏的点，表明主题覆盖有限且存在强烈的叠加现象（即特征对多种现象做出反应）。
• 增强型 (AUG) 模型： 相同的特征在这些主题下展现出更多的突出特征方向，并形成了紧凑、连贯的簇。这表明模型向单义性转变，即特定的特征方向能更具选择性地响应目标心理概念。
• 解释： 主题感知增强增加了潜在空间中主题选择性方向的可获得性和一致性，减少了针对代表性不足因素的纠缠。

2. 定量可分性 (余弦距离)

表 1 汇总了主题均值与非概念基准之间的余弦距离。

• 显著改进： 增强处理使得多个关键主题的方向分离度大幅提升。增幅最大的主题包括关系问题（+0.334）、财务危机（+0.310）和家庭问题（+0.266）。
• 广泛提升： 在焦虑、种族主义、愤怒、霸凌和移民等主题上也观察到了持续的提升（约 +0.18 至 +0.22）。
• 例外情况：
  • 绝望感（Hopelessness）： 显示出轻微下降（-0.017），这可能是由于其与其他风险因素（如抑郁）存在强烈的语义重叠，限制了其作为独立方向被分离的能力。
  • 失业（Unemployment）： 显示出下降（-0.079），但这归因于“天花板效应”，因为该主题在两个模型中都已经表现出极高的分离度（0.82–0.90）。

核心贡献

本文对心理健康领域的 NLP 可解释性研究做出了三个主要贡献：

1. 机械分析： 它超越了性能指标，利用过完备稀疏自编码器分析自杀检测模型的内部激活空间，以提取可解释的特征方向。
2. 特征专业化分析： 通过 UMAP 可视化和高激活样本分析，证明了主题感知增强能产生更具结构的表示，其中特定特征与不同的心理社会主题对齐，形成连贯的簇。
3. 几何可分性框架： 它引入了一个使用余弦距离的定量框架，用以衡量心理概念表示的清晰度，并展示了增强处理如何重塑内部特征结构以更好地隔离风险因素。

重要性与主张

作者声称，他们的发现表明主题感知增强不仅提高了分类性能，还从根本上改变了模型的内部几何结构，使其更具可解释性和鲁棒性。

• 结构化表示： 增强处理有助于模型为代表性不足的心理社会风险因素（如移民、家庭问题）建立更清晰、更独特的内部表示，减少了对过度代表概念的伪相关依赖。
• 安全性与透明度： 通过促进特定风险因素的单义性，模型变得更加透明。这有助于更好地审计模型正在“寻找”什么，并支持在涉及高风险的心理健康场景中进行更安全、更负责任的部署。
• 细微的多义性： 论文指出，虽然单义性对于清晰度是理想的，但某些多义性（共享特征）对于重叠概念而言是自然且有益的。目标并非消除所有的重叠，而是减少有害的干扰，即防止无关内容触发相同的风险信号。

研究结论认为，理解学习表示的几何结构对于诊断主题覆盖缺陷以及确保自杀检测模型在多样化的心理背景下实现有效泛化至关重要。