💬 NLP

Analysing Self-Harm Representations in Language Models: a Cross-Architecture Study

本研究分析了大型语言模型在四种架构和两个数据集上如何表示自残内容，揭示了此类信息在网络最后 3–7% 的层中发生结晶，且最准确的检测探针并不一定依赖于线性可分性最高的方向，其中 Gemma-3-4B 表现出一种独特的表示模式。

原作者： Luis Espinosa-Anke, Carla Perez-Almendros

发布于 2026-07-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Luis Espinosa-Anke, Carla Perez-Almendros

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一座巨大的、充满魔力的图书馆，里面储存着人类写过的每一本书，但这些书是用只有图书馆机器人才能读懂的秘密代码编写的。这座图书馆就是一个“大语言模型”（AI），它的工作是理解人类语言，从写诗到回答问题。但棘手的部分在于：这些机器人并不像我们这样“理解”事物；它们拥有一个由数千层数学连接组成的隐藏内部地图。科学家们正在试图弄清楚这些机器人是如何思考危险话题（例如自残）的。把机器人的大脑想象成一座多层的摩天大楼。当一条信息进入大楼时，它会沿着楼层向上移动。在底层，这条信息只是原始的噪声。随着它向上攀爬，机器人开始理解它的含义。研究人员提出的核心问题是：究竟在哪一层，机器人终于意识到：“噢，这是一个求救信号”？ 以及一旦它意识到这一点，它是将这个想法存储在一个简单的直线中，还是隐藏在一个复杂的、扭曲的迷宫里？了解这一点至关重要，因为如果我们想要构建能够安全识别处于危机中的人并提供帮助的 AI，我们就需要准确知道那个“危险信号”是如何在机器内部点亮并运作的。

在这项研究中，研究人员扮演了侦探的角色，窥视着四座不同 AI 摩天大楼（具体为 Qwen3-0.6B、Llama 3.2-1B、Llama 3.2-3B 和 Gemma-3-4B 模型）的内部运作。他们想观察这些模型是如何表示关于自残的帖子的。他们进行了两个主要的实验。首先，他们在建筑的每一层都建立了一个简单的“检测器”（称为线性探测器），以观察 AI 是否能区分自残帖子和普通帖子。他们发现，AI 直到大楼的最顶层才真正“明白”。具体来说，关于自残的信息在最后 3% 到 7% 的层中“结晶”了——这意味着它变得清晰且稳固。对于一座有 34 层楼的大楼来说，这意味着 AI 只有在最后两三层才能完全理解其中的危险。在此之前，信号太模糊，无法可靠地捕捉。

第二个实验更有趣。研究人员试图在 AI 的数学空间中寻找一个单一的“方向”，这个方向直接指向自残，就像是在寻找一根始终指向“危险”的指南针。他们预期，那些最擅长识别自残的 AI 模型，也会拥有最清晰、最直的指南针。但他们发现了一个令人惊讶的结果：事实并非如此。名为 Gemma-3-4B 的模型实际上是识别自食行为最好的（获得了最高的准确率得分），但它的“危险指南针”却是最不直观、最不简单的。事实证明，Gemma 并没有将自残的概念存储在一个单一、易于寻找的线条中。相反，它将信号分散到了许多不同的方向上，这使得它虽然难以用简单的指南针找到，但实际上却能更好地识别真实的情况。

团队还发现，AI 表示这种危险的方式会随着信息在建筑中向上移动而发生变化。位于大楼底部的“危险信号”的方向与顶部的方向几乎完全不同。这就像是信息在底部开始时是一个红色的箭头，但到了顶部，它已经旋转并变成了一个蓝色的螺旋。这意味着你不能仅仅通过观察 AI 的早期层来理解其安全特性；你必须观察它的最末端。

最后，研究人员比较了他们用于训练检测器的两组不同数据。一组有点混乱，包含使用隐喻或讨论新闻故事中自残内容的帖子；而另一组则非常清晰直接。他们发现，AI 在处理清晰、直接的数据时表现得更好且更一致。这表明我们给 AI 的示例质量至关重要。如果训练数据充满困惑或充满了复杂的隐喻，AI 的内部地图就会变得更加模糊。

简而言之，这篇论文表明，对于这些 AI 模型而言，自残的概念是一个后期实现的认知，存在于网络的最后几层。它还表明，最准确的 AI 并不一定是那个拥有最简单“危险信号”的模型，而是那个以更复杂、更分布式方式编码危险的模型。这为我们如何构建更安全的 AI 提供了一种新的思考方式：与其仅仅希望机器人能做得更好，我们或许可以通过理解这些想法是如何形成以及在哪里形成的，来针对性地设计其大脑的特定部分，以应对这些关键时刻。

技术摘要：分析语言模型中自残表征的呈现

问题陈述

社交媒体上自残内容的检测是一项高风险任务，需要极高的准确性，以促进及时的干预和对高风险用户的标记。虽然目前已开发出使用 LSTM、基于 BERT 的 Transformer 以及大语言模型（LLM）进行内容审核和心理健康监测的自动化检测系统，但在理解这些模型的内部机制方面仍存在显著空白。具体而言，关于以下方面的信息仍然有限：

自残概念在网络何处“结晶”（crystallize）。
这些表征在不同层级间的几何稳定性。
自残的结构化表征在不同架构和规模之间是否具有一致性。

作者认为，理解这些内部表征对于构建更安全的系统至关重要，使系统能够超越提示词工程（prompt engineering），转向包含显式、可测试的干预与治理组件。

研究方法

本研究采用跨架构分析，使用了两个数据集和四个指令微调的 Transformer 模型。

数据集：

X-Sensitive (X-S)： 一个包含六个类别标签的多标签英语社交媒体帖子语料库。作者提取了 200 条自残阳性帖子和 200 条对照帖子（所有类别均为零）。
SH-Detection (SH-D)： 一个二分类数据集，其中自残帖子被标记为“self-harm”，其余所有内容作为对照。采样了一个平衡的 600 帖子数据集。
预处理包括：移除少于 20 个字符的帖子、去除 URL、合并空格以及匿名化提及（mentions）。

模型：
分析了四个指令微调的 Transformer 模型：

Qwen3-0.6B（0.6B 参数，28 层）
Llama 3.2-1B-Instruct（1B 参数，16 层）
Llama 3.2-3B-Instruct（3B 参数，28 层）
Gemma-3-4B-it（4B 参数，34 层）

实验设置：

逐层探测（Layer-wise Probing）： 对于每一层 $\ell$ ，作者提取了最后一个 token 的残差流激活值（ $a_\ell$ ）。他们使用 $\ell_2$ 正则化逻辑回归探测器（线性分类器）进行训练，并采用 5 折分层交叉验证。主要指标是平均 ROC-AUC，报告时未对激活值进行预先归一化。
对比方向分析（Contrastive Direction Analysis）： 遵循 Zou 等人 (2023) 的方法，作者计算了每一层 $\ell$ $ℓ$ 的对比自残方向向量 $d_\ell$ $d_{ℓ}$ ，该向量是自残帖子平均激活值 ( $\bar{a}^+$ $\overset{a}{ˉ}^{+}$ ) 与对照帖子平均激活值 ( $\bar{a}^-$ $\overset{a}{ˉ}^{-}$ ) 之间的归一化差值。
- 可分性（Separability）： 通过在最佳分离层上，计算帖子在 $d_\ell$ 上的标量投影的 Cohen's $d$ 来衡量。
- 稳定性（Stability）： 通过计算跨层的方向向量的 $L \times L$ 成对余弦相似度矩阵来评估，以确定该方向在网络深度中是保持一致还是发生旋转。

关键结果

1. 自残概念的结晶
在所有四个模型和两个数据集中，自残信息一致地在网络最后 3%–7% 的层级（深度为 93% 至 97% 处）发生结晶。

性能： 在 SH-Detection 数据集上，所有模型的表现均达到高水平（AUC 0.923 至 0.972），且方差较小；而在 X-Sensitive 上，性能较低（AUC 0.703 至 0.817），这可能是由于该语料库中存在修辞性语言和更微妙的负面示例所致。
错误分析： 假阴性（False negatives）通常涉及修辞性/隐喻性语言或第三人称语境。假阳性（False positives）频繁出现在心理健康倡导帖子或使用了危机相关词汇但并未传达第一人称痛苦的内容警告中。

2. 几何可分性 vs. 分类准确率
一个关键发现是，最准确的线性探测器并不一定是基于平均差方向（mean-difference directions）最具线性可分性的。

Gemma-3-4B 异常现象： Gemma-3-4B 在 X-Sensitive 上实现了最高的探测 AUC (0.817)，但其 Cohen's $d$ (0.71) 是所有模型中最低的。
解释： 作者认为，Gemma 的自残信号并非集中在单一方向，而是分布在整个激活空间中。线性探测器可以找到一个利用这种分布式信号的超平面，而简单的平均差方向（Cohen's $d$ ）则无法捕捉到完整的分离效果。
分歧： 在 Llama 3.2-3B 中，对比方向在第 14 层达到可分性（Cohen's $d$ ）的峰值，远早于探测 AUC 持续上升的最终层，这表明中层方向可能具有潜力，但仅凭其本身不足以实现准确分类。

3. 方向稳定性
自残对比方向在网络深度上是不稳定的。

块对角结构（Block-Diagonal Structure）： 相邻层之间表现出高度对齐（余弦相似度为 0.76–0.92），但网络前三分之一与后三分之一层的方向几乎正交（余弦相似度为 0.14–0.38）。
含义： 自残概念在通过网络时会进行动态的重新表征；在早期层提取的方向无法迁移到后期层。Gemma-3-4B 在 SH-D 上表现出最低的跨层余弦相似度 (0.135)。

重要性与主张

本文声称，其研究结果通过揭示安全性相关嵌入的内部几何结构，为更有效的干预策略铺平了道路。具体而言：

表征工程（Representation Engineering）： 该研究支持使用表征工程来理解模型内部，从而超越黑盒检测，转向显式的、可测试的组件。
架构差异： 结果强调，不同的模型（例如 Gemma 与 Llama）可能以不同的结构化方式（集中型信号 vs. 分布型信号）来表征相同的安全性概念（自残），这对如何针对特定架构定制安全机制具有启示意义。
数据质量影响： X-Sensitive 和 SH-Detection 数据集之间系统性的性能差距表明，标注质量和语料库构成会显著影响表征质量，这是在训练或评估安全模型时必须考虑的因素。

作者总结道，尽管自残概念一致地在后期层结晶，但这些表征的几何性质是复杂且具有模型特异性的，这挑战了“存在单一且稳定的‘安全方向’贯穿所有层级和架构”的假设。

技术摘要：分析语言模型中自残表征的呈现

问题陈述

研究方法

关键结果

重要性与主张

类似论文