技术摘要：创意碰撞：大语言模型中的导演人格引导与竞争

问题陈述

激活引导（Activation steering）已成为通过在残差流中注入学习到的语义方向，从而在推理阶段修改大语言模型（LLM）行为的一种强有力机制。虽然先前的研究已成功将该技术应用于单向任务——例如增强真实性、安全性或特定人格——但**多向量碰撞（multi-vector collision）**的动态机制仍未得到探索。具体而言，目前尚不清楚当两个语义相反的引导向量叠加并竞争表征控制权时会发生什么。本文通过研究“创意碰撞”机制来填补这一空白，即通过插值相互对立的道德与风格方向，观察非线性交互、连贯性退化以及方向性主导现象。

研究方法

1. 导演对比语料库

作者构建了一个配对语料库 $D = \{(x^{SPL}_i, x^{SCO}_i)\}$，包含各 100 段分别来自斯皮尔伯格（Steven Spielberg）和斯科塞斯（Martin Scorsese）作品集的摘录。

• 斯皮尔伯格： 取材于《E.T.》、《辛德勒的名单》和《拯救大兵瑞恩》等电影，其特征为救赎弧线、情感宣泄和乐观的结局。
• 斯科塞斯： 取材于《好家伙》、《出租车司机》和《赌场》等电影，其特征为道德模糊性、暴力以及自我毁灭的轨迹。
• 匹配： 剧本对基于叙事情境（如冲突、道德抉择）进行匹配，以隔离导演的道德基调而非情节复杂度。

2. 引导向量提取

使用一个 140 亿参数的仅解码器 Transformer（40 层），作者通过相对于共享中性基准语料库 $B$ 的均值差异对比提取了引导向量。

• 向量： $v^{(l)}_{SPL}$ 和 $v^{(l)}_{SCO}$ 被计算为在第 $l$ 层时，各自导演语料库的平均激活值与基准值之间的差异。
• 归一化： 向量经过 $\ell_2$ 归一化。值得注意的是，它们并非反向平行的；在第 28 层，它们的余弦相似度约为 0.29，这表明尽管道德结局迥异，但它们在电影情感内容方面拥有共享的表征子空间。

3. 插值与引导协议

研究引入了一个参数化插值向量族：
$$v^{(l)}_\alpha = (1 - \alpha)\hat{v}^{(l)}_{SPL} + \alpha\hat{v}^{(l)}_{SCO}, \quad \alpha \in [0, 1]$$

• 引导： 插值向量被添加到第 $L = \{20, \dots, 38\}$ 层的残差流中，引导系数 $\lambda \in \{0.5, 1.0, 1.5, 2.0\}$。
• 评估： 每个条件下生成 50 段创意虚构文本。指标包括：
  • 道德效价（Moral Valence）： 由微调后的分类器评分（$[-1, +1]$）。
  • 连贯性（Coherence）： 通过在未引导的基础模型下的逐 Token 困惑度（Perplexity）进行测量。
  • 方向性主导（Directional Dominance）： 由风格计量分类器分配给斯皮尔伯格类别的概率。
  • 表面风格（Surface Style）： 指标包括句子长度、对话密度和词汇多样性。

核心结果

1. 非单调的道德效价

与直觉上认为道德基调会随着 $\alpha$ 增加而从斯皮尔伯格（积极）线性转向斯科塞斯（消极）的预期相反，结果呈现出非单调性。

• 在 $\lambda = 1.0$ 时，道德效价在 $\alpha = 0.25$ 时最为负面（$MV \approx -0.38$），而非在 $\alpha = 1.0$ 时。
• 这种中间点的“道德不连贯性”表明存在一种建设性干涉，即斯科塞斯成分引入了黑暗感，但未能实现主导，从而创造了一种受损的状态。
• 在高引导强度（$\lambda = 1.5$）下，道德信号完全坍缩至接近零，表明残差流被推离了自然的文本流形。

2. 连贯性谷底（The Coherence Valley）

一个反直觉的发现出现在生成连贯性（困惑度）方面。

• 纯引导： 单一导演引导（$\alpha=0$ 或 $1$）在高$\lambda$ 下会导致最大的困惑度增加。
• 中间碰撞： 混合向量的情况（$\alpha \in \{0.25, 0.5\}$）保持了显著更高的连贯性。
• 几何解释： 作者证明了插值两个非反向单位向量（$\rho < 1$）会减小所得向量的 $\ell_2$ 范数。该范数在 $\alpha = 0.5$ 时达到最小。由于连贯性成本随扰动幅度而缩放，中间碰撞点施加了更弱的有效扰动，从而保留了模型与自然文本流形的接近度。

3. 方向性主导

斯皮尔伯格的表征特征在几乎整个插值范围内都表现出稳健的主导地位。

• 对于 $\alpha \in \{0.0, 0.25, 0.50, 0.75\}$，风格计量分类器分配给斯皮尔伯格类别的概率约为 $1.0$。
• 仅在 $\alpha = 1.0$（纯斯科塞斯）时，分类器才接近决策边界（$P \approx 0.49$）。
• 机制： 这归因于（1）预训练数据中存在向亲社会叙事倾斜的先验偏置，以及（2）通过 RLHF 实现的对齐放大，这强化了积极生成，实际上充当了一个持久的斯皮尔伯格方向先验。

4. 层级局部化

两位导演的道德效应在第 28 层（约 40 层模型的 70% 深度处）达到峰值。

• 效应大致呈反对称性（斯科塞斯的 $\Delta MV \approx -0.50$，斯皮尔伯格的 $+0.47$）。
• 这种共定位表明第 28 层作为一个共享的“道德基调枢纽”，在此处高层语义属性被因果编码，支持了道德效价的线性表征假设。

5. 道德放大

将道德效价分解为正向（$p+$）和负向（$p-$）子分数的分析显示，碰撞机制（$\alpha \approx 0.25$）产生的文本同时具有高正向和高负向道德得分。这种“道德放大”现象表明，碰撞可以生成比任何单一导演极端情况都具有更高道德复杂性和显性程度的文本。

意义与主张

本文声称推进了对 Transformer 激活空间中竞争语义方向的理解。其主要贡献包括：

1. 安全影响： 向亲社会内容的主导性表明，经过帮助性微调的模型保持着强大的内部先验，以抵御道德黑暗的内容。转向不良内容需要比转向良性内容大得多的激活幅度，这为对抗性激活层攻击提高了经验门槛。
2. 连贯性设计原则： “连贯性谷底”提供了一个几何原则：当需要高引导强度时，在两个语义相反的方向之间进行插值，可以比应用等总强度的单一方向更好地保持连贯性，前提是这些向量不是反向的。
3. 创意生成： “道德放大”效应表明，刻意注入一小部分相反方向的成分可以增加叙事张力和道德深度，而不必放弃主导人格，这为可控创意生成提供了一种新工具。
4. 机械可解释性： 确定第 28 层作为共享的道德基调底层，并确认了线性的道德效价方向，为未来的因果追踪和特征分解研究提供了具体的靶点。

作者强调，虽然此前已具备转向黑暗内容的能力，但其工作量化了对齐微调所施加的阻力。他们认为，证明此类引导难以实现是一个对安全文献有益的发现，同时也承认“道德放大”可能被利用于生成高强度内容。