技术摘要：用于修辞语言生成的跨语言转向控制

问题陈述

多语言大语言模型（LLMs）展示了在多种语言中生成修辞语言（如隐喻、成语、讽刺）的能力。然而，驱动这种行为的内部神经信号是严格语言特异性的，还是包含可重用的跨语言组件，目前尚不明确。区分这两种可能性对于理解多语言模型在表面词汇和语法之外的共享语义表示的程度至关重要。具体而言，本文研究了从一种语言的修辞—字面激活差异中导出的转向方向，是否能在不进行重训或微调的情况下，有效地诱导另一种目标语言产生类似的修辞生成。

方法论

作者采用**激活转向（activation steering）**作为一种基于干预的探测手段，来测试修辞语言表示的可移植性。实验流程包含三个主要阶段：

1. 向量构建：

   • 对比激活添加（Contrastive Activation Addition, CAA）： 对于源语言 $g$ 和特定的修辞类别 $c$，作者通过计算特定 Transformer 层 $l$ 中修辞示例（$D^+_{g,c}$）与字面示例（$D^-_{g}$）之间平均隐藏状态激活值的归一化差异，来构建转向向量 $\hat{v}^{(l)}_{g,c}$。
   • 数据： 研究使用了每种语言-类别设置下最多 500 个修辞示例和 500 个单语字面标题（例如 COCO 标题）的平衡数据集。
   • 语言与类别： 实验涵盖六种语言（英语、中文、孟加拉语、西班牙语、意大利语、德语）和五种修辞类别（成语、隐喻、明喻、讽刺、挖苦）。

2. 干预：

   • 在生成预填充（prefill）阶段，将转向向量添加到选定层的残差流中，针对每个提示词标记位置：$h^{(l)'}_t = h^{(l)}_t + \alpha \hat{v}^{(l)}_{g,c}$。
   • 干预强度 $\alpha$ 固定为 1.0。
   • 单语转向： 将向量应用于与其来源相同的语言的提示词。
   • 零样本跨语言迁移： 将从一种源语言（如中文）导出的向量应用于不同目标语言（如英语）的提示词，以测试其可迁移性。

3. 几何干预：

   • 语言均值聚合： 作者通过对来自多种源语言（包括和不包括目标语言的集合，称为“留出目标法”或 LTO）的归一化向量进行平均，合成一个核心的跨语言中心方向。
   • 残差消融（Residual Ablation）： 为了测试是否存在一个共享的几何核心驱动了该行为，作者在数学上移除了（投影掉）原生目标向量中与跨语言聚合向量对齐的部分。随后评估该残差向量的表现。

4. 评估：

   • 目标类别率（Target Category Rate, TCR）： 生成的后续文本中表现出目标修辞现象的比例，使用 DeepSeek-v4-flash 作为 LLM-as-a-judge 进行评估。
   • 连贯性（Coherence）： 使用 0–4 分制衡量上下文相关性和逻辑一致性。
   • 统计分析： 报告配对百分点差异，并附带 95% 的自助法（bootstrap）置信区间和经过调整的 McNemar $q$ 值。

核心贡献

本文提出了三个主要贡献：

1. 有效的单语转向： 在单语设置中，与未转向的基线和随机向量控制相比，转向向量一致地提高了目标类别率（TCR）。这种效应在 96 个设置中的 74 个中得到了观察，其中在隐喻和明喻等结构性修辞手法上的鲁棒性最高。
2. 零样本跨语言可移植性： 源语言向量成功转向了 416 个零样本设置中的 369 个。值得注意的是，在若干案例中，源自其他语言的向量表现甚至超过了直接源自目标语言的向量。德语被确定为一个特别具有接受力的目标语言，而孟加拉语则表现出强大的源能力但较弱的接受力。
3. 共享的几何基础：
   • 聚合： 合成的跨语言聚合向量（特别是留出目标法 LTO 聚合）系统性地媲美或优于原生语言转向向量。
     结合上述发现，移除原生向量中共享的跨语言成分（残差消减）会导致修辞生成能力大幅下降。这表明可迁移的转向取决于一个共同的、可重用的表示组件，而非语言特有的伪影。

结果

• 类别依赖性： 转向信号的可迁移性因类别而异。隐喻和明喻表现出最强的跨语言迁移能力，其中隐喻在各种路径下的平均增益为 +17.2 个百分点。相比之下，讽刺和挖苦高度依赖语用上下文和文化细微差别，表现出较弱的可迁移性和对跨语言转向的抵抗力。
• 不对称性： 跨语言迁移是不对称的。虽然某些语言（如德语）对外部转向信号具有高度接受力，但其他语言（如孟加拉语）尽管是强力的源语言，却是较弱的目标语言。这表明，接收修辞信号的能力受到目标语言生成先验知识的限制。
• 几何与原生性能： 完全不含目标语言数据的“留出目标”（LTO）聚合向量，在绝大多数场景中（85%–98% 的测试设置）实现了在功能上与原生向量相当的 TCR。
• 连贯性： 利用共享的跨语言几何结构不会比原生转向带来额外的连贯性惩罚。然而，消融共享信号会导致模型回归到其高度连贯、未转向的默认状态，这证实了修辞生成的损失并非由于不连贯，而是由于移除了特定的转向信号。

意义与主张

本文声称提供了直接证据，证明多语言 LLM 通过可重用但依赖目标的跨语言信号来组织复杂的修辞意图。

• 共享表示： 研究结果表明，生成某些类型修辞语言（特别是像隐喻这样的结构性修辞）的内部机制并非孤立存在于特定语言中，而是植根于模型表示空间内一个共享的、语言无关的几何核心。
• 行为依赖性： 研究确立了虽然信号是可重用的，但其应用的有效性严格取决于目标语言的生成能力。模型可以在语言间组织修辞意图，但这种意图的成功投影受限于目标语言的学习先验。
• 控制启示： 这些结果表明，跨语言转向是控制多语言模型精细行为的一种可行机制，为超越单个语言边界的对齐与控制提供了结构性基础。

作者保持了审慎的态度，指出其发现反映了在当前数据可用性下的行为模式，并且完全解构类别特定表示与构建差异仍是一个重要的未来研究方向。他们还强调了在处理如明喻等类别的并行数据集稀缺问题，以及在句子续写设置中评估讽刺等语用类别的挑战。