We Think, Therefore We Align LLMs to Helpful, Harmless and Honest Before They Go Wrong

技术摘要：用于多目标大语言模型对齐的自适应多分支 steering（AMBS）

问题陈述
大语言模型（LLMs）需要与人类意图保持一致，这通常通过三个相互竞争的目标来操作化：有益性（Helpfulness）、无害性（Harmlessness）和诚实性（Honesty），简称 HHH。尽管先前的工作已通过监督微调（SFT）或基于人类反馈的强化学习（RLHF）实现了模型对齐，但这些方法往往难以在推理过程中同时满足 HHH 目标，特别是在复杂场景下。

现有的推理时对齐方法（如 steering vectors）通常将目标孤立处理。当单一共享表示被 steering 向某一目标时，可能会覆盖或干扰其他目标。近期针对"1 对 N"Transformer 设置（将共享表示复制为多条路径）的扩展尝试通过应用独立变换来缓解这一问题。然而，这些独立更新缺乏对路径间关系的约束，导致响应不一致及目标间的分歧。此外，基于训练的交易方法（如安全 RLHF、混合专家模型）未能在推理过程中约束共享表示内的目标特定变换，从而导致“轴坍塌”（axis collapse）或离散表示，使得冲突的目标无法同时得到满足。

方法论：自适应多分支 steering（AMBS）
作者提出了 AMBS，这是一个专为"1 对 N"Transformer 设置设计的两阶段框架，该框架将目标特定变换参数化为相对于共享表示的偏差。其核心创新在于将更新定义为相对于共同参考的偏差，而非独立的修改。

1. 阶段 I：共享表示计算
   Transformer 为给定输入在层 $\ell$（通常是最后一层 $L$）计算共享隐藏表示 $h^{(0)}_\ell$。该表示作为共同基础，并在所有目标间复用。

2. 阶段 II：参考引导变换
   共享表示被复制为 $N$ 条路径（$h^{(i)}_\ell = h^{(0)}_\ell$）。对于每个目标 $i$，应用相对于共享参考 $h^{ref}_\ell = h^{(0)}_\ell$ 的变换 $\Delta h^{(i)}_\ell$。

   • 基于偏差的更新：不同于独立更新，变换被定义为参考偏差的函数：$\Delta h^{(i)}_\ell = f_i(\tilde{h}^{(i)}_\ell - h^{ref}_\ell; \phi_i)$。
   • 低秩参数化：策略 $f_i$ 被实现为带有加性偏置的低秩投影：$\Delta h^{(i)}_\ell = ((\tilde{h}^{(i,0)}_\ell - h^{ref}_\ell)A_i)B_i + b_i$。其中，$A_i$ 和 $B_i$ 是可学习的低秩矩阵，$b_i$ 是可学习的偏置。关键在于，偏置 $b_i$ 确保了非零的初始偏差，从而在单次前向传播中无需迭代定点计算即可立即激活低秩更新。
   • 输出生成：每条路径生成特定于目标的输出分布 $p^{(i)}_\theta$。这些分布在解码阶段通过加权几何平均合并为单一联合分布 $p^{joint}_\theta$。

3. 优化目标
   该框架最小化一个复合损失函数：
   $$\min \sum_{i=1}^N L^{(i)}_{obj} + \lambda L_{cons}$$

   • $L^{(i)}_{obj}$：路径 $i$ 的目标特定损失（例如交叉熵）。
   • $L_{cons}$：一致性项，衡量跨路径变换表示之间的平方欧几里得距离。该项在允许必要的目标特定变化的同时，惩罚过度的发散，从而防止其他联合方法中出现的“坍塌”现象。

主要贡献

• 框架设计：引入 AMBS，通过将变换参数化为相对于共享参考的偏差来扩展"1 对 N"Transformer 设置，从而在保持路径区分度的同时控制干扰。
• 理论表述：提出了一种数学表述，其中路径差异仅取决于偏差项（$\Delta h^{(i)}_\ell - \Delta h^{(j)}_\ell$），而非基础状态的独立变换，并辅以引理证明非退化初始化和低秩参数的立即激活。
• 实证性能：证明了 AMBS 在四种不同的骨干模型（LLaMA-2-7B、Mistral-7B、Gemma-7B、DeepSeek-7B）上提升了联合 HHH 性能，同时保持了计算效率。

结果
实验在标准基准测试上进行：Alpaca（有益性）、BeaverTails（无害性）和 TruthfulQA（诚实性）。

• 性能提升：AMBS 在所有骨干模型上实现了最高的平均分（Avg）。对于 LLaMA-2-7B，AMBS 达到了 56.5% 的平均分，优于之前的最先进方法 TrinityX（55.1%）和 AlignX（51.3%）。
• 目标特定改进：
  • 有益性：胜率（WR）提升至 53.0%（RAHF 为 48.7%）。
  • 无害性：安全评分（SS，越低越好）降低至 5.3%（Aligner 为 7.2%）。
  • 诚实性：真实性 - 信息性（TI）提升至 37.9%（DExperts 为 31.7%）。
• 干扰分析：与显示目标变化时性能大幅下降的单目标方法，或表现出“坍塌”（各目标得分相同）的联合方法不同，AMBS 在各目标间保持了高但非均匀的性能（例如 37.0% / 25.8% / 14.3%），表明在减少干扰的同时未发生坍塌。
• 效率：通过冻结基础模型并仅优化低秩参数，该方法保持了高吞吐量（例如 189 tokens/sec）和低训练成本（9 GPU 小时）。

意义与主张
本文主张 AMBS 解决了推理时多目标对齐的关键缺口。通过在共享表示内约束目标特定变换，该框架成功平衡了满足不同目标（有益性、无害性、诚实性）与保持它们之间一致性之间的权衡。作者断言，这种方法防止了先前联合对齐方法中观察到的“轴坍塌”和不稳定性，为部署可信大语言模型提供了一种稳健的解决方案，无需昂贵的重新训练或复杂的模块化架构。结果表明，对齐在表示层面被有效捕捉，而解码仅作为巩固步骤，而非收益的主要来源。

局限性
作者承认的局限性包括评估规模、依赖代理判断器（LLMs）进行指标评估而非广泛的人工评估，以及目前仅关注仅解码器模型。未来的工作建议包括更大规模的人类研究、更广泛的安全设置，以及扩展到多模态模型。