技術要約: ORBIT

問題提起

大規模言語モデル（LLM）は、行動属性（例：トーン、パーソナリティ特性）の制御が不可欠なアシスタント設定において頻繁に展開されます。推論時の活性化ステアリング（activation steering）は、隠れ状態の表現をシフトさせることでモデルの挙動を修正する軽量でトレーニング不要なメカニズムを提供しますが、既存の手法はマルチ属性制御において重大な限界に直面しています。

現在の手法は主に単一の属性のステアリングに焦点を当てています。複数の属性を同時に制御する必要がある場合（例：「慎重」かつ「簡潔」な応答）、素朴な手法は幾何学的干渉のために失敗します：

1. ノルムの不均衡（Norm Imbalance）: 属性によって誘導されるステアリングベクトルは、極めて異なる大きさを持ちます。注意深い正規化が行われない限り、高マグニチュードの属性が支配的になってしまいます。
2. 方向の相殺（Directional Cancellation）: 異なる属性が、相反する方向（負のコサイン類似度）や冗長な方向を誘導する場合があり、ベクトルが互いに打ち消し合ったり、特定の方向を過剰に増幅させたりします。
3. 柔軟性の欠如: 学習ベースの代替案（例：勾配誘導型分類器）は、ターゲットとなる属性のセットが変わるたびに再学習を必要とするため、オンザフライでの行動組成を制限します。

手法: ORBIT

著者らは、回転ベースのステアリングをマルチ属性設定へと拡張する、トレーニング不要の手法であるORBIT（Orthogonal Rotation-Based Intervention Technique）を提案しています。独立したステアリングベクトルを加算する代わりに、ORBITは結合部分空間（joint subspace）を構築し、その中で単一のノルム保存回転を適用します。

コア・アルゴリズム

この手法は、セットアップとデコーディングの2段階で動作します。

1. 属性平面の抽出（Attribute Plane Extraction）: 各ターゲット属性 $k$ に対して、対照的な平均方向（$b_1^{(k)}$）と、$b_1^{(k)}$ に直交化されたペア差分の第1主成分方向（$b_2^{(k)}$）を用いて、2Dステアリング平面を構築します。
2. 結合部分空間の構築（ステップ1）: すべての $K$ 個の属性から得られた正規化された軸を連結します。これらの軸の張空間（span）の正規直交基底 $E$ を抽出するために、特異値分解（SVD）を適用します。このステップにより、冗長な方向が自動的に除去され、すべての属性を同時にステアリングできる共有部分空間が作成されます。
3. トークンごとの適応型ゲーティング（ステップ2）: 不必要な編集を避けるため、現在のトークンの活性化を各属性の主要軸に投影した符号付き投影 $s_k$ を計算します。ゼロマージン線形ゲート $g_k = \max(0, -s_k)$ が介入強度を決定します。ターゲットと既に一致しているトークンには介入が行われず、不一致のトークンにはその反対の度合いに比例して強い更新が行われます。
4. 結合ターゲット方向（ステップ3）: アクティブな属性から、ゲート重み付けされた集約方向 $r$ が形成されます。$r$ が非ゼロの場合、それを正規化してターゲット方向 $t$ を形成します。これにより、システムは現在最も不一致である属性を動的に優先させることができます。
5. 部分空間分解と回転（ステップ4）: トークンの活性化 $h$ を、結合部分空間内の成分（$h_{in}$）と、それに直交する残差（$h_{\perp}$）に分解します。部分空間内の成分は、そのノルムを保持したままターゲット $t$ へと回転されます。直交成分は変更されないため、非属性的なコンテンツが保持されます。
6. オプションの加算的ブースト（Optional Additive Boost）: 初期投影が弱い場合にステアリングを強化するため、回転後の平面内でオプションの加算的シフトを適用します。このブーストもゲーティングされており、不一致のトークンにのみ適用されます。

理論的特性

• ノルム保存（Norm Preservation）: 加算ではなく回転を使用することで、ORBITは活性化のノルムを保持し、加算型の手法でよく見られる不安定性やコヒーレンス（一貫性）の低下を防ぎます。
• 汎用性（Generalization）: この手法はトレーニングを必要としません。SVDを通じてオンザフライで結合部分空間を構築するため、属性の組み合わせが変わっても再学習なしで一般化できます。
• 複雑性（Complexity）: 1トークンあたりのコストは $O(Kd + md)$です（ここで$d$は隠れ次元、$m$は部分空間の次元、$m \le 2K$）。これはContrastive Activation Addition (CAA) の約2倍のコストですが、K-Steeringのような勾配ベースの手法よりは桁違いに安価です。

主な貢献

1. ORBITアルゴリズム: SVDを通じて結合特性部分空間を構築し、単一のノルム保存回転を適用して、部分空間外の成分を変更しない、トレーニング不要の幾何学的メソッド。
2. 失敗モードの分析: 素朴なマルチ属性組成における幾何学的失敗モード（ノルムの支配と角度の衝突）の特性化、およびこれらの問題の経験的検証。
3. TRAITFACTORYベンチマーク: 表層的なスタイルの変化ではなく、より深い行動傾向をテストするために設計された、22のトピックカテゴリにわたる13のパーソナリティ特性に焦点を当てた新しいマルチ属性ベンチマーク。
4. 新しい指標: すべての属性が同時に改善することを要求するGeometric Gain（幾何学的利得）と、Joint Success Rate（結合成功率）の導入。
5. 包括的な評価: 3つのモデル（Llama-3.2-3B, Qwen-2.5-7B, Llama-3.1-8B）と2つのベンチマーク（TRAITFACTORYおよびTONEBANK）にわたる広範なテスト。

結果

著者らは、Unsteered、CAA、K-Steering、および素朴な幾何学的組成バリアントを含むベースラインに対してORBITを評価しました。

• ステアリングの有効性: ORBITは、ほとんどの構成において最高のジャッジスコアを獲得しました。ORBITはUnsteeredベースラインの数ポイント以内のコヒーレンスを維持しましたが、CAAは一貫してコヒーレンスを低下させました。この優位性は、安全性に近い特性（例：欺瞞、邪悪）が加算的摂動に抵抗するTRAITFACTORYにおいて最も顕著でした。
• バランスの取れた制御: ORBITは、すべての構成において正のGeometric Gainを維持した唯一の手法であり、すべてのターゲット属性が同時に改善したことを裏付けました。対照的に、CAAとK-Steeringは $K \ge 2$ において頻繁に負の利得を生じさせ、属性の支配（ある特性が他の特性を犠牲にして改善すること）を示しました。
• 結合成功率: $K=2$ のTRAITFACTORYにおいて、ORBITはLlama-3.2-3Bで81%の結合成功率を達成しましたが、K-Steeringは23%でした。
• 一般的な能力: TINYBENCH（ARC-C, GSM8k, MMLUなど）における評価では、ステアリングされた精度がUnsteeredベースラインと密接に追従しており、偏差は3パーセントポイント未満でした。これは、介入を特性部分空間に限定することで、モデルの一般的な能力が保持されることを確認しています。
• アブレーション: 「キャリブレーションされたブースト（calibrated boost）」バリアント（適応型加算的シフト）が、ステアリングの強さと出力品質の最適なバランスを提供しました。

意義と主張

論文は、ORBITがシンプルで柔軟かつ強力なマルチ属性行動制御のメカニズムを提供すると主張しています。その意義は以下の通りです：

• 幾何学的干渉の解決: 独立した局所操作を、結合部分空間内での統一された回転に置き換えることで、属性の数が増えるにつれて不安定化する原因となる、打ち消し合いやノルムの膨張を回避します。
• トレーニング不要の柔軟性: 学習された組成オペレータとは異なり、ORBITは属性セットが変わる際に再学習を必要とせず、動的なオンザフライの行動組成を可能にします。
• 堅牢性: 本手法は、複数の属性を同時にステアリングしながら、出力のコヒーレンスと一般的な能力を維持する上で、ベースラインに対する一貫した優位性を示しています。

著者らは、線形ステアリング方向への依存（強力に非線形な属性構造を捉えられない可能性があること）や、非常に大きな属性セット（$K > 5$）へのスケーリングに関する現在の範囲などの限界についても言及しており、これらは今後の課題として残されています。