技術要約：クリエイティブ・コリジョン（創造的衝突）：大規模言語モデルにおけるディレクター・ペルソナの制御と競合

問題提起

アクティベーション・ステアリング（活性化制御）は、学習された意味論的な方向を残差ストリームに注入することで、推論時の大規模言語モデル（LLM）の振る舞いを修正する強力なメカニズムとして確立されている。先行研究では、真実性、安全性、あるいは特定のペルソナといった単一方向のタスクに対してこの手法を適用することに成功しているが、「マルチベクトルによる衝突」のダイナミクスについては未探索のままである。具体的には、二つの意味的に対立するステアリング・ベクトルが重なり合い、表現の制御を巡って競合する場合に何が起こるのかは不明である。本論文は、対立する道徳的および文体的な方向を補間し、非線形な相互作用、コヒーレンス（一貫性）の低下、および方向性の優位性を観察する「クリエイティブ・コリジョン（創造的衝突）」の領域を調査することで、この空白を埋めるものである。

手法

1. ディレクター対照コーパス

著者らは、スティーブン・スピルバーグとマーティン・スコセッシのフィルモグラフィからそれぞれ100の抜粋からなるペア・コーパス $D = \{(x^{SPL}_i, x^{SCO}_i)\}$ を構築した。

• スピルバーグ： 『E.T.』、『シンドラーのリスト』、『プライベート・ライアン』などの作品から抽出。救済の弧、感情的なカタルシス、そして楽観的な結末を特徴とする。
• スコセッシ： 『グッドフェラス』、『タクシードライバー』、『カジノ』などの作品から抽出。道徳的な曖昧さ、暴力、そして自己破壊的な軌道を特徴とする。
• マッチング： 物語の複雑さを排除し、監督の道徳的なトーンを孤立させるため、物語の状況（例：対立、道徳的選択）に基づいてペアを一致させた。

2. ステアリング・ベクトルの抽出

140億パラメータのデコーダーのみのトランスフォーマー（40レイヤー）を用い、共有のニュートラルなベースライン・コーパス $B$ に対する平均差分コントラストを通じて、ステアリング・ベクトルを抽出した。

• ベクトル： $v^{(l)}_{SPL}$ および $v^{(l)}_{SCO}$ は、各監督のコーパスの平均活性化と、レイヤー $l$ におけるベースラインとの差として計算された。
• 正規化： ベクトルは $\ell_2$ 正規化された。注目すべき点は、これらは反平行ではないことであり、レイヤー28においてコサイン類似度は $\approx 0.29$ であった。これは、異なる道徳的結末を持つにもかかわらず、映画的な感情的内容に関する共通の表現サブスペースが存在することを示している。

3. 補間およびステアリング・プロトコル

研究では、以下のパラメータ・ファミリーを持つ補間ベクトルを導入した：
$$v^{(l)}_\alpha = (1 - \alpha)\hat{v}^{(l)}_{SPL} + \alpha\hat{v}^{(l)}_{SCO}, \quad \alpha \in [0, 1]$$

• ステアリング： 補間されたベクトルは、レイヤー $L = \{20, \dots, 38\}$ において、ステアリング係数 $\lambda \in \{0.5, 1.0, 1.5, 2.0\}$ で残差ストリームに加算された。
• 評価： 各条件につき50の創作フィクション・パッセージを生成した。指標には以下が含まれる：
  • 道徳的価数（Moral Valence）： ファインチューニングされた分類器によってスコア化（$[-1, +1]$）。
  • コヒーレンス（一貫性）： ステアリングされていないベースモデルにおけるトークンレベルのパープレキシティ（当惑度）で測定。
  • 方向性の優位性： スタイロメトリック（文体論的）分類器によって割り当てられた、スピルバーグ・クラスへの確率。
  • 表層的なスタイル： 文の長さ、対話密度、語彙の多様性などの指標。

主な結果

1. 非単調な道徳的価数

$\alpha$ が増加するにつれて道徳的トーンがスピルバーグ（ポジティブ）からスコセッシ（ネガティブ）へと線形に変化するという素朴な予想に反し、結果は非単調であった。

• $\lambda = 1.0$ のとき、道徳的価数は $\alpha = 1.0$ ではなく、$\alpha = 0.25$ で最も低くなった（$MV \approx -0.38$）。
• この中間点における「道徳的不整合」は、スコセッシの要素が暗さをもたらすものの支配には至らないことで生じる、建設的な干渉（constructive interference）を示唆しており、罰せられた状態を作り出している。
• 高いステアリング強度（$\lambda = 1.5$）では、道徳的信号はほぼゼロへと完全に崩壊し、残差ストリームが自然なテキスト・マニフォールドから押し出されたことを示した。

2. コヒーレンスの谷（The Coherence Valley）

生成のコヒーレンス（パープレキシティ）に関して、直感に反する発見があった。

• 純粋なステアリング： 単一の監督によるステアリング（$\alpha=0$ または $1$）は、高い$\lambda$ において最大のパープレキシティ上昇を引き起こした。
• 中間的な衝突： 混合ベクトルを持つ条件（$\alpha \in \{0.25, 0.5\}$）は、著しく高いコヒーレンスを維持した。
• 幾何学的説明： 著者らは、二つの非反平行な単位ベクトル（$\rho < 1$）を補間すると、結果として得られるベクトルの $\ell_2$ ノルムが減少することを証明した。ノルムは $\alpha = 0.5$ で最小となる。コヒーレンスのコストは摂動の大きさによってスケールするため、中間的な衝突点は実質的に弱い摂動しか加えず、モデルの自然なテキスト・マニフォールドへの近接性を維持する。

3. 方向性の優位性

スピルバーグの表現上のシグネチャーは、ほぼすべての補間範囲にわたって強固な優位性を示した。

• $\alpha \in \{0.0, 0.25, 0.50, 0.75\}$ において、スタイロメトリック分類器は $\approx 1.0$ の確率をスピルバーグ・クラスに割り当てた。
• $\alpha = 1.0$（純粋なスコセッシ）においてのみ、分類器は決定境界に近づいた（$P \approx 0.49$）。
• メカニズム： これは、(1) 事前学習データにおける向社会的（prosocial）な物語へのバイアス、および (2) ポジティブな生成を強化するRLHFによるアライメント増幅に起因する。これらは、持続的なスピルバーグ方向の事前分布として効果的に機能している。

4. レイヤーごとの局在化

両監督の道徳的効果は、レイヤー28（40レイヤーモデルの深さ約70%）でピークに達した。

• 効果はほぼ反対称であった（スコセッシで $\Delta MV \approx -0.50$、スピルバーグで $+0.47$）。
• この共局在性は、レイヤー28が高次の意味的特性が因果的にエンコードされる共有の「道徳トーン・ハブ」として機能していることを示唆しており、道徳的価数の線形表現仮説を支持している。

5. 道徳的増幅

道徳的価数を正（$p+$）と負（$p-$）のサブスコアに分解すると、衝突レジーム（$\alpha \approx 0.25$）は、正と負の両方の高い道徳スコアを同時に持つテキストを生成した。この「道徳的増幅」は、衝突によって、どちらか一方の純粋な極端な方向よりも、より大きな道徳的複雑さと明示性を備えたテキストを生成できることを示している。

意義と主張

本論文は、トランスフォーマーの活性化空間における競合する意味論的方向の理解を進展させると主張している。その主な貢献は以下の通りである：

1. 安全性への影響： 向社会的なコンテンツに対する強固な方向性の優位性は、ヘルプフルネスのために微調整されたモデルが、道徳的に暗いコンテンツに対して強い内部事前分布を維持していることを示唆している。望ましくないコンテンツへのステアリングには、好ましいコンテンツへのステアリングよりも大幅に大きな活性化量が必要であり、これは敵対的な活性化レベルの攻撃に対する経験的な障壁を高めている。
2. コヒーレンスのための設計原理： 「コヒーレンスの谷」は幾何学的な原理を提供する。高いステアリング強度が求められる場合、二つの意味的に対立する方向を補間することは、提供される全強度が同等であっても、ベクトルが反平行でない限り、単一の方向を適用するよりもコヒーレンスを維持しやすい。
3. 創造的生成： 「道徳的増幅」効果は、支配的なペルソナを放棄することなく、小さな反対方向の成分を意図的に注入することで、物語の緊張感や道徳的深みを高められることを示唆しており、制御可能な創造的生成のための新しいツールを提供している。
4. メカニスティック・インタープリタビリティ（機械論的解釈可能性）： レイヤー28を共有の道徳トーン基質として特定し、線形な道徳的価数の方向を確認したことは、将来の因果トレーシングや特徴分解研究のための具体的なターゲットを提供している。

著者らは、暗いコンテンツへのステアリング能力自体は以前から存在していたが、彼らの研究はアライメント・ファインチューニングによって課される抵抗を定量化したものであると強調している。彼らは、このようなステアリングが困難であるという発見を、安全性に関する文献にとっての純粋なプラス材料と見なしている一方で、「道徳的増幅」が高強度のコンテンツ生成に悪用される可能性についても認めている。