技術要約：報酬モデルにおける「有用性」と「無害性」の緊張関係の理解

問題提起

報酬モデル（RM）は、人間のフィードバックからの強化学習（RLHF）の中核を担っており、大規模言語モデル（LLM）を人間の価値観、具体的には**有用性（helpfulness）と無害性（harmlessness）に整合させる役割を担っています。これらの目的は、混合目的学習の設定において同時に追求されることが多いものの、しばしば衝突します。例えば、あるRMは、無害性を確保するためにクエリを拒絶すること（例：架空のキャラクターの個人のメールアドレスを提供することを拒む）を優先するかもしれませんが、人間は有用で情報提供に富んだ回答を好む場合があります。この現象はアライメント・テンション（alignment tension）**と呼ばれ、アライメントされたLLMが、有用性を満たすために不安全な回答を生成するか、あるいは無害性を確保するために無害なクエリを拒絶してしまうという、不適切なモデル挙動につながります。

この問題の蔓延にもかかわらず、RMがどのようにこれらの競合する目的を符号化、表現、および調整しているかという内部メカニズムについては、依然としてほとんど理解されていません。既存の解釈可能性に関する研究は、主に特定のスコアリング決定の説明に焦点を当てており、競合する目的がモデルの内部回路内でどのように相互作用しているかを分析することには焦点を当てていません。

手法

著者らは、行動分析とメカニスティック・インタープリタビリティ（機械論的解釈可能性）を組み合わせて、アライメント・テンションを調査しています。

実験設定

1. モデルのトレーニング: 本研究では、同一の事前学習済みLLMバックボーン（SmoLLM2およびGPT-2ファミリー）から3つのバリアントの報酬モデルをトレーニングしています。
   • 有用性RM ($r^H_\theta$): HH-RLHFデータセットの有用性サブセットのみでトレーニング。
   • 無害性RM ($r^S_\theta$): 無害性サブセットのみでトレーニング。
   • 混合RM ($r^{HS}_\theta$): 両方の目的を含む結合データセットでトレーニング。
2. 評価: モデルは、有用性に特化したタスク（例：チャット、推論、指示追従）および無害性に特化したタスク（例：安全性、拒絶、敵対的堅牢性）に分類された多様なベンチマーク（RewardBench, RewardBench2, RM-Bench）を用いて評価されます。
3. ニューロン分析:
   • 特定: 著者らは、大きさに基づく重要度スコアを計算することで「指向性ニューロン（oriented neurons）」を特定しています。特定の目的データセットにおいて、活性化が上位$\tau$パーセンタイル（10に設定）にあるニューロンを、有用性指向または無害性指向のニューロンとして分類します。
   • 因果的介入: 特定されたこれらのニューロンの活性化を、フォワードパス中にゼロに設定するターゲット・アブレーション（除去実験）を行い、モデルのパフォーマンスに対する因果的な影響を測定します。
   • 重複分析: 単一目的モデルと混合目的モデルの間で特定されたニューロン集合の重複を定量化します。

主な結果

1. 行動的パフォーマンスとテンション

• 混合モデルの性能低下: 混合目的のRMは、多様な評価タスクにおいて、単一目的のRMを一貫して下回ります。これらは、単一の目的でトレーニングされたモデルの専門的なパフォーマンスに達しておらず、共同最適化中の目的間の干渉を示唆しています。
• 目的の非対称性: 単一目的モデルは、明確な行動傾向を示します。有用なRMは協調的な回答に優れていますが、欺瞞的なプロンプトに対する堅牢性に欠ける場合があります。無害なRMは、敵対的な設定において優れた堅牢性を示しますが、無害なクエリに対して過剰に拒絶を行う可能性があります。
• 保持の限界: 単一目的モデルによって学習された行動を混合目的モデルに対してテストした際、「行動の保持（behavioral retention）」は比較的低くなりました（有用性で平均〜56%、無害性で〜62%）。粗い行動（例：一般的な拒絶）は保持されますが、微細な挙動や敵対的に堅牢な挙動は著しく低下します。
• 報酬のキャリブレーション: 混合目的モデルが正しい決定を下している場合でも（単一目的モデルと一致する場合）、その報酬スコアは一貫して弱く、ゼロ付近に集中しており、自信の喪失と信号の分離性の低下を示唆しています。

2. メカニスティックな洞察：ニューロンの役割と重複

• 因果的重要度: アブレーション研究により、特定の目的に特化したと特定されたニューロンが、その目的において因果的に重要であることが確認されました。無害性指向のニューロンをHarmless RMから除去すると、無害性タスクのパフォーマンスは大幅に低下（約12ポイント）しますが、多くの場合、有用性タスクのパフォーマンスは向上します。これは逆も同様です。
• 共有表現: 有用性と無害性の両方に関連するニューロンの相当な割合（約50%）は、共有されています（すなわち、両方の単一目的モデルにおいて高い活性化を示します）。
• 不釣り合いな影響力: これらの共有ニューロンは、モデルの挙動に対して不釣り合いなほど大きな影響を及ぼします。混合目的のRMにおいて共有ニューロンをアブレーションすると、目的固有（非共有）のニューロンをアブレーションした場合の影響を大幅に上回り、深刻な精度低下（無害性タスクで10ポイント、有用性タスクで4.4ポイント）を引き起こします。
• 層の分布: 指向性ニューロンはモデルの後半の層に集中しています。これらの層は高レベルのセマンティック（意味論的）特徴を捉えることで知られており、この衝突が表面的な構文ではなく、複雑な意味表現の処理過程で発生していることを示唆しています。

主な貢献

1. アライメント・テンションの特性化: 本論文は、有用性と無害性の共同トレーニングが、単一目的のトレーニングと比較してパフォーマンスの低下と転移性の低下をもたらすことを示し、アライメント・テンションが表現の干渉問題であることを証明しました。
2. 目的指向ニューロンの特定: 著者らは、アライメントの目的に因果的に結びついた特定のニューロンを特定し、それらが対象となる目的には不可欠である一方で、対立する目的に対してはしばしば有害であることを示しました。
3. 共有表現の証拠: 本研究は、これらの目的を駆動するニューロンのほぼ半分が共有されていることを明らかにしました。この重複がボトルネックを生み出し、一方の目的を最適化することが本質的に他方の目的と衝突するため、混合目的モデルで見られるテンションを引き起こしています。

意義と主張

本論文は、マルチオブジェクティブ（多目的）アライメントが単なる行動的なトレードオフではなく、重なり合う内部回路から生じる表現の干渉問題であると主張しています。これらの知見は、現在の混合目的のトレーニング手法が、相反する目的を同じ共有表現に修正させることを強いるため、苦戦していることを示唆しています。

著者らは、このメカニスティックな理解が、将来の分離可能で制御可能なアライメント手法を開発するために極めて重要であると述べています。共有ニューロンが衝突の源であることを認識することで、将来の研究は、これらの表現を分離してアライメント・テンションを緩和するためのアーキテクチャやトレーニング戦略に焦点を当てることができます。本研究は、ブラックボックス的なRLHFトレーニングを超えて、より原理的で解釈可能な報酬モデリングへと進むための基礎的な一歩を提供します。

限界

著者らは、自身の分析がRLHFの報酬モデリング段階に限定されており、Direct Preference Optimization (DPO) のような方策最適化段階には拡張されていないことを指摘しています。また、計算上の制約によりパラメータ効率の高いファインチューニング（PEFT）の使用は行っておらず、本研究は新しいデータセットに見られる微細な区別ではなく、広範な定義の有用性と無害性に焦点を当てています。