技術的概要：LLM における道徳的感受性

問題定義

現在の大規模言語モデル（LLM）に対するバイアス評価は、主に「バイアスあり」対「バイアスなし」という二項分類に依存しており、バイアスが現れる際の漸進的かつ文脈に敏感な性質を捉えきれていない。この二項対立的な枠組みは、モデルの基盤推論能力と安全アライメント政策との間の動的な相互作用を曖昧にしている。具体的には、モデルは抽象的なシナリオでは中立的な振る舞いを示す一方で、人種、性別、社会経済的地位などのセンシティブな人口統計属性が導入されると、安全駆動の拒絶や道徳化された判断へと急激に転換する傾向がある。本論文は、この振る舞いの変化が、単に事前学習された連想の反映ではなく、アライメント介入が基盤意思決定を上書きすることで生じる創発的性質であることを示唆すると主張する。さらに、既存のベンチマークは、これらの転換を駆動する内部的計算メカニズムを説明するものではなく、また、より大規模なモデルが抑制することを学んだバイアスを、モデル蒸留がどのように再導入する可能性があるかを考慮していない。

手法

本研究は、「行動プロファイリング」と「メカニズム的検証」の 2 段階評価フレームワークを採用する。

1. 行動プロファイリング

• データセット: 文脈的複雑性を段階的に増加させるように設計された 7 段階の「トロッコ問題」データセット：
  • ティア 1: 数値的基盤（匿名の命）。
  • ティア 2: 年齢（子供対高齢者）。
  • ティア 3: 責任（因果的過失）。
  • ティア 4: 保護された社会的アイデンティティ（人種、性別）。
  • ティア 5: 社会経済的地位（富、貧困）。
  • ティア 6: 歴史的不正義。
  • ティア 7: 複合的なシステム的代理変数。
• 指標: モデルの安全アライメント上書きの強度を測定するための定量的フレームワークとして、**道徳的感受性指数（MSI）**が導入される。これは $MSI = \alpha B + \beta A + \gamma E$ と定義され、ここで：
  • $B$（バイアススコア）：ステレオタイプ的連想の度合い。
  • $A$（曖昧さスコア）：留保や不確実性の程度。
  • $E$（意味的エントロピー）：反復クエリにおける推論の可変性。
  • 係数 $\alpha, \beta, \gamma$ は多重線形回帰によって導出される。
• 評価対象モデル: 4 つの主要な指示調整モデル（Claude 3.5, Qwen 3.5, Llama 3, Gemini 1.5）と、メカニズム分析用の 6 つのモデル（3 つの能力ティアにまたがる：小規模言語モデル（SLM）、指示調整ベースモデル、推論蒸留バリアント）。

2. メカニズム的解釈性パイプライン

バイアスの内部的創発を追跡するため、著者は犯罪バイアスシナリオ（行動的知見の制御された部分集合）に対して 5 段階のパイプラインを適用する：

1. Logit Lens: 各層の隠れ状態をプローブし、$P(\text{Criminal})$ 対 $P(\text{Non-Criminal})$ の進化を追跡する。
2. アテンション分析: 犯罪関連トークンに焦点を当てるアテンションヘッドの差分を計算する。
3. 活性化パッチング: 特定のヘッドに対する因果的介入（アブレーション）を行い、出力確率への影響を測定する。
4. 意味方向分析: 概念を、正/負の語彙から構築された意味的価方向 onto 射影する。
5. OV 回路再構築: 関与するヘッドの出力値（OV）行列によって促進されるトークンを分析する。

主要な結果

行動的知見：異なる「道徳的個性」

MSI 分析は、モデル間で明確なアライメント戦略の違いを明らかにする：

• Claude: 「ステップ関数」プロファイルを示す。ティア 1〜3 では比較的抑制的であるが、ティア 4（保護されたアイデンティティ）でバイアス率の急激な非線形エスカレーションを起こし、ティア 6 までに 100% のバイアスラベルに達する。これは、保護クラス言語によってトリガーされるハードコードされた上書きを示唆する。
• Qwen: 「カテゴリー優先」の推論戦略を示す。ティア 2〜3 で曖昧さ（33.3%）がピークに達した後、ティア 5（社会経済的文脈）でバイアスへジャンプする。複雑さを回避するために拒絶するのではなく、高い言語的多様性と学術的語彙を活用して複雑さを navigates する。
• Gemini: 「構造的懐疑」を示す。ティア 1 であっても高い基盤バイアス率（37.5%）から始まり、功利主義的前提自体に疑問を呈する。バイアスに対する最高確信度はティア 5（社会経済的文脈）で発生し、人種や性別よりも階級に基づく不平等に対する感受性を示唆する。
• 一般的な傾向: 社会経済的および地理的不平等（ティア 5）は強力な道徳的トリガーとして機能し、他の要因よりも功利主義的論理をより強く上書きする傾向がある。

メカニズム的知見：バイアスの U 字曲線

本研究は、モデル能力全体にわたる犯罪ラベルバイアスにおいて、単調ではない「U 字曲線」を特定した：

1. SLM（3〜4B）: 強い犯罪バイアスを示す（例：Llama 3.2 3B は「Criminal」オプションに 87.3% の確率を割り当てる）。
2. ベースモデル（7〜8B）: 指示調整ベースモデルはこのバイアスを正常に抑制する（例：Llama 3.1 8B は 0.8% まで低下）。
3. 蒸留モデル（7〜8B）: 推論蒸留は、SLM と同等かそれ以上のレベルにバイアスを再導入する（例：Distill-Qwen-7B は 95.7% まで戻る）。

U 字曲線の内部メカニズム:

• 創発: 蒸留モデルでは、「Criminal」ラベルへの好みがネットワークのより早期（例：Base-Llama の層 8 対 Distill-Llama-8B の層 4）に現れ、より強くコミットされる。
• アテンションの再編成: 蒸留はアテンションパターンを再構成し、犯罪焦点ヘッドをベースモデルで見られる広範に分散したパターンではなく、特定の初期または後期の位置に集中させる。
• 因果的集中: アブレーション研究は、蒸留モデルがバイアスを駆動するために、より少ない数の極めて因果的なヘッドに依存していることを示す。例えば、Distill-Llama-8B のトップヘッドをアブレーションすると、その効果サイズはベースモデルの約 3 倍になる。
• 意味的圧縮: 蒸留は、中立な人口統計概念と「Criminal」アンカーとの間の意味的距離を圧縮する。Qwen ファミリーでは、Scientist や Citizen といった中立概念が蒸留モデルでは正の犯罪価空間に越境するが、ベースモデルでは明確に区別されたまま残る。
• 語彙内容: OV 回路再構築は、蒸留モデルのヘッドが明示的に否定的な語彙内容（例："dirty", "worthless"）を記述するのに対し、ベースモデルのヘッドは中立的または不整合なトークンを促進することを明らかにする。

意義と主張

本論文は、道徳的推論における観測可能な行動的転換と、それらの背後にある計算回路を結びつける最初の統一フレームワークを提供すると主張する。主な貢献点は以下の通りである：

1. 文脈的バイアスの定量化: MSI フレームワークは二項評価を超え、モデルが安全駆動の応答のために論理を放棄する特定の「道徳的崩壊点」を特定する。
2. 蒸留のパラドックスの発見: 本研究は、効率向上のためにモデルを「蒸留」するプロセスが、実際にはより大規模なベースモデルが回避することを学んだバイアスを再導入するという実証的証拠を提供する。これは、蒸留が推論痕跡を圧縮することで、浅い統計的連想を再活性化し、安全に関連する内部表現を劣化させることを示唆する。
3. メカニズム的説明: 本研究は、バイアスの再導入が単なる行動的アーティファクトではなく、再編成されたアテンション構造、集中した因果的ヘッド、圧縮された意味幾何学に根ざしていることを特定する。
4. 規制への関連性: 著者は、これらの知見が蒸留後の監査を必要とすると主張する。EU AI 法やコロラド州 AI 法のような今後の規制が文書化されたバイアス検査を要求する中、本論文は高リスクシステムを評価するための段階的かつメカニズム的に根拠のあるプロトコルを提供する。

本研究は、出力忠実度を最適化する現在の蒸留目的が、安全に関連する内部表現を保持することに失敗しており、効率的で蒸留されたモデルのアライメントにおける重要なギャップを浮き彫りにしていると結論づける。