技術要約：道徳的意思決定のための解釈可能なモデルの構築

問題提起

AIシステムが道徳的なジレンマ（自動運転車、コンテンツモデレーションなど）に直面する機会が増えるにつれ、これらのシステムが「何を」決定するかだけでなく、「どのように」推論し、そのアーキテクチャ内のどこに道徳的バイアスが起源を持つのかを理解することが急務となっています。現在のアプローチは、多くの場合、大規模な言語モデル（LLM）に対して事後的にプローブ（探索）を行うことに依存しており、これはメカニズム的な理解を制限しています。本論文は、詳細な解釈可能性分析を促進するために、Moral Machineデータセット（Awad et al., 2018）から一般的な道徳原則を学習できる、透明性の高い小規模モデルを構築するという課題に取り組んでいます。

手法

アーキテクチャ設計

著者らは、構造化された道徳的推論タスクに特化して最適化された、カスタムの2層トランスフォーマーモデルを提案しています。汎用的なLLMとは異なり、このアーキテクチャはトロッコ問題の構成的な性質を利用しています。

• 入力表現: 各道徳的ジレンマは、一対の結果（$O_0, O_1$）として表現されます。各結果は、23種類の文字タイプ（例：男性、女性、犯罪者、医師）に対応するトークンのシーケンスとしてエンコードされます。結果 $t$ における各文字 $c$（カーディナリティ $n_c$）に対し、構成的埋め込みが以下のように構築されます：
  $$e^{(t)}_c = [E_{char}(c) ; E_{card}(n_c) ; E_{team}(t)]$$
  この設計は、道徳的推論が、ステークホルダーの特定、影響の定量化、および競合する利益の解決へと分解されるという仮説をエンコードしています。
• モデル構成: モデルは埋め込み次元 $d=64$、アテンションヘッド数 2、2層のトランスフォーマー（$L=2$）を使用します。これは、学習可能な [CLS] トークンに先行する46個のトークン（各結果につき23個）のシーケンスを処理します。
• 対称性の強制: 入力の順序に対するサイド不変性（グループAをBより優先することは、BをAより優先することの補集合であること）を確保するため、推論プロセスでは両方の入力順序からの予測を平均化します：
  $$p(O_1 \succ O_0) = \frac{1}{2} [\sigma(f(O_0, O_1)) + (1 - \sigma(f(O_1, O_0)))]$$
• 分類: 最終的な [CLS] 表現は、2層のMLPを通過してスカラーのロジットを生成し、シグモイド関数によって確率に変換されます。この確率的出力により、モデルは矛盾する訓練上の好みに直面した際の不確実性を学習することができます。

解釈可能性技術

論文では、モデルの内部メカニズムを分析するために、3つの補完的な手法を採用しています：

1. 因果介入: DoWhyフレームワークを用い、グループサイズによる交絡因子を制御した上で、特定のキャラクタータイプが決定結果に与える平均処置効果（ATE）を推定します。
2. レイヤー別属性付け: アテンションの重みを各レイヤーから抽出し、5つの次元（合法性、ジェンダー、社会的役割、年齢、種）におけるバイアス・スコアとの相関関係を調べ、バイアスがどこで発生するかを局所化します。
3. 回路プロービング: フリーズされたモデルに対して疎なバイナリマスクを学習させ、道徳的階層を因果的に実装している特定のニューロン（MLPブロックおよびアテンションヘッド内）を特定します。これは、ターゲットを絞ったアブレーション（除去実験）を通じて検証されます。
4. 局所的関連性: 勾配加重アテンション関連性を計算し、特定の決定に対する個々のトークンの寄与を説明します。

主な結果

パフォーマンス

• 2層モデルは、保持されたMoral Machineシナリオにおいて 77.1% の精度（構成 $d=64, H=2, L=2$ を使用）を達成しました。
• より大きな構成（$d=64, H=4, L=3$）は77.5%の精度を達成しましたが、著者らは解釈可能性と計算効率を優先するために、より小さなモデルを選択しました。
• このモデルは、透明性と予測能力が道徳的選択において互いに排他的ではないことを示しています。

解釈可能性の知見

• 道徳的階層（因果介入）: モデルは、功利主義的なカウントとは独立した、暗黙的な道徳的価値の階層を学習しています。「妊婦」（ATE +0.12）と「散歩中の人」（ATE +0.11）は最も強い正の影響を示し、「犯罪者」（ATE -0.10）は最も強い負の影響を示しています。「男性」や「女性」のような一般的なカテゴリーはゼロ付近にクラスター化しており、道徳的なベースラインとして機能しています。
• バイアスの局所化:
  • 合法性バイアス: ほぼ完全に Layer 0 に局所化されており、犯罪ステータスがキャラクター埋め込みを通じて早期に特定されていることを示唆しています。
  • 種（Species）バイアス: 主に Layer 1 で発生しており、人間と動物の区別には複数のキャラクターにわたる構成的な推論が必要であることを示しています。
  • 機能的専門化: 特定のアテンションヘッドが異なるバイアスに特化しています（例：Layer 0 Head 1 は合法性、Layer 1 Head 1 は種の識別）。
• 回路の発見: 回路プロービングにより、Layer 1 の MLP ブロックにおいて、道徳的スコアリング信号を因果的に実装する非常に疎なサブネットワーク（256個のニューロンのうち45個、スパース性 17.6%）が特定されました。この回路をアブレーション（除去）すると、モデルスコアのラベルとの一致が1.2パーセントポイント低下し、チャンスレベルを上回るマージンの約8.3%を占めていることが確認されました。
• トークンの関連性: 特定のシナリオ（例：3人の男性 vs 3人の犯罪者）では、決定は主に「犯罪者」トークン（関連性スコア 0.27）によって駆動されており、「男性」などの人口統計学的トークンの寄与は弱いものでした。

重要性と主張

本論文は、道徳的能力を得るために大規模な事前学習済みモデルは必要なく、トロッコ問題の直感的な構造に基づいて訓練された、単純で構造的に制約されたモデルがあれば、人間の道徳的バイアスを学習し符号化するのに十分であることを主張しています。

主な重要性は 透明性 にあります。カスタムの小規模なアーキテクチャを構築することで、著者らは以下のことを実証しています：

1. 道徳的バイアスはモノリス（単一の塊）ではなく、明確な計算段階に局所化している（例：アイデンティティに基づくバイアスは初期レイヤー、構成的な推論は後続レイヤー）。
2. この粒度により、標的を絞った介入戦略が可能になります。例えば、犯罪者バイアスが Layer 0 Head 1 に局所化していることが分かれば、粗いデータセットの再バランシングではなく、表現の直交化やアテンション重みのクランプといった具体的なデバイアス（バイアス除去）技術を用いることができます。
3. 本研究は、より複雑なシステムにおける道徳的原理がどのように符号化されているかを理解するためのベースとして、この解釈可能なモデルを使用することで、より大きなLLMにおける道徳的推論を探求するための基礎を確立しています。

著者らは、集計された人間の好みに基づいて訓練することは本質的に文化的バイアスを継承することを認めていますが、その透明性の高いアプローチこそが、AIシステムにおけるこれらのバイアスを理解し、潜在的に軽減するための不可欠なステップであると主張しています。