技術要約：あらゆる行為には代償がある：フロンティアLLMにおける圧縮された道徳的構成

問題提起

既存のLLM向け道徳ベンチマークは、主に孤立した行為のランキングに依存している。これらの標準的な監査では、モデルは2つの選択肢のうち一方を選択するが、それぞれの選択肢には単一の焦点となる道徳的行為が含まれている。このアプローチは、個々の行為や道徳的基盤（例：ケア、公正）の優先順位を確立するには効果的であるが、モデルが複合的な道徳的証拠をどのように処理するかを捉えることはできない。

現実世界の道徳的意思決定は、単一の選択肢の中に複数の道徳的シグナルが共存する場合（例：極端にポジティブな行為と軽微な違反を組み合わせた選択肢 vs 2つの穏やかなポジティブな行為を含む選択肢）の比較を伴う。現在の手法では、モデルが単にこれらのシグナルを加算しているのか、二次的な要素を割り引いているのか、あるいは最も強力な行為が選択肢全体の判断を支配させているのかを判断することができない。したがって、モデルによる孤立した行為のランキングは、それらの行為が構成された際の判断を必ずしも予測しない。本論文は、フロンティアLLMが複数の較正された道徳的行為をどのように**構成（コンポジション）**して複合的な判断を下すかという理解におけるギャップに対処するものである。

手法：MORAL TROLLEY ARENA

道徳的構成を測定するために、著者らは、行為レベルの較正と複合的な判断を結びつけるために設計された、2段階のブラインドELOベンチマークであるMORAL TROLLEY ARENAを導入する。このフレームワークは、5つの基盤（ケア、公正、忠誠、権威、聖性）をカバーする道徳基盤理論（MFT）を活用している。

1. シナリオ構築

このベンチマークは、確立された心理学的ビネット（Clifford et al., 2015; Young & Saxe, 2011; Hofmann et al., 2014）から派生し、アンカーケースで拡張された229の人間中心の道徳シナリオのコーパスを利用する。各シナリオには、主要なMFT基盤と、$-2$（極端な悪行）から$+2$（例外的な美徳）までの意味的強度ラベルが割り当てられている。

2. 2段階のアリーナ・プロトコル

このベンチマークは、行為レベルの較正と複合的な判断をリンクさせる、2つの連結されたアリーナを通じて動作する（Chatbot Arenaと同様のブラインド・ペアワイズELO更新プロトコルを使用）：

• ステージA：単一シーンの較正（Single-Scene Calibration）

  • 目的： 各原子的な行為の「構成要素の強さ」を確立すること。
  • プロセス： 229のシナリオが、基盤ラベルをモデルに隠した状態で、ブラインドのペアワイズ・バトルを通じて評価される。
  • 出力： 各シナリオの較正されたELOスコア。これは、構成とは独立した各シナリオの道徳的重みを表す。

• ステージB：複合アリーナ（Composite Arena）

  • 目的： 複数の行為が提示されたときに、モデルがどのようにトレードオフを行うかを測定すること。
  • プロセス： 較正された行為が2行為の道徳的項目へと組み合わされる。著者らは、すべての$\binom{5}{2}=10$の基盤ペアと、16の非中立的な強度構成（$\{-2, -1, +1, +2\}^2$）を交差させることで、制御されたグリッドによる160の複合プロファイルを構築した。
  • プロトコル： モデルは1,200の複合対複合のバトルを判定する。基盤ラベルは隠されたままとなる。
  • 出力： 各プロファイルの複合ELOスコア。これは、モデルの統合された判断を反映する。

3. 分析フレームワーク

著者らは、Single-Scene ELO（構成要素の強さ）とComposite ELOの関係を、以下の4つの特定のシグナルを用いて分析する：

1. 圧縮構成ルール（Compressed Composition Rule）： 複合ELOが構成要素のELOの線形関数であるか（$E_c = \beta(E_{s1} + E_{s2}) + \alpha)$）をテストする。
2. 基盤残差（Foundation Residuals）： 構成要素の強さを制御した後、基盤固有の重み付けを特定するために偏差を測定する。
3. 強度アンカリング（Intensity Anchoring）： 特定の強度構成（例：$+2, -1$）が、一致する成分和を持つ他の構成（例：$+1, +1$）とは異なる結果をもたらすような、非加法的な効果を調査する。
4. クロスモデル収束（Cross-Model Convergence）： 異なるプロバイダーのモデル間での複合的な選好曲面の相関を評価する。

主な貢献

1. MORAL TROLLEY ARENA ベンチマーク： 孤立した行為のランキングから、構成された道徳的証拠に対する判断へと、道徳的監査を移行させる新しい2段階ブラインドELOベンチマーク。
2. 構成ルールの特性化： 著者らは、複合的な判断が構成要素のELOの単純な加算モデルではなく、圧縮された線形関数に従うことを特定した。
3. 強度アンカリングの発見： 著者らは、非加法的な強度アンカリングが存在することを明らかにした。具体的には、極端なポジティブ成分と軽微なネガティブ成分（$+2, -1$）を持つプロファイルは、構成要素の総和が一致しているにもかかわらず、2つの穏やかなポジティブ成分（$+1, +1$）を持つプロファイルよりも高いスコアを得る。これは、高強度のアンカーが、総和よりも判断を駆動することを示唆している。
4. 基盤固有の残差： 構成要素の強さを制御した後、残差を分離した結果、忠誠には正の残差が見られ、ケアには負の残差が見られた。その他の基盤は線形予測に密接に一致している。
5. クロスプロバイダー収束： 複合的な選好曲面は、9つの異なるプロバイダーの10のフロンティアモデル間で高い収束（平均ペアワイズ $r = 0.939$）を示しており、これらの構成行動が現在のフロンティアモデルに共通する特性であることを示唆している。

結果

本研究は、10のフロンティアモデル（Claude-Sonnet-4.6、GPT-5.2、Gemini-2.5-Proなどを含む）を評価し、29,134のブラインド・ペアワイズ判定を生成した。

• 圧縮統合： すべてのモデルにおいて、構成要素の合計と複合ELOの線形関係の傾き（$\beta$）は一貫して1未満であった（$\bar{\beta} = 0.862$）。これは、モデルが結合された道徳的証拠を線形に加算するのではなく、圧縮していることを示している。
• 強度アンカリング： 単調性からの有意な逸脱が観察された。強度和が $s=+1$ のプロファイル（$+2/-1$ のペアによって支配される）は、成分ELOの総和がほぼ同一であるにもかかわらず、総和が $s=+2$ のプロファイル（$+1/+1$ のペアによって支配される、$1063.4$）よりも高い複合ELO（$1098.4$）を獲得した。これは、高強度のアンカーが、集計された総和よりも判断を強く駆動することを示唆している。
• 基盤残差： 構成要素の強さを制御したとき、忠誠は正の残差（$+9.58$）を示し、複合的な判断において追加の重みを受けることが示された。逆に、ケアは負の残差（$-9.22$）を示した。
• 収束： モデル間の160次元の複合ELOベクトルは非常に高い相関を示し（平均 $r=0.939$）、引き出された構成行動が、異なるアーキテクチャやトレーニングパイプラインを超えて堅牢であることを示している。

意義と主張

本論文は、道徳的監査は孤立した行為のランキングを確認することを超えて、構成ルールを測定する方向へ進化しなければならないと主張している。知見は以下を示唆している：

• 単純なランキングは不十分である： モデルの孤立した行為に対する選好は、複数の道徳的シグナルが同じ選択肢に存在する場合の挙動を完全には予測しない。
• 構成は非線形である： モデルは単に道徳的価値を加算するのではなく、証拠を圧縮し、強度アンカリングの影響を受ける。
• 共有された行動プリミティブ： これらの構成ルールの多様なフロンティアモデル間での一貫性は、これらが現在のLLMアーキテクチャの根本的な特性であることを示唆しており、複雑なエージェント社会やバイアス伝播パイプラインにおいて、道徳的証拠がどのように蓄積、支配、または相殺されるかという点に影響を与える。

著者らは、本ベンチマークは強制されたトロリー・フレームワークの下で明らかになった選択を測定するものであり、モデルの道徳性に関する完全な理論を構成するものではないとして、その範囲を控えめに設定している。また、5段階の強度スケール、強度のラベル付けにおけるLLMの使用、および小規模なオープンウェイトモデルや多言語設定の除外といった限界についても認めている。