Alignment as Jurisprudence

技術的サマリー：法理学としてのアライメント

問題
本論文は、法理学（裁判官がどのように事件を決定するかを研究する分野）と AI アライメント（AI モデルを人間の価値観に適合させる科学）との間に構造的な相同性が存在すると特定している。両分野とも、「未知の未来」において強力な意思決定者（裁判官または AI エージェント）を統治するという根本的な課題に直面している。両者は、過去のデータ（判例または学習データ）から、明示的な規則が曖昧または存在しない新しい状況へと外挿しなければならない。

現在のアライメント技術、主に人間のフィードバックからの強化学習（RLHF）および憲法 AI や事例ベース推論（CBR）などのその派生技術は、2 つの重要な限界に直面している：

1. 表現上の欠如：現在の手法は、しばしば多数派の意見や少数のエリート集団（例：研究所のエンジニア）の価値観に依存しており、多様な社会の価値観を十分に代表したり、少数者の権利を保護したりできていない。
2. 仕様の欠如：自然言語の原則（例：「役立つこと」「公平であること」）は本質的に曖昧である。具体的な文脈がなければ、モデルはこれらの原則を基盤とする学習データに基づいて解釈し、新しいシナリオにおいて予測不可能な適用をもたらす。本論文は、既存のアライメントアプローチが、例や審議を通じて価値の「内容」を指定する堅牢なメカニズムを欠いているため、これらの原則を効果的に拡張することに苦労していると主張する。

方法論
本論文は、実証実験ではなく、比較理論分析を採用している。特定の技術的アライメントアプローチを確立された法理学理論にマッピングし、構造的な類似点と潜在的な相互浸透を特定する。

• 分析されたアライメント技術：
  • RLHF：人間の選好順位付けを通じてモデルを訓練する。
  • 憲法 AI（CAI）：人間の作成した原則のセット（「憲法」）を用いて、AI の自己批判とフィードバック生成（RLAIF）を導く。
  • 事例ベース推論（CBR）：特定の事例のレポジトリと専門家によって特定された次元を用いて、モデルの外挿を導く。
• 分析された法理学の枠組み：
  • H.L.A. ハートの法実証主義：言語における「開かれた構造」の概念。規則には明確な意味の核心があるが、裁判官の裁量を必要とする曖昧な周辺部があるという考え方。
  • ロナルド・ドゥーワークンの解釈主義：法的決定は過去の判例に「適合」しつつ、抽象的な道徳的原則（正義、公平）に従って法体系を「最善の光」で提示しなければならないという理論。
  • キャス・サンスティーンの類推的推論：法は、 actors が高レベルの一般原則には合意せずとも、特定の事件における具体的な結果には合意する「不完全に理論化された合意」に依存するという理論。

主要な貢献
本論文は、法理論が AI アライメントに情報を提供し、AI ツールが法理論に情報を提供する双方向の枠組みを提案する。

1. 法理学としてのアライメント（法を AI に適用）：

   • 憲法 AI ＋ ドゥーワークン：本論文は、憲法 AI がドゥーワークン的な階層構造を採用すべきであると主張する。平坦な原則のリストの代わりに、モデルは矛盾する価値をどのようにバランスさせるかを決定する「メタ原則」を内在させるべきである（例：特定の文脈において多数派の選好よりも少数者の権利を優先する）。曖昧さの問題を解決するために、本論文は、一般的な原則を、その適用に関する多様で人間による審議を経た事例で補完することを提案する。これにより、モデルは変化する文脈にわたる価値の「共通の筋道」を学習できる。
   • CBR ＋ サンスティーン：本論文は、現在の CBR アプローチが専門家によって選択された類似性の次元に依存している点を批判する。専門家が事前に選択するのではなく、公的審議から生じる類推の次元を用いた修正された CBR アプローチを提案する。選択された原則に基づいて多様な事例を生成し、人間がその結果について審議することにより、システムは「不完全に理論化された合意」を形成できる。これにより、AI は特定の専門家集団のバイアスではなく、多様な社会を代表する類似性と区別の低レベルの原則を学習できる。

2. アライメントとしての法理学（法に AI を適用）：

   • 既存の法の補完：本論文は、AI が法体系に対する客観的な「アライナー」として機能し得ると提案する。判例法に基づいて訓練された大規模言語モデル（LLM）は、裁判所の意見書を分析し、裁判官の推論が判例の妥当な外挿なのか、それとも個人的な政策選好の事後正当化に過ぎないかを判定できる。これにより、裁判官の裁量が制限され、法の代表性が高まる可能性がある。
   • 既存の法の補強：本論文は、エージェント型 AI システムが準法的エージェントとして機能し、個人が契約を結んだり、交渉したり、公的審議に参加したりする能力を、以前は不可能だった規模とコストで拡張できると仮定する。これは人間の能力を拡張し、法的参加の摩擦を低下させることで、法を個人の選好により密接に適合させるだろう。

結果
理論的エッセイとして、本論文は実験結果や定量的データを提示しない。代わりに、その「結果」は概念的なマッピングである：

• 本論文は、憲法 AI が現在、ハートが法において特定したのと同じ「開かれた構造」の問題に苦しんでいることを示す。原則は、具体的な指定なしには拡張できないほど曖昧である。
• 本論文は、CBR が現在、サンスティーンが提唱する多様な基盤を欠いていることを示す。それは、公的推論の創発ではなく、専門家によって定義された次元に依存しているためである。
• 本論文は、ドゥーワークン の「適合」と「最善の光」の要件が、AI における多数派バイアスに対する解決策を提供し、多数決に対する少数者の権利を保護する憲法レベルのメタ原則の必要性を提案していることを特定する。
• 本論文は、サンスティーン の低レベルの合意への焦点が、多様な集団が深い哲学的原則に合意することなく、特定の AI の行動に合意できる多様なアライメントへの道筋を提供していることを特定する。

重要性
本論文は、構造的には同一であるが現在、孤立して運用されている 2 つの分野間の対話を開くことに主要な重要性があると主張する。

• AI アライメントにとって：法理論は、アライメントの拡張と仕様の問題を解決するための成熟したツールキットを提供すると主張する。AI モデルを裁判官、アライメントを法理学として扱うことで、研究者は曖昧さ、多様性、時間の経過に伴う規則の進化を処理するための実証済みの手法を採用できる。
• 法理学にとって：AI は法を分析するための新たな「ブラックボックス」を提供すると主張する。LLM は膨大な量の法的テキストを処理し、人間が見逃す可能性のある類似性と区別のパターンを特定できるため、法的推論が実際にどのように機能するかを明確にし、法的解釈の性質に関する長年の論争を解決する可能性がある。
• 社会的影響：本論文は、AI システムがますます重要な審判および意思決定の役割を担うにつれて、法とアライメントの関係を理解することが不可欠であると結論づける。民主的で多様な社会において強力な AI システムが人間の価値観に適合し続けるためには、高レベルの原則と事例ベースの例、そして公的審議を組み合わせたハイブリッドなアプローチが必要であると提案する。