🤖 AI

Bounded Morality: Defining the Space of Moral Computation

本論文は、道徳的広がりと深さの間のトレードオフによって制約された実行可能な計算空間を定義することによって、限定合理性を道徳的認知へと拡張する形式的枠組みである「限定的道徳性（Bounded Morality）」を導入し、それによって倫理理論を絶対的な真理としてではなく、有限なエージェントにとっての局所的に効率的な戦略として再定義するものである。

原著者： Max Kanwal, Caryn Tran, Patrick Mineault

公開日 2026-07-02

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Max Kanwal, Caryn Tran, Patrick Mineault

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、巨大で複雑なパズルを解こうとしているところだと想像してください。あなたは限られた時間、手に持てるパズルのピースの数、そしてそれらがどのように組み合わさるかを理解するための限られた精神的エネルギーを持っています。

この論文**「限定された道徳性（Bounded Morality）」は、道徳的な決定を下すことは、まさにそのパズルを解くことと同じであると示唆しています。それは、私たち（そして私たちが作るAI）は単に「善い」あるいは「悪い」思考家なのではなく、リソースが限られている「有限の思考者」**であると論じています。これらの制限があるために、私たちは世界の見方や選択の形を決めるトレードオフを行わなければなりません。

以下に、核心となるアイデアをシンプルな概念と比喩を用いて分解して説明します。

1. 道徳的思考における2つのツマミ

著者らによれば、あらゆる道徳的決定には2つの異なる「ツマミ」を回すプロセスが伴いますが、あなたの「バッテリー」（脳の力やコンピュータの計算能力）には限りがあるため、両方を最大まで同時に回すことはできません。

ツマミA：道徳的広がり（視界はどれほど広いか？）
- 比喩： カメラのレンズを通して風景を見ているところを想像してください。**「広がり（Breadth）」**とは、レンズがいかに広いかということです。家族だけにズームしますか？それとも、近所全体、国全体、あるいは将来の世代まで視野を広げますか？
- コスト： レンズが広ければ広いほど、追跡すべき「ものごと」が増えます。地球上のすべての人々をケアしようとすれば、何百万もの名前や状況を記憶しなければなりません。これには膨大なメモリが必要です。
ツマミB：道徳的深さ（思考はどれほど深いか？）
- 比喩： チェスのゲームをしているところを想像してください。**「深さ（Depth）」**とは、どれくらい先の指し手を計算できるかということです。今行っている一手だけを見ますか？それとも、相手がどう反応するか、そしてその反応によって盤面がどう変わるかまで、次の10手先をシミュレーションできますか？
- コスト： 深く考えれば考えるほど、精神的なエネルギーを消費します。10手先をシミュレートすることは、現在の一手を見るよりもはるかに困難です。

2. 「ハサミ」のトレードオフ

この論文は、有名な心理学者ハーバート・サイモンが、人間の行動は一対のハサミによって形作られると述べたことを引用しています。片方の刃は**「タスク（道徳的問題）」であり、もう片方の刃はあなたの「能力（脳の力）」**です。

論文は、リソースが限られているため、私たちは**「広がり」と「深さ」**のどちらかを選ばなければならないと論じています。両方を最大レベルにすることはできません。

もしすべての人をケアしようとすれば（高い広がり）、通常は単純で素早い思考を用いなければなりません（低い深さ）。例えば、「すべての人を平等に扱う」といった具合です。これでは、そのルールの複雑な波及効果まで考えることはありません。
もし特定の状況について非常に深く考えようとすれば（高い深さ）、通常は小さなグループに焦に焦点を絞ることになります（低い広がり）。例えば、自分の家族にとっての完璧な結果を導き出すために何時間も費やす一方で、世界の他の部分は無視してしまうかもしれません。

3. なぜ異なる倫理理論が存在するのか

「なぜ人々は倫理についてこれほど議論するのか？なぜ功利主義、義務論、徳倫理学などが存在するのか？」と思うかもしれません。

この論文は、これらは単に異なる「真実」が戦っているのではなく、限られたエネルギーの中でゲームをプレイするための異なる戦略であると示唆しています。

**功利主義（Utilitarianism）は、「広がり」**のツマミを最大限に回す戦略のようなものです。あらゆる人の幸福を数えようとします。しかし、非常に多くの人を数えなければならないため、ペースを維持するためにしばしば単純な計算（低い深さ）を用います。
**義務論（Deontology/規則遵守）**は、「すべてを計算することはできないので、厳格なルールに従う」という戦略です。これは、圧倒されるのを防ぐために探索範囲を制限します。中規模の問題に対して効率的です。
**徳倫理学（Virtue Ethics）は、計算自体を止めてしまう戦略です。それは「筋肉の記憶」や習慣に頼ります。「深さ」のツマミをゼロ（複雑な計算なし）にし、「広がり」**のツマミを「今、正しいと感じること」だけに絞ります。これは即座の行動において迅速かつ効率的です。
**ケアの倫理（Care Ethics）**は、小さな、密接な人間関係の輪に焦点を当てますが（低い広がり）、それらの人々の間の具体的なつながりについては深く考えます（高い深さ）。

大きな洞察： これらの理論は、必ずしも「正しい」あるいは「間違っている」わけではありません。それらは、リソースが不足している状況で道徳的なパズルを解くための効率的な方法なのです。

4. なぜ意見が食い違うのか（同意している場合でも）

論文は、二人の人間が全く同じ価値観（例：「人々を助けたい」）を持っていても、それでも意見が分かれることがあると説明しています。

比喩： 同じ山の頂上を目指そうとしている二人のハイカーを想像してください。一人は重いバックパック（限られたリソース）を背負い、広い地図を持っています。もう一人は軽いバックパックですが、狭い地図を持っています。
彼らは異なる経路を通るかもしれません。一人は広く浅いルート（広い範囲をカバーするが詳細は逃してしまう）で行くかもしれませんし、もう一人は深く狭いルート（特定の尾根を慎重に登っていく）で行くかもしれません。
彼らは目的地について争っているのではなく、限られたエネルギーをどのように配分するかについて争っているのです。

5. これがAIにとって意味すること

この論文は、AIを「道徳的」にしようとする際、単に人間の判断を模倣しようとするべきではないと示唆しています。人間は限定的ですが、私たちのAIはもっと大きな力を持っている可能性があります。

「人間ならどうするか？」と問うのではなく、**「AIの膨大な計算能力をどのように配分すべきか？」**と問うべきなのです。

AIは、10億人の人々を見渡しつつ、一歩先しか考えないようにすべきでしょうか？
それとも、少数のグループを見つめ、千歩先まで考えるようにすべきでしょうか？

論文は、「道徳的進歩」とは単一の完璧なルールブックを見つけることではないと論じています。それは、リソースを管理することに習熟していくことです。進歩とは、限られた時間と脳の力をより効率的に使い、より「完璧な」答えに近づく方法を学ぶこと、あるいはテクノロジーによってリソースが増え、両方のツマミ（広がりと深さ）を同時に高く回せるようになることなのです。

まとめ

**「限定された道徳性（Bounded Morality）」**とは、道徳であることは予算が限られた数学の問題であるという考え方です。私たちは、世界のどれほど広い範囲を見るか（広がり）と、それについてどれほど深く考えるか（深さ）の選択を迫られます。異なる倫理理論は、その予算をどのように使うかという異なる方法に過ぎません。これを理解することは、道徳的な対立が、必ずしもどちらかが悪であることの兆候ではなく、単に限られた精神的エネルギーを管理する異なる方法であることを理解する助けとなります。

技術要約：限定された道徳性（Bounded Morality）

問題提起

人工システムにおける道徳を定式化するための伝統的なアプローチは、通常、確立された倫理理論（功利主義や義務論など）を静的なルールや価値関数としてエンコードする。この戦略は、道徳的な不一致を「正しい理論の選択」の問題として扱うが、道徳的推論が実際にどのように行われるのか、それが認知能力とともにどのようにスケールするのか、あるいはなぜ異なる理論が文化を超えて存続するのかという点については、十分に説明できていない。限定された合理性の研究は、人間の判断が計算上の制約下での適応的なトレードオフを反映していることを示してきたが、「需要側」の道徳的推論については未だ詳細が特定されていない。具体的には、どの特徴が、有限の主体にとってトレードオフを必要とする情報的および計算的な負担を課すのかという点である。

本論文は、道徳的問題の需要構造を特徴付ける際の空白を埋めるものである。本稿では、道徳的な状況が、有限の主体にとって道徳的推論の計算負荷をどのように系統的に増大、あるいは減少させるのかを問う。

方法論

著者らは、道徳的推論を「状況的な要求下における制約付き推論」としてモデル化する**限定された道徳性（Bounded Morality）**という形式的フレームワークを提案する。その手法は以下の3つの段階で進められる。

1. 需要空間の定義

本フレームワークは、道徳的状況の計算的要求を定義する、2つの直交する次元を特定する。

道徳的広がり（Moral Breadth）： 道徳的表現の範囲。これは、どの実体、グループ、時間軸、または抽象概念が道徳的に関連するものとして扱われるか（例：外集団、非人間動物、あるいは将来世代を含むかどうか）を捉える。
道徳的深さ（Moral Depth）： 推論の複雑性。これは、実体とその相互作用がいかに豊かに、再帰的に、かつ整合的に表現され、推論されるか（例：反事実的推論、多段階の熟議、あるいは複数の視点の統合）を捉える。

発達心理学、神経科学、および社会選択理論からの経験的証拠を用いて、これらの次元が分離可能でありながら、有限の認知資源によって共同に制約されていることを示す。

2. 形式的モデリング

著者らは、道徳的推論をグラフ上の制御された動的システムとして定式化する。

道徳的相互作用グラフ ( $G^*$ )： ノードが道徳的に関連する実体を表し、エッジが直接的な影響関係を表すグラフ。
真の価値（Ground-Truth Value）： 無限の軌道にわたる厚生の割引和として定義される。ここで、厚生はノードおよびエッジのポテンシャルに基づくグラフ構造の関数である。
限定された近似（Bounded Approximation）： 有限の主体は真の値を計算できない。代わりに、以下の手法を用いる。
- 抽象化 ( $G$ )： 集約写像 $\pi_V$ を通じた $G^*$ の粗い粒度の投影。これにより、個別の実体と相互作用の数を削減する（広がり）。
- 打ち切りられたホライゾン ( $H$ )： 明示的に評価されるダイナミクスのステップ数（ロールアウトの深さ）を指定する（深さ）。
コストモデル： 総計算コストを $Cost(b, H) = \alpha b + \beta b H^p$ とする標準的なコストモデルを導入する。これにより、逆スケーリング則が確立される。すなわち、固定された予算 $B$ の下では、表現の広がり ( $b$ ) を増やすことは、達成可能な深さ ( $H$ ) を厳密に減少させ、その逆もまた然りである。

3. 戦略と後悔（Regret）

道徳的戦略： 世界の状態とリソース予算を、特定の $(G, H)$ のペアにマッピングする割り当て規則 $\rho$ と定義される。
道徳的後悔（Moral Regret）： 最適な介入による真の道徳的価値と、限定された戦略によって達成された価値との差。
道徳的進歩： 単一の独自の道徳的真理への収束としてではなく、固定されたリソース予算内での期待後悔の減少（より良い割り当て）、あるいは技術的・制度的な変化による実現可能なフロンティアの拡張として定義される。

主な貢献

1. 広がりと深さのトレードオフ

本論文は、道徳的計算のパレート・フロンティアを確立する。有限の主体にとって、道徳的関心の範囲（広がり）を拡大することは、必然的に推論の深さを制約し、推論を深めることは範囲を狭める必要があることを示す。倫理理論は、競合する道徳的真理の説明としてではなく、リソース需要のレジームに従ってパレート・フロンティア上の異なる領域に適応した、局所的に効率的な戦略として再解釈される。

2. 倫理理論の再解釈

本フレームワークは、標準的な倫理理論を「広がり」と「深さ」の空間における特定の領域へとマッピングする。

行為功利主義： 高い広がり、中程度の深さ。多くのステークホルダーを単純な加算的な集約によって優先的に表現することを重視する。
義務論： 中程度の広がり、中程度の深さ。探索空間を刈り取るためのハードな制約に依存するため、実現可能性を維持するために限定されたスコープを必要とする。
契約主義： 低い広がり、高い深さ。少数のステークホルダーに焦点を当てるが、深い熟議や最悪の異議分析に対して多大なリソースを割り当てる。
徳倫理学： 最小限の広がり、ゼロの深さ。オンラインのロールアウトを排除するため、計算を学習された性質（アモルタイズされた推論）へとオフラインに移行させる。
ケアの倫理： 局所的な広がり、中程度の深さ。グローバルな列挙ではなく、ローカルな近傍における密な関係構造に焦点を当てる。

3. 道徳的不一致と進歩の定式化

不一致： 本フレームワークは、同じ価値観を共有するエージェント間であっても、道徳的な不一致が生じ得ることを示唆する。不一致は、根本的な価値の対立ではなく、限られたリソースの異なる割り当て（パレート・フロンティア上の異なる点）を反映している可能性がある。
進歩： 道徳的進歩は、（i）固定された制約内でリソース割り当てを改善することによる後悔の減少、または（ii）利用可能な容量を増大させる文化的・技術的な進歩を通じて実現可能なフロンティアを拡張すること、のいずれかとして再定義される。

4. AIアライメントへの示唆

本論文は、AIアライメントは（それ自体が限定的で最適ではない可能性のある）人間の判断を模倣することだけに焦点を当てるべきではないと主張する。代わりに、アライメントは、道徳的推論能力が表現および計算リソースに応じてスケールするように設計することに焦点を当てるべきである。目標は、特定の出力としての人間をコピーすることではなく、リソースと道徳的能力の間のスケーリング関係を複製することである。

結果と主張

本論文は、新しい実験データや特定のAIシステムの経験的検証を提示するものではない。代わりに、その「結果」は理論的な導出である。

逆スケーリング則： 固定された予算の下で、深さが広がりに対して反比例する（ $H \leq C b^{-1/p}$ ）ことを示す数学的導出。
後悔の最小化： 特定のリソース制約を与えられた、無制限の理想に対する期待後悔の最小化としての道徳的進歩の定義。
戦略の分類： 広がり、深さ、および集約に関する構造的なコミットメントに基づいた、倫理理論の概念的なマッピング。

重要性

本論文は、倫理学、心理学、およびAIを橋渡しする記述的な統一的説明を提供すると主張している。その重要性は以下の点にある。

道徳的失敗の再構成： 道徳的な欠陥（例：硬直性、遠方のステークホルダーの軽視）の説明を、欠陥のある価値観や不合理性から、限られた計算リソースへの合理的な割り当てへと転換する。
非相対主義的な不一致： 道徳的多元主義を必要としない、道徳的不一致の構造的な説明を提供する。エージェントは、共通の価値観を持ちながら、パレート・フロンティア上の異なる地点で動作することによって不一致を生じ得る。
倫理への計算的レンズ： 倫理と心理学の知見を統合するための最小限の計算的レンズを提供し、道徳理論を、有限のエージェントが直面するトレードオフを管理するための戦略として扱う。
AIの診断ツール： なぜ人工システムにおいて道徳的に有能な行動が崩壊するのかを分析するための技術的な語彙を提供し、アライメントの失敗が、目的の誤りではなく、道徳的計算とコンテキストの間のミスマッチに起因する可能性を示唆する。

著者らは、本フレームワークは特定の道徳的価値や倫理理論を支持するものではないことを明言している。むしろ、時間、情報、および計算能力を超えた状況的要求に直面する、あらゆる有限の道徳的エージェント（人間および人工物）が直面しなければならない運用の制約を研究するものである。