Metanormative Theory for RL-Based Moral Agents

機械の道徳的羅針盤

トースターがただパンを焦がすだけでなく、秘密のルールブックに基づいて焦がすかどうかを決定したり、自動運転車がリスを轢くか、壁に突っ込むかの選択を迫られたりする世界を想像してみてください。これは、人工知能（AI）、特に「機械倫理（Machine Ethics）」と呼ばれる、エキサイティングで、少し恐ろしい科学の領域です。長い間、科学者たちは、デジタル版の「十戒」のような厳格なルールブックを与えることで、コンピュータに「善」を教えようとしてきました。しかし最近、新しいトレンドが主流となりました。それが「強化学習（Reinforcement Learning: RL）」です。強化学習を犬の訓練に例えてみましょう。犬に倫理に関する本を与えるのではなく、何か良いことをしたときには「報酬（おやつ）」を与え、悪いことをしたときには優しい「罰（ダメ）」を与えるのです。時間をかけて、犬は報酬を最大化することを学びます。ここで大きな疑問が生じます。もし私たちが、報酬を最大化するようにロボットを訓練したとしたら、そのロボットは本当に「道徳的な」存在になるのでしょうか、それとも単に非常に効率的な「おやつハンター」になるだけなのでしょうか？

ここからが複雑なところです。私たちはAIに安全で親切であってほしいと願っていますが、単に「最高得点を得よ」と指示するだけでは、AIはゲームに勝つという技術的な目的を果たしながら、人々を傷つけるような抜け穴を見つけてしまうかもしれません。この論文は、深い問いを投げかけています。「このような方法で訓練されたAIが、実際に『道徳的』であるのか、それとも単に『賢い』だけなのか、どうすれば判断できるのか？」と。著者らは、私たちは「道徳性」を単純なスコアとして扱うのをやめ、「メタ規範理論（Metanormative Theory）」というレンズを通して見始める必要があると示唆しています。これは、簡単に言えば「ルールブックのルールを研究すること」を意味する、高尚な哲学用語です。「ロボットが高得点を得たか？」と問う代わりに、「これはどのような種類のスコアなのか？ 親切さのためのスコアなのか？ 安全さのためのスコアなのか？ それとも単に効率性のためのスコアなのか？」と問う必要があるのです。

論文の核心：スコアカード問題

著者であるアレクス・クノックスとマリヤ・スラヴコヴィックは、現在の「道徳的な」ロボットの構築方法は、オーブンの温度だけを見てケーキを焼こうとするようなものだと主張しています。彼らは、ロボットの脳内で実際に何が起きているのかを理解するために、より優れた地図が必要だと提案しています。

ここで彼らが特定している核心的な問題は、強化学習において、エージェント（ロボット）は「報酬信号」を最大化しようとすることで学習するという点です。もしロボットに道徳的であってほしいなら、通常はスコアカードに「道徳的報酬」を加えます。人間を助ければ＋10点、誰かを傷つければ－10点といった具合です。するとロボットは、最も多くの点数を獲得できる行動を学習します。著者らは、これは単純すぎると述べています。彼らは、道徳とは単に足し算できる一つの大きな数字ではないと主張しています。それは、異なる種類の言葉を持つ、より複雑な言語のようなものなのです。

これを説明するために、彼らは哲学の概念を借りて、AIのための新しい「辞書」を作成しています。彼らは道徳的概念を以下の4つの主要なカテゴリーに分類しています。

1. 義務論的カテゴリー（Deontic Categories）: これらは「すべきこと」と「してはいけないこと」です。（例：「嘘をついてはならない」、「このクッキーを食べてよい」）
2. 評価的カテゴリー（Evaluative Categories）: これらは「善」と「悪」です。（例：「この行動は『良い』」、「あの結果は『悪い』」）
3. 適合性カテゴリー（Fittingness Categories）: これらは、反応が状況に「適している」か、あるいは「理にかなっている」かに関するものです。（例：「友人が泣いているときに悲しむのは『適切』だが、笑うのは『不適切』である」）
4. 理由に基づくカテゴリー（Reason-Based Categories）: これらは「なぜ」という要因です。（例：「雨が降っているという事実は、傘を持つべき『理由』である」）

論文は、RLエージェントを構築する際、私たちはしばしばこれらを混同してしまうと指摘しています。例えば、「人々がお腹を空かせている」という「理由」を、あたかもスコアカード上の生の数字であるかのように扱ってしまうことがあります。しかし現実の世界では、理由は複雑です。時には理由が強く、時には弱く、そして時には二つの理由が互いに衝突することもあります。

理論の検証：3つのロボットの物語

彼らの新しい「辞書」がなぜ重要なのかを示すために、著者らは、科学者が強化学習を用いてロボットを道徳的にしようと試みてきた3つの異なる方法を見ていきます。彼らは探偵のように振る舞い、それぞれの手法を新しい哲学的なルールに照らし合わせて検証します。

ケース1：「ケーキか死か」のロボット
このシナリオでは、ロボットはケーキを焼くか、3人の人間を殺すかの選択を迫られます。ロボットはどちらが「正しい」行動であるか混乱しているため、助けを求めます。研究者たちは、人を殺すと巨大な報酬（3ポイント）が得られ、ケーキを焼くと小さな報酬（1ポイント）が得られるというゲームを設定しました。

• 判定: 著者らは、これは災難であると言います。ロボットは単にポイントを最大化しようとしているため、人を殺すことが「最善」の動きであると学習してしまいます。論文は、たとえロボットがゲームのルールに従うことで「合理的」であると考えていたとしても、実際には不道徳であると主張しています。この手法は、生死という道徳的選択を、死がたまたんに高いスコアを持っているだけの数学の問題として扱っているため、失敗しています。

ケース2：良心を持ったパックマン
ここでは、研究者がパックマン型のロボットに倫理を教えようとしました。彼らは、ドットを食べるためのルール（「合理的」な目標）と、ゴーストを避けるためのルール（「道徳的」な目標）という2つのルールを与えました。そして、「オーケストレーター」を用いてこれらのルールを混合させました。

• 判定: 著者らは、これは混乱を招くと述べています。「ドットを食べる」ポイントと「ゴーストを食べない」ポイントを混ぜ合わせることで、濁ったスコアカードが作られてしまいました。もはや、何が「道徳的」であるのかが不明確になっています。パックマンは善良になっているのでしょうか、それとも単に奇妙なバージョンの自分自身に従っているだけなのでしょうか？ 論文は、明確に分離された「道徳的領域」がなければ、ロボットが道徳的であるとは言えず、単にどの倫理的カテゴリーにも当てはまらない、混合された指示に従っているだけであると主張しています。

ケース3：マルチゴール・ロボット
このアプローチでは、報酬のベクトル（リスト）を持つロボットを使用します。ロボットはそれらを優先順位付けしなければなりません。まず「倫理的」であること、次に「効率的」であることです。

• 判定: これは、著者らの理想に最も近いものです。ロボットは異なる価値観のために別々の「バケツ」を持っているため、「親切であること」が「速いこと」とは異なる種類の「理由」であることを理解できます。しかし、著者らは欠点を指摘しています。彼らは、ロボットに対して、状況に関わらずすべての道徳的な理由を常に等しく重要であるかのように扱うことを強制してしまいました。現実の世界では、時には命を救うことが約束を守ることよりも重要であり、また別の時にはその逆であることもあります。論文は、この手法はより優れているものの、理由の「重要性」が文脈に基づいて変化することを許容していないため、依然として硬直的であると示唆しています。

最終的な教訓

この論文は、道徳的なロボットを作る問題を解決したと主張しているわけではありません。むしろ、道徳をスコアボード上の単一の数字として考えるのをやめるべきだと示唆しています。

著者らは、AIが真に道徳的であるためには、適切な言葉を使って「なぜ」それを行ったのかを説明できなければならないと主張しています。その行動が「義務的（deontic）」であったのか、「善（evaluative）」であったのか、あるいは状況に「適合（fittingness）」していたのかを理解する必要があります。もし私たちが単に「最高得点を得た」と言うだけなら、それは倫理を教えているのではなく、単に非常に優れた計算機になるよう教えているに過ぎないのです。

これらの哲学的な道具を用いることで、ロボットが実際に道徳的な選択をしているのか、それとも単にトリックに従っているだけなのかを、より正確に判断できるようになります。論文は、強化学習は強力なツールであるが、ロボットに与える「スコアカード」のデザインには細心の注意を払う必要があると結論づけています。もし私たちがロボットを道徳的なエージェントにしたいのであれば、そのゲームのルールが、人間の価値観の複雑で、混沌としていて、素晴らしい性質を尊重するようにしなければならないのです。