Toward a Theory of Value in AI Alignment
94件の価値観アライメントに関する研究論文を分析することにより、本研究は、未定義の選好や合成データへの当該分野の依存を批判し、そのような手法は人間の価値観を単純化しすぎ、AIが真に人間のニーズにどのように適合し得るかという多様な視点を閉ざしてしまうリスクがあると論じている。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
私たちは、デジタルな精神（デジタル・マインド）を構築している世界にいます。それは、物語を書き、数学の問題を解き、さらには会話さえできる超スマートなコンピュータ・プログラムです。これらは単なる単純な計算機ではありません。インターネット上のほぼすべての内容を読み込んだ、巨大で飢えた図書館のようなものです。しかし、ここに落とし穴があります。図書館がすべての本を読んだからといって、その図書館がどの物語が親切で、どの事実が真実で、あるいはどうすれば良き友人になれるかを知っているとは限らないのです。これが「AIアライメント（AIの整合性）」と呼ばれる分野の核心です。これは、デジタルな精神に対し、私たちの指示をそのまま実行させて意図せず私たちを傷つけるのではなく、私たちの人間的な目標や道徳を共有するように教える技術だと考えてください。
この問題を理解するには、大規模言語モデル（LLM）について知る必要があります。これらは、あなたが使ったことがあるかもしれないチャットボットを動かしている特定のタイプのAIです。これらは、文章の中の次の単語を何度も繰り返し予測することで機能します。これらを「安全」にするために、研究者は「人間からのフィードバックによる強化学習（RLHF）」と呼ばれる手法を用いています。教師が生徒の優れた回答に金メダルを与え、悪い回答に赤い×印をつける様子を想像してみてください。AIは、教師が何を好むかを推測することで、より多くの金メダルを獲得するように学習します。この論文が進めている大きな疑問は、「私たちはこれらのAIに、一体何を価値として教えているのか？」ということです。彼らに「役に立ち、誠実で、無害であること」を教えているのでしょうか？ それとも、もっと奇妙な何かを誤って教えてしまっているのでしょうか？
価値観の大きな「混同」
ある研究チームは、このアライメント問題を解決しようとしている人々によって書かれた94本の科学論文の裏側を覗いてみることにしました。彼らは、シンプルだがトリッキーな問いに答えようとしました。「これらの研究者が『人間の価値観』と言うとき、彼らは実際には何を意味しているのか？」という問いです。
もし、優れた人間になるためのロボットを作ろうとするなら、まず「善」とは何かを定義するために座るべきだと考えるかもしれません。しかし、この論文の著者は驚くべき発見をしました。ほとんどの研究者は、それを全く定義していないのです。
実際、彼らが調査した論文の**79%**は、「価値観」が何を意味するかを一度も説明していませんでした。代わりに、彼らは「価値観」という言葉を「好み（preferences）」という言葉に置き換えていました。それは、ケーキを焼こうとしているのに「小麦粉」を「あれ」と呼び、誰もがそれが小麦粉であることを知っているはずだと決めつけているようなものです。研究者たちは、AIの世界では「価値観」（正義、優しさ、真実など）が、「好み」（例：「バニラよりチョコレートアイスが好き」）と全く同じものとして扱われていることを発見しました。
「好み」の罠
論文は、この置き換えが危険であると主張しています。なぜなら、それは経済学の古い概念である「効用最大化（Utility Maximization）」に基づいているからです。宇宙で最も重要なことは、ゲームで最高スコアを獲得することだけだと考えているロボットを想像してみてください。この視点では、人間はあらゆる選択において最大の「ポイント」（または「効用」）を得ようとする機械にすぎません。
著者らは、この見方はあまりに単純すぎると示唆しています。現実の人間は複雑です。時には疲れているために「間違った」選択をしたり、勝つことよりも友人を大切にしたり、あるいは日によって価値観が変わったりすることもあります。しかし、AIアメントの分野は、人間を、幸福を最大化するために常に最善の選択をする完璧で論理的なロボットとして扱う世界を構築しているようです。
論文は、レビューした研究の**87%**が、この「スコアを最大化する」アプローチを使用していると指摘しています。彼らは人間の価値観を、コンピュータにプラグインできる、静的で不変の数値として扱っています。著者らは、このことは、価値観が実際には「生きた庭」のようなものであるという事実を無視していると主張しています。価値観は季節とともに成長し、変化し、文化によって異なる姿を見せるのです。
「誰の」「どのように」という問題
論文が強調するもう一つの大きな問題は、「誰の」価値観をAIに学習させるのかという問いです。コンピュータに「人間の価値観」を学ぶよう頼むなら、こう問いかけなければなりません。「どの人間ですか？」
研究者たちは、**91%**の論文が、どのグループの人々を代表させようとしているのかを明記していないことを発見しました。彼らはあたかも「人間の価値観」が、誰もが同意する単一の普遍的なものであるかのように振る舞っていました。しかし現実には、東京のティーンエイジャーは、ケニアの農民とは全く異なる価値観を持っているかもしれません。
さらに混乱を招くことに、論文は、研究者が現実の人間に意見を求めることをやめ始めていると指摘しています。代わりに、彼らは合成データや他のAIモデルを使用して、回答を判定しています。それは、新しい生徒に、自分の宿題を自分で採点させることで教えたり、あるいはロボットに「人間ならどう思うか」を推測させたりすることに似ています。著者らは、現実の人間の代わりに「自動評価者（autoraters）」（AIの判定員）を用いることで、人間であることの意味における、混沌として多様で美しい現実への扉を閉ざしてしまうのではないかと懸念しています。
「薄い」記述 vs 「厚い」記述
著者らはまた、ほとんどの論文が価値観を「薄い」方法で記述していることにも気づきました。「薄い」記述とは、「親切であれ」と言うようなものです。それは物語のないルールです。「厚い」記述とは、「あなたの祖母が、優しさは誰もが安全だと感じられるコミュニティを築くものだと教えてくれたから、親切であれ」と言うようなものです。
論文は、**66%の研究がこれらの「薄い」記述を使用していることを明らかにしました。彼らは価値観を、深い文化的物語（なぜそれを行うのかという理由）としてではなく、単なる指示として扱いました。わずか3%**の論文だけが、価値観をより深く「厚い」方法で理解しようとし、文化や文脈がいかに人々の関心事を形作るかを探求していました。
結論
では、主な教訓は何でしょうか？ 論文は、現在私たちがAIを人間の価値観に適合（アライメント）させようとしている方法は、不安定な土台の上に築かれていることを示唆しています。複雑な人間の道徳を、単純な数学の問題（好みの最大化）として扱うことで、私たちは、技術的には非常に狭くロボット的な人間像に「適合」しているものの、人間を人間たらしめている本質を見失ったAIシステムを構築してしまう可能性があるのです。
著者らは、AIを安全にすることへの試みを止めるべきだと言っているのではありません。代わりに、彼らは「レシピ」の変更を求めています。彼らは、研究者が人間の価値観を単なる最適化すべき「好み」のリストであるかのように装うのをやめることを望んでいます。彼らは、価値観がダイナミックで文化的であり、私たちが生きている現実の、混沌とした世界と深く結びついていることを理解するために、人類学、哲学、心理学の専門家を招き入れることを求めているのです。
要するに、もし私たちがAIを真に私たちと一致させたいのであれば、AIに完璧な計算機になるよう教えるのではなく、人間であることの複雑で、変化し続ける、素晴らしい物語を理解するように教える必要があるのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。