A dataset of rated conceptual arguments
本論文は、大規模言語モデルが個々の議論を評価する能力を評価するために、概念的な問い（AIの安全性や倫理など）に関する442のポジションテキストに対する951件の専門家による評価付き批判のデータセットを紹介し、これらのタスクにおける性能が一般的なモデルの能力ランキングと相関していることを見出した。
原論文は CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) のもとパブリックドメインに提供されています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
ロボットに哲学を教える方法を想像してみてください。数学やコーディングなら、簡単に教えることができます。なぜなら、それらの主題には明確な「解答集」があるからです。もしロボットが「2+2=5」と言えば、それが間違いであることはすぐに分かります。しかし、問いが「自由意志は実在するか？」や「人々を公平に扱う最善の方法とは何か？」であったらどうなるでしょうか。これらには解答集が存在しません。正解（グラウンド・トゥルース）を知る者は誰もおらず、専門家たちの間でも永遠に意見が食い違い続けるのです。これは、人工知能が次なる大きな一歩を踏み出そうとしている、科学における非常にトリッキーな領域です。
通常、コンピュータを学習させるには、正解と不正解を示す必要があります。しかし、答えが曖昧な場合、どのようにコンピュータを採点すればよいのでしょうか。「正しい結論に達したか？」と問うことはできません。なぜなら、何が正しい結論であるかさえ誰も分かっていないからです。そこで本論文は、巧妙な回避策を提案しています。それは、最終的な「答え」を採点するのをやめ、そこに至るまでの「議論のプロセス」を採点することです。これはディベート大会のようなものだと考えてください。人生の意味について誰が「正しい」のかは分からなくても、ある討論者がもう一方の討論者よりも、より明快で、論理的で、かつ核心を突いた論点を展開した、ということについては合意できるはずです。この論文は、私たちはまだ大きな哲学的な謎を解くことはできないものの、不確実性の霧の中でも、優れた推論と拙劣な推論を見分ける方法をAIに教えることは可能である、という考えに基づいています。
これこそが、研究者たちが成し遂げようとしたことです。彼らは、人間の専門家が審判を務めた951件の「評価済み」ディベートからなる、膨大な新しいデータセット（デジタル・ライブラリ）を作成しました。彼らは単に「どちらが勝ったか？」と尋ねたのではありません。その代わりに、あらゆる議論を具体的な要素へと分解したのです。その論点は主題に対してどれほど中心的であったか？ 攻撃の強さはどうだったか？ 批判は明快だったか、それとも混乱を招くものだったか？ 虚偽の事実が含まれていなかったか？ そして、彼らはこのデータセットを用いて、現代のAIモデルが「審判」としての役割をどの程度果たせるかをテストしました。
結果は、朗報と現実を突きつける結果が混ざり合ったものでした。研究によれば、よりスマートで強力なAIモデルほど、哲学的な議論の優れた審判になる傾向があることが分かりました。「ヘビー級」のAIは、「ライト級」のAIよりも、弱い議論を見抜く能力に長けています。これは、AIが汎用的な思考能力を高めるにつれ、自然と、曖昧で概念的な議論における推論の質を見極める能力も向上することを示唆しています。
しかし、驚くべき展開がありました。研究者たちは、現代のAIにおける人気のある機能である、回答する前にステップ・バイ・ステップで問題を思考する「思考（reasoning）」プロセスをテストしました。AIに考えるための時間を与えれば、より優れた審判になると予想されるかもしれません。しかし、驚いたことに、この「思考」モードはあまり効果がないことが判明しました。わずかに助けになることもあれば、わずかに悪化することもありましたが、平均するとその差は無視できる程度でした。著者らは、この理由として、現在の「思考型」モデルが主に数学やコーディングといった白黒はっきりした答えのある分野で訓練されているためではないかと示唆しています。彼らは、その余分な思考時間を、哲学や倫理のようなグレーゾーンのために使う方法をまだ十分に学習できていないのです。
要約すると、この論文は、唯一の正解が存在しない場合でも、AIに「より良く議論する方法」を教えるためのデータセットを構築できることを証明しています。また、AIがこれらのディベートを判定する能力を得つつある一方で、単に「もっと深く考えろ」と命じるだけでは、私たちが期待していたような魔法のボタンにはならないことも示しています。哲学におけるより優れたAIの推論への道は、単なる処理能力の向上ではなく、全く異なる種類のトレーニングを必要としているのかもしれません。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。