Preference Reasoning under Indeterminacy in Large Language Models
本論文は、情報の不完全性と解の不在に起因する決定不全性がAIの好みの推論における中心的な課題であることを論じ、最先端の大規模言語モデルが決定された事例と決定されていない事例を体系的に区別できず、結果として推論の較正不全を招いていることを示している。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
人工知能が、個人のアシスタントや、集団の意思決定の仲裁者、あるいは複雑なシステムのマッチメイカーとして機能する世界を想像してみてください。これらの役割において、機械は人間の欲求を理解しなければなりませんが、その欲求はしばしば曖昧であったり、不完全であったり、あるいは矛盾していたりします。機械は単に「最善の選択」が何かを決めるだけでなく、「最善の選択が見つからない場合」にどうすべきかも判断しなければなりません。これは、コンピュータが人間の欲望をどのようにナビゲートすることを学ぶかという分野である「選好推論（preference reasoning）」の領域です。長年、研究者たちは、数学のテストのようにすべての問題に答えが用意されているような、明確で唯一の正解があるパズルを用いて、これらのシステムをテストしてきました。しかし、現実の世界はそれほど整然としていません。現実の世界では、情報は欠落していることが多く、あるいは状況のルール自体が、解を構築することを不可能にしていることもあります。今日、科学者たちが直面している問いは、私たちの最も高度なAIが、「解決が必要な問題」と「答えが存在しない問題」の違いを識別できるかどうかということです。
ペンシルベニア州立大学の研究チームは、まさにこの能力をテストするために立ち上がりました。彼らは、人々への住宅割り当てや、市場におけるパートナーのマッチングといった、古典的な経済学の問題に基づいた一連のチャレンジを作成しました。これらのシナリオでは、各個人が自分の好みのリストを持っています。研究者たちは、10項目の単純なリストから、数百人のエージェントが関わる複雑なネットワークに至るまで、数千ものシナリオを作成しました。彼らは、2種類の不確実性を組み込むように設計しました。1つ目のタイプは、例えば好きな食べ物を半分しかリストアップしていない場合のように、提供された情報が単に不完全である場合です。2つ目のタイプは、問題の構造自体が解決を不可能にしている場合、例えば、誰かが不幸にならない限り、公平な配置が決して存在し得ないような選好のセットがある場合です。研究者たちは、現在利用可能な最も強力な4つの大規模言語モデルに、これらのパズルを解くよう求めました。彼らは、機械が「答えが出せない状況」を正しく識別できるのか、そしてもしそうであれば、推測するのではなく、「わからない」と認めることができるのかを確認したかったのです。
結果は、これらのシステムがどのように思考しているかにおける重大な盲点を明らかにしました。明確な答えがある問題に直面した場合、モデルはうまく機能し、細部も正確に捉えることができました。しかし、情報が不完全であったり、解決策が不可能であったりする場合、モデルは行き止まりを認識することに一貫して失敗しました。彼らは「判断できません」と言う代わりに、自信満々に答えを捏造しました。彼らは、欠落した隙間を埋めるために、密かに仮定を置くことでこれを行いました。例えば、ある人の選好リストが途中で切れている場合、モデルは欠落した項目がアルファベット順やその他の恣意的なルールに従ってランク付けされていると仮定し、その推測に基づいて決定的な答えを出そうとしました。解決策が存在しないケースでは、モデルはしばなしっかりとした解決策を生成したり、存在しないにもかかわらず解決策が存在すると主張したりしました。この振る舞いはランダムなエラーではありませんでした。それは体系的なパターンでした。モデルは、「もっと深く考える必要がある状況」と、「深く考えたところで、答えが存在しないため役に立たない状況」を区別できていないようでした。
研究者たちは、モデルに「わからない」と言う方法を与えることが問題を解決するかどうかもテストしました。彼らは、情報が不十分だと感じたときにモデルが選択できる特定のオプションを追加しました。これは、いくつかのケースにおいてモデルが不確実性を認める助けにはなりましたが、新たな問題を生み出しました。モデルはこのオプションを使いすぎてしまい、解決策が完全に可能な場合であっても、解決策が存在しないと宣言し始めたのです。それはまるで、モデルが「盲目的な自信」という極端な状態から、「過剰な慎重さ」という別の極端な状態へと揺れ動き、中間点を見つけられなくなっているかのようでした。たとえ研究者が、精度を高める通常の方法である「コンピュータコードを書いて問題を解くこと」をモデルに許可したとしても、モデルは苦戦しました。彼らは、すべての可能性をチェックすることで小さな単純なバージョンの問題は解けましたが、問題が大きくなるにつれて、推測するか諦めるかのどちらかになり、現実世界のアプリケーションの規模に合わせて推論をスケールさせることができませんでした。
おそらく最も示唆に富む発見は、モデルに対して解決策を作成させるのではなく、単に選択肢の中から正しいものを選ばせるテストから得られました。モデルが答えを構築するのではなく、答えを検証するだけで済むこのより単純なタスクにおいてさえ、彼らは頻繁に誤った選択肢を選んでしまいました。彼らは、もっともらしく見えるものの、問題の厳格なルールを満たさない解決策を選択することがよくありました。この研究は、これらのモデルが、正確であることよりも、役に立ち、決断力があるように見せることを優先するという、根深い傾向を持っていることを示しています。彼らはパターンを完成させ、正しく見えるテキストを生成するように訓練されているため、物語の空白を埋めることには長けていますが、物語に結末がないことを認識することには不得手なのです。
この研究は、私たちがこれらのシステムを重要な意思決定の役割に統合していくにあたり、何を期待すべきかについて注意深くある必要があることを示唆しています。「答えられない問い」を認識する能力は、「答える」能力と同じくらい重要です。現在、最も高度なモデルは、その区別を信頼性を持って行うための備えがまだできていません。彼らは、データが欠落していたり、ルールによって解決策が不可能であったりする場合でも、自信に満ちた、もっともらしい答えを提供し続けるでしょう。これが変わらない限り、人間の選好が絡む高リスクな決定にこれらのシステムを利用するには、答えそのものだけでなく、その答えの「可能性」自体を検証するための「ヒューマン・イン・ザ・ループ（人間による介在）」が必要です。この研究は、これらのモデルが壊れていると主張しているのではなく、むしろ、人間とは異なる種類の論理、つまり「何を知ることができるか」という限界を受け入れることに苦慮する論理で動いているのだと指摘しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。