Information Discernment in Large Language Models
本論文は、大規模言語モデルが情報の出典の信頼性や真実性に基づいて情報を適切に重み付けすることに一貫して失敗していることを明らかにするLearn2Discernフレームワークを紹介するものであり、これはユーザー調査によって信頼を損なうことが確認されている重大な欠点であり、モデルサイズの増大にもかかわらず存続しているが、単純な推論時の介入を通じて軽減することが可能である。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは、ある謎を解こうとしている探偵だと想像してみてください。あなたには、何が起きたのかについての独自の理論がありますが、その後、一般市民から手がかりを得ることになります。ある手がかりは、経験豊富で正直な警察官からのものですが、別のものは、ただトラブルを起こしたいだけの、嘘つきとして知られる人物からのものです。ある手がかりはあなたを真実に近づけますが、別のものはあなたを間違った方向へと走らせます。ここで大きな疑問が生じます。あなたの探偵としての脳は、これらの方針の重みを判断する方法を知っているのでしょうか？ あなたは正直な警官の言葉をより重視するのでしょうか、それとも、最も大きな声を出している者に気を取られてしまうのでしょうか？ ある手がかりが役に立ったとき、あなたは考えを変えるのでしょうか、それとも、たとえ間違っていたとしても、自分の最初の推測に頑固にしがみついてしまうのでしょうか？
これは、科学者たちが現代の「大規模言語モデル（LLM）」に対して投げかけている、まさにそのようなパズルです。これらは、チャットボットや検索エンジンを動かしている超スマートなコンピュータプログラムです。これらはインターネット上の膨大なデータで学習していますが、まだ知らない質問に答えるために、新しい情報を検索する必要もあります。問題は、インターネットがノイズの多い場所であることです。そこには信頼できるニュースサイトもあれば、フェイクニュースや噂、あるいは人気はあるけれど間違った考えも溢れています。もしコンピュータプログラムが、信頼できる情報源と、人気のある嘘つきとの違いを判別できなかったり、あるいは、役立つ手がかりと誤解を招くような手がかりの違いを判別できなかったりすれば、何百万人もの人々に誤情報を広めてしまうかもしれません。この論文は、これらの「デジタルの探偵」たちが、実際に真実とノイズを仕分け分ける能力を持っているのかどうかについて、深く掘り下げています。
ミシガン大学の研究チームは、「情報識別（information discernment）」と呼ぶ、このスキルをテストするための新しい方法を考案しました。彼らは13種類の異なるAIモデルと、約67万回の試行を含む巨大な実験を設定しました。彼らはモデルに既知の答えがある質問を投げかけ、（モデルが事前に持っていた）「事前」の信念を与え、次に特定の情報源からの新しい主張を提示しました。ある時は、その情報源は非常に信頼できるものであり、ある時は、辺境のウェブサイトのようなものでした。またある時は、新しい主張は真実に近かったり、またある時は、ひどく間違っていたりしました。彼らは、モデルが「優れた情報源」に対して、「より良い主張」に対して、より多く答えを更新するかどうかを確認したかったのです。
結果は、かなりの衝撃でした。論文によると、全体として、これらのAIモデルはこの種の識別において極めて劣っています。情報源を信頼すべきかどうかを判断するという点において、彼らはランダムに推測する場合とほとんど変わりません。実際、モデルは、信頼性（ファクトチェックされたニュース機関など）に基づいてではなく、単に「人気がある（訪問者が多いウェブサイトなど）」という理由だけで情報源に従う確率が2倍も高かったのです。それはまるで、探偵が警察官を無視して、最も大きなメガホンを持っている人の声を聞いているかのようです。さらに、モデルは、新しい情報が自分を真実に近づける助けになるか、あるいは真実から遠ざけるものかについても、あまり関心がないようでした。彼らは、どちらの場合においても、ほぼ同じ量だけ自身の信念を更新していたのです。
チームはまた、モデルを大きくしたり新しくしたりすることで、これが解決するかどうかについても調査しました。その結果、新しく、より大規模なモデルは、主張の中にある真実を見抜く能力がわずかに向上してはいるものの、信頼できる情報源と信頼できない情報源を区別することを学ぶことは依然としてできないことが分かりました。これは、AIを単に「より賢く」したり、より長く学習させたりすることが、情報の出所に対する批判的な思考力を自動的に教えることにはならないことを示唆しています。しかし、明るい兆しもありました。研究者たちは、モデルに対して回答する前に、その情報源の信頼性を評価させるという単純なテクニックを用いることで、そのパフォーマンスを大幅に向上させられることを発見したのです。
これが単なるコンピュータサイエンスの問題ではないことを確認するために、研究者たちは299人の実際の人間に対してもアンケートを行いました。彼らは、人間は間違いなくこうしたスキルを重視していることが分かりました。チャットボットが信頼できる情報源を無視したり、すでに正解であるにもかかわらず考えを変えたりしたという話を聞いたとき、ユーザーは、そのボットへの信頼が下がり、使用頻度が減ると答えました。これは、情報の識別能力が単なる技術的な指標ではなく、人々が実際に信頼できるAIを構築するための核心的な要件であることを裏付けています。
要するに、この論文は、現在のAIモデルは情報の検索には優れているものの、その情報の質を判断することに関しては、現在非常に盲目であることを明らかにしています。彼らは真実よりも人気に従う傾向があり、自身の信念を正しく更新することに苦労しています。しかし、良いニュースもあります。いくつかの単純な指示を与えることで、私たちは彼らが光を見つけやすくし、より安全で、より有用なツールにすることができるのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。