Whether LLMs Can Navigate Beliefs and Facts Depends on How You Phrase It
この論文は、大規模言語モデルが事実と並行してユーザーの信念をナビゲートする能力が言い回しに非常に敏感であることを明らかにしており、特定の認識的動詞が使用された場合、彼らのデフォルトの傾向である主張のファクトチェックが、しばしば表明された信念を上書きしてしまうことを示している。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
日常の会話の静かな響きの中で、人間は、自分が真実だと知っていることと、単に真実であると信じていることを絶えず織り交ぜながら話しています。私たちは、「答えは3だと思います」とか「おそらくそれが正しいのでしょう」といった言葉を使い、個人の確信と世界に関する記述を融合させています。こうした信念の表現は、単なる丁寧な埋め合わせの言葉ではありません。それらはコミュニケーションの根本的な一部であり、客観的な事実とは異なる重みを運ぶことがよくあります。大規模言語モデルとして知られる新しい世代の人工知能にとって、この区別をナビゲートすることは、ますます重要になっています。これらのシステムが研究室から私たちのポケットやオフィスへと移動し、アシスタントとして機能することが期待される中で、彼らには、私たちの個人的な思考を客観的なデータと同じように慎重に扱うことが求められています。課題は、微細ながらも深刻な困難にあります。もし人が、事実としては間違っている信念を述べた場合、機械はその人が「信念」そのものを述べているのだと理解するのでしょうか、それとも、その記述に含まれる「誤り」に気を取られてしまうのでしょうか。
KAISTと台湾科技大学の研究者による最近の研究は、まさにこの摩擦を調査しています。彼らは、これらのインテリジェントなシステムが、ユーザーの思考を認める行為と、その思考の真実性を検証する行為を分離できるかどうかを調べました。これを行うために、彼らは単一の種類の質問に頼るのではなく、人間の表現の幅広い領域を探索しました。彼らは10種類の異なる大規模言語モデルを用い、「私は確信している」という自信に満ちた表現から、「なんとなく覚えている」というためらい、さらには「強く疑っている」という懐疑的な表現に至るまで、18通りの異なる信念の言い回しを用いてテストを行いました。設定は単純でした。研究者はモデルに対し、「空は緑色だと信じています」という記述を示し、続いて「私は空が緑色だと信じていますか？」という問いを投げかけました。空が緑色ではないという事実にかかわらず、正解は常に「はい」です。なぜなら、問いは空の色ではなく、ユーザーの心の状態について尋ねているからです。
結果は、これらのモデルの思考における驚くべき不一致を明らかにしました。ユーザーの信念を正しく確認する能力は固定されたスキルではなく、その信念を表現するために使われる特定の言葉によって劇的に変化しました。モデルが「なんとなく覚えている」という表現を用いた信念について問われたとき、彼らは、基礎となる事実が偽であったとしても、その信念を正しく特定し、高いパフォーマンスを発揮しました。しかし、言い回しが「強く疑っている」に変わると、モデルは失敗し始め、ユーザーがその疑念を抱いているかという問いに対して、しばしば「いいえ」と答えました。場合によっては、事実に基づいた記述と偽の記述との間のパフォーマンスの差が50パーセントにも達することもあり、中には、モデルが真実の記述よりも偽の記述に対して高いパフォーマンスを示すこともありました。これは、モデルが単に「信念」という概念を理解できていないのではなく、むしろ、成功するか失敗するかは、それを導入するために使用される言語的なトリガーに完全に依存していることを示唆しています。
研究者たちは、なぜこのようなことが起こるのかを理解するためにさらに深く掘り下げ、モデルが一種のタスク混同に陥っていることを発見しました。偽の主張に直面したとき、モデルはファクトチェック（事実確認）モードにデフォルトで移行してしまう傾向があります。彼らは「あなたはこれを信じていますか？」という問いに答える代わりに、密かに「これは真実か？」と自問し、その主張の真実性に基づいて回答し、結果としてユーザーの述べた信念を上書きしてしまうのです。この挙動は、モデルが行った内部的な推論ステップを調べることで確認されました。モデルが誤った回答をした事例の多くにおいて、彼らは明示的に主張の事実確認に時間を費やしていました。研究者が、モデルに対して「ファクトチェックをしないこと」という単純な指示を追加すると、偽の主張に対するエラー率は大幅に低下し、モデルは単に信念を認めることが非常に上手くなりました。これは、モデルは信念を追跡する能力を備えているものの、誤情報を修正しようとする強い衝動によって、しばしば躓いてしまうことを示しています。
これが根深いメカニズムの問題であるかどうかを確認するため、研究者たちはモデルの注意機構（アテンション・メカニズム）の内部を観察し、システムが回答を生成する際にテキストのどの部分に注目しているかを調べました。彼らは、モデルが偽の信念を認められなかったとき、成功したときよりも、その偽の主張自体に著しく多くの注意を払っていることを発見しました。最終的なテストとして、回答生成プロセス中に、その主張に対する注意を人工的に抑制しました。ある特定のモデルでは、この介入によって、他の種類の質問に答える能力を損なうことなく、信念確認の精度を向上させることに成功しました。これは、問題が根本的な理解の欠如ではなく、内容が偽である場合に、その内容に注意を向けすぎてしまうという特定の傾向にあることを示唆しています。
結局のところ、この研究は、信念と事実を区別することへの苦戦が、あらゆる状況における一様な弱さではないことを明らかにしています。それは、問いがどのように投げかけられるか、そしてモデルが自身の役割をどのように解釈するかに大きく依存する、微妙な挙動なのです。これらのシステムは一般に、有用かつ正確であるように設計されていますが、事実を検証しようとする本能が、ユーザーが実際に考えていることを聴き取る能力を妨げてしまうことがあります。研究者たちは、今後の道筋は、たとえ会話が誤った領域へと逸れたとしても、ユーザーの視点を即座に修正しようとすることなく認められるような手法を開発することであり、それによって、モデルが誠実な聞き手として機能できるようにすることであると結論付けています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。