When Context Misleads: Intent-Guided Decoding for Robust Retrieval-Augmented Generation

大規模言語モデルは、学習中に記憶した膨大な情報に依拠することで、物語を書いたり、質問に答えたり、問題を解決したりできる強力なツールです。しかし、これらのモデルは完璧ではありません。時として事実を忘れたり、もっともらしく聞こえるが間違っている詳細を捏造したりすることがあります。これを修正するために、研究者たちは「検索拡張生成（retrieval-augmented generation）」と呼ばれる手法を開発しました。このアプローチは、モデルにとっての「司書」のように機能します。質問が投げかけられると、システムはまず外部ドキュメントのデータベースを検索して関連する証拠を見つけ出し、その証拠を質問とともにモデルに提供します。期待されているのは、モデルがこの新鮮な情報を用いて、より正確な回答を提供することです。しかし、このシステムには隠れた欠陥があります。見つけ出したドキュメントが、誤解を招くものだったり、時代遅れであったり、あるいは意図的に虚偽であったりする場合があるのです。もしモデルがこれらのドキュメントを盲信してしまうと、その誤りを繰り返してしまいます。逆に、もしモデルがドキュメントを完全に無視してしまうと、有益な情報を見逃したり、提供されたテキストから特定の詳細を必要とする質問に答えられなくなったりする可能性があります。核心となる課題は、外部の証拠をいつ信頼し、いつモデル自身の内部知識に頼るべきかを知ることです。

シドニー大学の研究チームは、「インテント・ガイディッド・デコーディング（Intent-Guided Decoding：意図誘導型デコーディング）」と呼ばれる、このジレンマを解決するための新しい方法を提案しました。モデルに常にドキュメントを信頼させるわけでも、常に無視させるわけでもなく、彼らのシステムは、戦略を決定するためにユーザーの明示的な指示に依拠します。ある状況では、ユーザーは特定のレポートを読んでおり、たとえそのレポートに間違いが含まれていても、そのレポートに書かれていることに厳密に従ってモデルが回答することを望むかもしれません。また別の状況では、ユーザーは一般的なファクトチェックの質問をしており、真実のために誤解を招くドキュメントを無視することを望むかもしれません。研究者たちは、これらの具体的な指示に適応するフレームワークを構築しました。これは、モデルに3つの異なる潜在的な回答を同時に生成させることで機能します。一つはユーザーの元の質問に基づくもの、一つは提供されたドキュメントに厳密に従ったもの、そしてもう一つはモデル自身の内部メモリのみに基づいたものです。システムは、これら3つの思考の流れを比較します。もしドキュメントと内部メモリが一致しない場合、システムはどちらの経路に従うかを判断するためにユーザーの指示を確認します。もしユーザーがテキストへの厳密な遵守を明示的に求めていれば、システムはドキュメントの方へ傾きます。もしユーザーが真実を明示的に求めていれば、システムは内部メモリの方へ傾き、効果的に誤解を招く情報をフィルタリングします。

研究者たちは、幅広い質問とさまざまな種類の言語モデルを用いてこのアプローチをテストしました。彼らは、提供されたドキュメントが正しいシナリオと、意図的に間違っているシナリオの両方を作成しました。ドキュメントが誤解を招く内容であった場合、テキストを盲目的に従う標準的なシステムはしばしば誤った回答を出しました。しかし、新しいシステムは、この衝突を認識して内部知識へと切り替え、多くの事例で正しい回答を復元することができました。誤解を招くドキュメントを用いたベンチマークにおいて、この新手法は標準的なアプローチと比較して、回答の正確性を最大65.4パーセントポイント向上させました。極めて重要なのは、この改善が有益な情報を無視するという犠牲の上に成り立っていないことです。ユーザーが提供されたテキストに従うよう明示的に求めた場合、システムはテキストが正しいときでも正確にそれを実行し続けました。このことは、システムが「ソース資料に忠実であること」と「ソース資料が信頼できないときに事実的に正確であること」という、二つの相反するニーズをうまくバランスさせていることを示唆しています。

また、研究では、単にモデルに対して「注意深くあれ」や「事実を確認せよ」と伝えるだけでは、悪いドキュメントによる誤導を止めるには不十分であることも明らかになりました。研究者たちは、ユーザーの意図に対して証拠を評価するための特定のメカニズムが備わっていない限り、モデルは自らを修正できないことが多いことを発見しました。彼らの手法は、モデルを再学習させたり情報の検索方法を変更したりする必要はなく、代わりに、回答を生成する最終ステップにおけるスマートなフィルターとして機能します。モデルが持つ異なる潜在的な回答に対する自信度を分析し、ドキュメントの信頼性に基づいてその影響力を調整することで、システムは微細な調整を行うことができます。例えば、内部メモリの自信が非常に高く、ドキュメントが不安定な場合、システムは回答を真実の方へと緩やかに導きます。もしドキュメントが強力で、かつユーザーがそれに従うことを望んでいるなら、システムはドキュメントに回答を導かせます。この微細なアプローチにより、モデルは「正しい答えが何に依存するか」という複雑な状況に対処できるようになります。

結局のところ、この研究は、言語モデルと外部知識との関係が、単なる信頼か不信かという単純な問題ではないことを浮き彫りにしています。それは、会話の文脈に依存する動的な交渉なのです。研究者たちは、モデルにユーザーの意図を認識させることで、信頼性と柔軟性を兼ね備えたシステムを作ることが可能であることを示しました。これは将来、これらのツールが、テキストへの忠実さが最優先される厳格な法的文書の分析から、誤情報の回避が優先される一般的な知識へのクエリに至るまで、より有用なものになることを意味しています。これらの知見は、人工知能の未来が、単にモデルをより賢くすることだけでなく、いつ聞き入れ、いつ自らの声で語るべきかを理解させる能力を高めることにあることを示唆しています。