Parametric Knowledge is Not All You Need: Toward Honest Large Language Models via Retrieval of Pretraining Data
本論文は、事前学習データを考慮した堅牢な評価ベンチマークを提案し、その事前学習データの検索を通じてモデルの誠実性を高める新しい手法を導入することで、LLMのハルシネーションの問題に対処するものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
「LLM」という、非常に優秀だが自信過剰な学生を想像してみてください。彼はトレーニング中に数十億冊の本を読みました。彼は質問に答えることには長けていますが、大きな欠点があります。それは、「自分が何を知らないのか」を知らないことです。見たこともないトピックについて尋ねられると、彼は「それは聞いたことがありません」と言う代わりに、自信満々に作り話をしてしまいます。AIの世界では、これを**ハルシネーション（幻覚）**と呼びます。
あなたが共有した論文は、AIを信頼できるものにするためには、「私はこれを知っている」と「私はこれを知らない」の違いを教える必要があると主張しています。ここでは、簡単な比喩を用いて、彼らの解決策を解説します。
問題点：「ブラックボックス」の盲点
通常、研究者がAIの誠実さをテストしようとする際、AIをブラックボックスとして扱います。質問を投げかけ、AIが何を答えるかを見ますが、AIが事実を学ぶためにどの本を読んだのかまでは正確に分かりません。
- 欠陥： もしAIが質問に対して間違った答えを出した場合、研究者はAIが「答えを知らない」のだと判断します。しかし、実際にはAIはその答えを学習用の本の中で読んでいたのかもしれません。ただ、忘れてしまったか、混乱してしまっただけなのです。
- 結果： 以前のテストは、AIが嘘をついている（ハルシケーションを起こしている）のか、それとも単に調子が悪いだけ（忘却している）なのかを区別できなかったため、不公平なものでした。
解決策：「オープンブック」のアプローチ
著者たちは、Pythiaと呼ばれる特別なオープンソースAIモデルを使用しました。この最大の利点は何でしょうか？ このAIが読んだ本すべてのライブラリを、私たちが手元に持っていることです。
- 比喩： この学生が勉強したすべての本のリストを、具体的に渡している場面を想像してください。今度は、質問をしたときに、実際にライブラリをチェックして、「この学生はこの質問の答えを読んだだろうか？」と確認することができます。
- 新しいベンチマーク： 彼らは新しいテスト（TIP-TRIVIAQAと呼ばれます）を作成しました。そこでは、AIが「知っているはず」の質問（答えが学習用の本の中に含まれているもの）と、「知らないはず」の質問（答えが本の中にどこにも存在しないもの）を明確に区別しています。これにより、誠実さを測定するための公平な土俵が作られました。
手法：「司書」システム（RETAIN）
AIの誠実さを改善するために、著者たちは単に「正直になりなさい」と教えたのではありません。彼らは、スマートな司書のように機能するRETAINという3部構成のシステムを構築しました。
リトリーバー（検索者）：
質問を受けると、このエージェントは即座にAIの「ライブラリ」（事前学習データ）の中へと入り、答えを探しに行きます。これは、司書が棚から本を引き出し、そこに答えがあるかどうかを確認するようなものです。アンサラビリティ・クラシファイア（門番）：
このエージェントは、司書が見つけてきた本を調べます。そして問いかけます。「この本に、本当に答えが含まれているか？」- 「はい」の場合： 次のエージェントに本を渡します。
- 「いいえ」の場合： プロセスを停止し、AIに「私たちのライブラリには答えがありません。『わかりません』と言ってください」と伝えます。
レスポンダー（話し手）：
これは、実際にあなたと対話するAIです。門番が「ゴーサイン」を出し、関連する本を提示した場合にのみ、AIは話すことができます。もし門番が「ノー」と言えば、レスポンダーは単に「わかりません」と答えます。
なぜこれが機能するのか
この手法は、従来のテクニックよりもはるかに優れていることが論文で示されました。
- 古い方法： 単にAIに対して「もし確信が持てないなら、『わかりません』と言いなさい」と伝えるだけでは、うまくいきませんでした。AIは依然として推測しようとしてしまいました。
- RETAINの方法： 最初に物理的にソース資料を検索することで、AIには「現実チェック」が可能になります。AIは「あ、答えは自分の本の中にない」と気づくことができるため、正直に「わからない」と認めることができるのです。
- ボーナス： 答えが本の中に存在する場合、AIは記憶だけに頼るのではなく、その場でソース資料を読み取るため、より正確な回答を提供できます。
結果
この新しいシステムをテストしたところ：
- 答えが学習データになかった場合に、「わかりません」と言う能力が大幅に向上しました。
- 答えがデータ内にあった場合に、正しく回答する能力が大幅に向上しました。
- 他のすべてのテスト手法を上回る結果を出し、AIに自身の「ソースコード」（読んだ本）へのアクセス権を与えることが、誠実さを持たせる鍵であることを証明しました。
要約すると： この論文は、AIに嘘をつかせないためには、単に正直になるよう命じるのではなく、まず自分のライブラリをチェックするためのツールを与えるべきであることを示しています。もし答えがそこにないのであれば、AIは「それを読んでいません」と正直に言うべきなのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。