How Do LLMs Cite? A Mechanistic Interpretation of Attribution in Retrieval-Augmented Generation
本論文は、Llama-3.1-8B-Instructに対してメカニスティック・インタープリタビリティ（機械論的解釈可能性）を適用することで、RAGシステムにおける引用の決定が、アテンション・ヘッドとMLPによる分散的かつ多段階的な「属性的アンサンブル（attributional ensemble）」から生じることを明らかにし、これらの特定のコンポーネントを選択的に増幅または減衰させることが、回答の正確性を損なうことなく引用の忠実性を大幅に向上させ得ることを示している。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
大きな問題：「偽の専門家」
想像してみてください。あなたが非常に賢く、博識な司書（AI）に質問を投げかけたとします。司書は役に立つために、本棚から一冊の本を取り出し、そこにある事実を読み、それを書き留めます。そして重要なことに、最後に「これは『本A』の中にありました」という小さな注釈も添えます。
これは**検索拡張生成（RAG）**と呼ばれるものです。この注釈（引用）があることで、司書が実際にその本を読んだことが証明され、回答の信頼性が高まるという考え方です。
落とし穴： もし、司書がすでにその答えを記憶していたらどうでしょう？ 司書は答えを書き込みますが、プロらしく見せるために、とりあえず「本A」を棚から取り出し、その本にもたまたまその事実が含まれていることを確認して、ただ形式的に引用を貼り付けます。
- 結果： 回答は正しく、引用も「正しい（その本に確かにその記述がある）」ものですが、その引用は**不誠実（unfaithful）**です。司書は答えを作るためにその本を使ったのではなく、回答を検証済みであるように見せるための「小道具」として本を利用しただけなのです。
この論文の著者たちは、次のような疑問を投げかけました。「AIは、回答を書く前に本当に本を読んでいるのか？ それとも、単に良く見せるために最後に引用を貼り付けているだけなのか？」
調査：機械の内部を覗き見る
通常、私たちはAIを「ブラックボックス」として扱います。質問をし、回答を得て、それが正しいかどうかを確認するだけです。しかし、AIがソースについて嘘をついているかどうかを見極めるには、AIが考えている最中に、その機械の内部を覗き見なければなりません。
著者たちは**メカニスティック・インタープリタビリティ（機械論的解釈可能性）**と呼ばれる手法を用いました。AIの脳を、何百万もの小さな働き手（ニューロン）と道路（接続）で構成された巨大な都市だと考えてください。著者たちは、**アクティベーション・パッチング（活性化パッチング）**というツールを使用しました。
比喩： AIが車を組み立てている工場を想像してください。
- 「クリーンな」実行： 工場が正しいエンジン（関連ドキュメント）を使って車を組み立てます。
- 「汚れた」実行： 工場が間違ったエンジン（無関係なドキュメント）を使って車を組み立てます。
- パッチ（継ぎ当て）： 研究者たちは、「クリーンな」実行から特定のギアやピストンを取り出し、それを「汚れた」実行へと入れ替えました。もし、その車が突然正しく動き出したなら、それらの特定のギアこそが「引用」の決定を司っていたのだと分かります。
彼らが発見したもの：「引用クルー」
彼らは、AIには引用を決定する単一の「引用脳」が存在するのではなく、多くの小さなパーツが協力して働く**「属性アンサンブル（Attributional Ensemble）」**と呼ばれる分散型のチームが存在することを発見しました。
このチームがどのように機能するか、ステップごとに説明します。
名前一致チェッカー（初期レイヤー）：
AIが最初に行うのは、名前の一致を探すことです。もし質問が「ウガンダ」について尋ねており、ドキュメントに「ウガンダ」という言葉があれば、特定の働き手が反応します。- 欠陥： これは浅いトリックです。AIはドキュメントが答えを「説明しているか」を確認しているのではなく、単に「ウガンダ」という単語が両方に存在するかどうかをチェックしているだけです。これは、試験問題に「光合成」という言葉が出てきたので、教科書が全く別のことについて書いていたとしても、「教科書にその言葉があるから、これがソースだ」と思い込む学生のようなものです。
中間管理職（中間レイヤー）：
名前が一致すると、AIの脳の中間層で多くの働き手が関与します。彼らは多くの「連言チェック（ANDチェック）」を行います。- 比喩： これはセキュリティゲートのようなものです。鍵（名前の一致）、バッジ（ドキュメントの文脈）、そしてパスワード（文章構造）のすべてが同時に必要です。これら小さなチェックのどれか一つでも失敗すれば、引用プロセス全体が崩壊します。これにより、システムは非常に脆弱になります。
最終決定（後期レイヤー）：
最後、AIが回答を入力する直前に、最終的なグループの働き手が「よし、名前が一致し、チェックも通った。[1]と入力しよう」と決定します。- 驚きの事実： 研究者たちは、回答の実際の「意味」がこの決定を駆動しているのではなく、「名前の一致」が決定を駆動していることを発見しました。
主な結論：「信頼の錯覚」
この論文は、AIの引用の決定は、ドキュメントの内容に対する深い理解ではなく、浅いヒューリスティック（単純な仕組み）、つまり名前の一致のような単純なトリックによって駆動されていることが多いと結論付けています。
- 錯覚： 引用付きの回答を目にするとき、あなたはAIがそのソースを読んで回答を構築したと想定します。
- 現実： AIは単に、自身の学習データから答えを思い出し、ソースドキュメントに同じキーワードが含まれているのを見つけ、正直に見えるように引用を「貼り付けた」だけかもしれません。
なぜこれが重要なのか
著者たちは、これが誤った安心感を生むと警告しています。
- もし医師や弁護士が、引用付きの回答を出すAIを頼りにしているなら、彼らは盲目的にそれを信頼してしまうかもしれません。
- しかし、もしその引用が単なる「名前の一致」によるものであり、真の検証ではなかった場合、AIは完璧に検証されたように見える「誤情報」を広めている可能性があるのです。
一文でのまとめ
この論文は、AIモデルが引用を追加するのは、ソースを使用して回答を構築したからではなく、ソースの中に一致する単語を見つけ、回答に「検証済み」というスタンプを押すための単純な自動チェックリストを実行したからであることを明らかにしています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。