Factual Retrieval in LLMs Is a Redundant, Distributed and Non-Contiguous Process
本論文は、大規模言語モデルにおける事実の検索が、複数の層にわたる冗長で分散的かつ非連続的な計算パスに依存していることを明らかにしており、知識の局所的な保存という仮定に異を唱えるとともに、知識編集において観察される不一致を説明するものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
大規模言語モデル（LLM）を、世界の知識の断片が含まれた膨大な数の本が収められた、多層構造の巨大な図書館として想像してみてください。長い間、研究者たちは、もし「アンゲラ・メルケルの母国語は何？」といった特定の事実を見つけたいのであれば、その答えはモデルの特定の層（特定の部屋）に格納されており、地上階から最上階まで、一段ずつ順番に情報を取得していく直線的なプロセスを経て辿り着くものだと考えてきました。
この論文は、現実はもっと混沌としており、柔軟で、冗長性があることを主張しています。以下に、彼らの発見を簡単な比喩を用いて解説します。
1. 「非連続的」なエレベーターの移動
旧来の考え方： モデルの内部的な「エレベール（データ処理）」は、答えを得るために、地上階から最上階まで、すべてのフロアで情報をチェックしながら、すべての階に停止するとされていました。
論文による発見： エレベーターはすべての階に止まるわけではありません。実際、多くの場合、フロアを完全にスキップします。
- 比喩： あなたが荷物の配達をしようとしている場面を想像してください。配達トラックが通りのすべての家を回る必要はありません。トラックは、2階から直接8階へジャンプし、その間のフロアを無視して、正しい玄関まで荷物を届けることができます。
- 発見内容： 著者らは、ある事実を検索するために、モデルは特定の、散在した一連の層しか必要としないことを発見しました。モデルは中間ステップの多くを不要なものとしてスキップし、ネットワークを通じて情報を「テレポート」させることができるのです。
2. 「冗長なバックアップ経路」
旧来の考え方： 事実を見つけるための「正しい」経路は一つだけです。もしその経路を遮断すれば、モデルは失敗します。
論文による発見： モデルには、同様に機能する複数のバックアップ経路が存在します。
- 比喩： 主要な高速道路がある都市を想像してください。もし高速道路を封鎖しても、交通が止まることはありません。交通は即座に、複雑な裏道や脇道、あるいはもっと長く曲がりくねった別の高速道路へとルートを変更します。どちらのルートも目的地には到達しますが、見た目は全く異なります。
- 発見内容： 彼らがテストしたほぼすべての事実において、研究者たちは「主要な経路」（最短で最も効率的なルート）と、少なくとも一つの「代替経路」（より長く深いルート）を発見しました。主要な経路をブロックしても、モデルはバックアップ経路を使用して答えを見つけることができます。これは、知識が単一の場所に格納されているのではなく、分散し、冗長性を持っていることを意味します。
3. 「最小限のチーム」対 「オーケストラ全体」
旧来の考え方： モデル全体が協力して、あらゆる答えを生成します。
論文による発見： 仕事を遂行するためには、特定の小さなチームだけが必要です。
- 比喩： 交響楽団が曲を演奏している場面を想像してください。すべての音に対して、すべてのミュージシャンが必要だと仮定するかもしれません。しかし、著者らは、特定の事実に対しては、数人の特定のミュージシャン（層）だけが実際に音を奏でていることを発見しました。残りのオーケストラは、実質的に沈黙しているか、あるいは別のことをしています。
- 発見内容： 彼らは「最小属性計算パス（minimal attribute computation path）」を特定しました。これは、正しい答えを生み出すために必要な、最小限の層のグループです。驚くべきことに、このグループはしばしばモデルの中間で終わります。これらの数少ない層によって情報が処理されると、残りのモデルは答えを知るためにこれ以上の重労働を行う必要はありません。
4. 「編集のミスマッチ」という謎
旧来の考え方： モデル内の事実（例：「メルケルの言語はドイツ語である」を「フランス語である」に変更する場合）を変更したいときは、その事実が格納されている特定の層を編集すべきであると考えられていました。
論文による発見： 事実が「格納されている」場所と、それを「編集する必要がある」場所は、しばしば異なります。
- 比喩： 工場の組立ラインを想像してください。製品を「作る」部分はラインの最初にあるかもしれませんが、ミスを「修正する」部分はラインの最後にあるかもしれません。もしラインの最初で製品を直そうとすれば、機械を壊してしまう可能性があります。
- 発見内容： モデルはこれらの散在した冗長な経路を使用しているため、単にデータが答えのように「見える」層を見つけるだけでは不十分です。事実を正常に編集するためには、必ずしも知識が置かれている場所ではなく、パスにおける特定の「変換段階」で介入する必要があります。
「全体像」のまとめ
著者らは、LLMが事実を保存し検索する方法は、引き出しを引くだけの「ファイルキャビネット」のようなものではないと結論付けています。むしろ、それは次のような、高度に柔軟で冗長なニューラルネットワークです：
- 知識は分散されている： 知識は一つの場所に閉じ込められているのではなく、多くの層に広がっています。
- 経路は柔軟である： モデルは、同じ答えを見つけるために、短く直接的なルートを通ることも、長く曲がりくねったバックアップルートを通ることもできます。
- スキップは正常である： モデルはしばしば中間層を無視し、情報が必要な場所へと直接ジャンプします。
このことは、AIモデルがなぜこれほどまでに堅牢であるのか（バックアップがあるため）、そしてなぜ、ある事実が正確に「どこに」存在するのか、あるいはどのように確実に変更できるのかを特定することがこれほど難しいのかを説明しています。そのプロセスは、非線形で、散在した方法で行われる、複雑で多段階のダンスなのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。