🤖 machine learning

Retrieval from Within: An Intrinsic Capability of Attention-Based Models

本論文は、内部表現から事前符号化された証拠を直接検索・再利用可能にすることで、検索と生成を単一の注意機構に基づくエンコーダ・デコーダモデル内で統合するフレームワーク「INTRA」を導入し、それにより従来の分離型検索拡張生成パイプラインを上回る性能を実現することを示す。

原著者： Elad Hoffer, Yochai Blau, Ron Banner, Daniel Soudry, Boris Ginsburg

公開日 2026-05-08

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Elad Hoffer, Yochai Blau, Ron Banner, Daniel Soudry, Boris Ginsburg

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

複雑な謎を解こうとしていると想像してください。従来の方法（RAG、検索拡張生成と呼ばれる）では、2 人の明確な役割分担を持つ助手がいます：

司書：巨大な図書館をくまなく探し、答えが含まれている可能性のある数冊の本を見つけ、あなたに手渡すことだけが任務の専門家のエキスパート。
探偵：その特定の本を読み、最終報告書を作成する天才的な調査員。

この仕組みの問題点は、司書と探偵が異なる言語を話していることです。司書は本を見つけるために特定の分類システム（埋め込み）を使用しますが、探偵は報告書を書く前に、その本を最初から読み直し、再解釈する必要があります。時には、司書が間違った本を手渡したり、探偵が誰かの論理によってフィルタリングされた本を理解するのに苦労したりすることがあります。

この論文の大きなアイデア：「INTRA」

この論文は、INTRA（Attention による内在的検索）と呼ばれる新しいシステムを紹介しています。別の司書を雇う代わりに、INTRA は探偵を司書兼探偵のハイブリッドへと変えます。

簡単な比喩を使って、その仕組みを説明します：

1. 「内部図書館」（事前符号化）

探偵はすでに図書館のすべての本を読み、それぞれに対して頭の中のメモ（「符号化された状態」と呼ばれる）を作成していると想像してください。これらのメモは、物理的なページを必要とせずに本の核心を捉えています。

従来の RAG：質問をすると、司書が本を見つけ、探偵に手渡し、探偵はメモを作成するために物理的なページを再度読み直す必要があります。
INTRA：探偵はすでに棚に用意された頭の中のメモを持っています。質問をすると、探偵は本を再度読む必要はなく、棚から事前に作られたメモを取り出すだけです。

2. 「自己採点」メカニズム

古いシステムでは、司書が別の規則書に基づいてどの本が重要かを決定します。INTRA では、探偵が自身の内的な直感（「アテンション」メカニズム）を使用して、どの頭の中のメモが関連するかを決定します。

この論文は、通常単語に「注意を払う」AI の部分が、実際には組み込まれた検索システムであると主張しています。まるで探偵の脳が、外部のツールを必要とせずに頭の中のメモの中で最も重要な文を自然にハイライトしているかのようです。
システムは、探偵が自身の内部図書館をスキャンし、「ああ、この特定のメモこそがこの質問に必要なものだ」と言うのを助ける、いくつかの特別な「検索トークン」（頭の中の付箋のようなもの）を追加します。

3. 「ワンストップショップ」の利点

同じ脳（モデル）が検索と回答の両方を行うため、2 つの主要な問題が解消されます：

翻訳ロスの欠如：探偵は司書の発見を自分の言語に翻訳する必要がありません。同じ人物であるため、同じ言語を話しているからです。
メモの再利用：探偵がすでに本に対して頭の中のメモを作成していれば、その同じメモを千の異なる質問に使用できます。毎回本を再読する必要はありません。

結果：論文が発見したこと

研究者たちは、異なる情報間のつながりを結びつける必要がある（探偵が異なる犯罪現場からの手がかりを結びつけるような）難しい「多段」質問でこれをテストしました。

手がかりの発見が優れている：INTRA は、別の司書を使用するシステムと比較して、必要な証拠のすべてを見つけるのが得意でした。特に、複数のソースからの情報を結びつける必要がある複雑なパズルにおいて優れていました。
回答の質が向上：探偵が正しい手がかりを見つけ、それらを再読する時間を無駄にしなかったため、最終的な回答はより正確でした。
速度：「頭の中のメモ」はすでに作成されているため、検索が完了した後、回答を生成するまでのシステムは高速です。生テキストを再読するステップをスキップします。

注意点（限界）

この論文は、このシステムがまだ何を行っていないかを明確にしています：

これは固定された図書館（事前に準備された特定の一連のドキュメント）で最もよく機能します。現在、変化するライブのインターネットを検索するように設計されているわけではありません。
これは、毎日チャットする可能性がある「デコーダーのみ」のモデルよりも一般的ではない、特定の種類の AI アーキテクチャ（エンコーダー - デコーダー）に依存しています。
これは現在、「検索」能力がモデル内部に既に存在することを示す概念実証であり、それを解き放つ必要があるだけです。

まとめ：
この論文は、AI モデルが情報を見つけるために常に別の「検索エンジン」を構築する必要はないと主張しています。代わりに、モデルに自身の内部の「アテンション」能力を使用して自身のメモリを検索することを教えれば、プロセスはより速く、より正確で、より効率的になります。それは AI を「司書を必要とする読者」から「自己検索型の探偵」へと変えるのです。

技術概要：内部からの検索：注意機構に基づくモデルの内在的機能

1. 問題提起

検索拡張生成（RAG）は、大規模コーパス内で必要な情報が希薄な質問への回答において標準的なアプローチとなっています。しかし、現在の RAG アーキテクチャは通常、検索と生成を別々のモジュール化されたシステムとして扱っています。検索器は（稠密な埋め込みや語彙的メソッドを用いて）候補証拠を選択し、それが生成器（LLM）に渡され、そこでテキストが再エンコードされて回答が生成されます。

この分離は、主に 2 つの非効率性を導入します：

表現の不一致：検索器と生成器は異なる表現空間で動作するため、検索される内容と生成器が最も有用と見なす内容との間に乖離が生じる可能性があります。
計算の冗長性：標準的な RAG では、選択された証拠チャンクは、検索フェーズで既にエンコードされていたとしても、クエリ時に生成器のエンコーダによって再エンコードされなければなりません。

著者らは、注意機構に基づくエンコーダ・デコーダモデルが、外部の検索器モジュールなしに単一のモデル内で検索と生成のプロセスを統合し、自らの内部表現から本質的に検索を実行できるかどうかを問うています。

2. 手法：INTRA

本論文は、INTRA（INTrinsic Retrieval via Attention：注意による内在的検索）を導入します。これは、単一の事前学習済みエンコーダ・デコーダモデルが、共有された表現空間を用いて証拠の選択と回答の生成の両方を処理するフレームワークです。

中核メカニズム

外部の検索器の代わりに、INTRA はデコーダのクロスアテンション機構を利用して、事前エンコードされた証拠チャンクをスコアリングします。プロセスは以下の通りです：

事前エンコード：コーパスは凍結されたエンコーダによって一度だけエンコードされ、チャンク表現の集合 $K = \{k_i\}$ を生成します。
検索トークン：入力クエリ $x$ は、 $R$ 個の学習可能な検索トークン $\rho$ を追加して拡張されます。
アテンションによるスコアリング：デコーダは、拡張されたクエリを事前エンコードされたチャンクに対して処理します。デコーダ層からのクロスアテンションクエリ（ $q_\ell$ ）がチャンクのスコアリングに使用されます。
MaxSim スコアリング：トークンレベルのアテンションスコアをチャンクレベルの検索スコアに変換するために、著者らはMaxSim（スケーリングされた ColBERT 風の遅延相互作用）アプローチを採用します。各クエリトークンに対して、チャンク内の任意のトークンとの最大類似度が選択され、これらは学習可能な重み $\alpha_\ell$ を用いて層全体で集約されます。
選択と生成：これらのスコアに基づいて上位 $n$ 個のチャンクが選択され、コンテキスト $K(S_{INTRA})$ を形成します。その後、デコーダはこのコンテキストを用いて回答を生成します。

主要な技術的革新

Reverse-QWK（Query-Key Weight）：標準的な Transformer のクロスアテンションでは、キー（エンコーダ状態）に対して層固有の線形投影と正規化が適用されます。これでは各層ごとにキーを再計算する必要があり、単一の事前エンコード済みインデックスの再利用を妨げます。INTRA はReverse-QWKを導入し、学習されたキーのスケールと投影行列をクエリ側に移動させる技術です。これにより、モデルはすべてのデコーダ層に共通する単一の正規化エンコーダ表現（ $\bar{K}$ ）を格納でき、静的なインデックスに対する効率的な検索スコアリングが可能になります。
プーリング埋め込み：長いチャンクにおける MaxSim の計算コストを削減するため、著者らは完全なチャンク表現の代わりに、固定長の平均プーリング埋め込み（ $L_p \ll L_c$ ）に置き換えます。この近似は、個別の圧縮モデルを必要とせずに共有表現設計を維持します。
学習目的：検索トークンと集約重みは、「オラクル」（正解）証拠チャンク上の確率質量を最大化するように、ソフトなクロスエントロピー目的関数を用いて学習されます。一方、バックボーンとなるエンコーダ・デコーダは凍結されたままです。

3. 主要な貢献

統合フレームワーク：証拠選択と回答生成を、共有された表現空間を用いて単一の事前学習済みエンコーダ・デコーダモデル内で結合する INTRA の定式化。
最小限のアーキテクチャレシピ：内在的検索を露呈させるために必要なコンポーネントの特定：ネイティブなチャンク表現の再利用、粗い検索のためのエンコーダ側の遅延相互作用の使用、外部モジュールなしでデコーダ側の検索クエリによる証拠の洗練。
実証的パフォーマンス：この統合設計が、マルチホップ質問応答ベンチマークにおいて、強力に設計された検索パイプライン（稠密検索器や再ランク付け器を含む）を上回り、より高い証拠リコールとエンドツーエンドの回答品質を達成することを示すこと。
計算効率：設計の効率性の特性評価、特に静的証拠が一度エンコードされ再利用される「再利用可能コンテキスト」領域におけるもの。これにより、生成のプレフィルフェーズ中の再エンコードコストが排除されます。

4. 実験結果

著者らは、INTRA を 4 つの Wikipedia ベースの QA ベンチマーク：HotPotQA、2WikiMultihopQA、MuSiQue、およびNatural Questions (NQ) で評価しました。使用されたモデルはT5Gemma2 4B-4Bのチェックポイントです。

検索品質：INTRA は、マルチホップベンチマーク（HotPotQA、2Wiki、MuSiQue）において、最も高い完全証拠リコール（すべての支持事実が検索された事例の割合）を達成しました。これは、疎な手法（TF-IDF、BM25）、単一ベクトルモデル（BGE、Qwen-Embedding）、およびハイブリッド RAG パイプラインを上回る結果でした。
エンドツーエンド QA：生成に同じ T5Gemma2 デコーダを使用した場合、INTRA はマルチホップタスクにおいて Exact Match (EM) と F1 スコアの両方ですべてのベースラインを上回りました。特に、INTRA は生成のみで事前学習された凍結デコーダを使用してこの成果を達成したのに対し、ベースラインの検索器はしばしば大規模な検索コーパスで事前学習されていました。
効率性：Time-to-First-Token (TTFT) を測定するベンチマークでは、検索されたチャンク数（ $k$ ）が増加するにつれて、INTRA は標準的な RAG よりも著しく高速であることが示されました。これは、INTRA が事前エンコードされた状態を再利用し、生成のプレフィルフェーズ中に検索されたテキストを再エンコードする二次的なコストを回避するためです。
アブレーション研究：初期コンテキストを除去したり、検索トークンの数を減らしたりすると、パフォーマンスが大幅に低下することが確認されました。これにより、初期化と学習された検索スコアリング機構の両方が必要であることが実証されました。

5. 意義と主張

本論文は、大規模言語モデルにおける検索の捉え方における概念的な転換を提唱しています。著者らは、注意機構に基づくモデルは、外部モジュールとして追加するのではなく、引き出すことのできる内在的な検索機構をすでに備えていると主張しています。

統合された表現：検索と生成を統合することで、INTRA は検索器と生成器間の表現の不一致を排除します。
内在的機能：結果は、適切に学習可能なトークンと遅延相互作用スコアリングを通じて露呈された場合、注意機構に内在する「クエリ条件付きマッチング」が効果的な検索に十分であることを示唆しています。
効率性：このフレームワークは、証拠エンコードのコストをクエリ間で均質化することで、静的知識ベースに対して実用的な計算上の利点を提供します。

限界

著者らは明示的に、実験が固定コンテキストプールに焦点を当てており、INTRA がオープンウェブや動的検索環境における RAG の代替であると主張していないことを述べています。この手法はエンコーダ・デコーダのクロスアテンションに依存しており、デコーダのみのモデルには直接適用できません。さらに、このアプローチが短回答 QA で効果的である一方で、より広範なドメインや動的コーパスへの一般化は、今後の研究における未解決の課題のままです。