🤖 AI

One Token per Multimodal Evidence: Latent Memory for Resource-Constrained QA

本論文は、マルチモーダルな証拠を単一の潜在トークンへと圧縮することで、テキストのみおよびマルチモーダルなベンチマークにおいて競争力のある質疑応答性能を維持しつつ、トークン消費量とストレージコストを大幅に削減する、リソース効率の高いパラダイムであるLatent Memoryを導入する。

原著者： Zhi Zheng, Ziqiao Meng, Hao Luan, Wei Liu, Wee Sun Lee

公開日 2026-06-10

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Zhi Zheng, Ziqiao Meng, Hao Luan, Wei Liu, Wee Sun Lee

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、論文「One Token per Multimodal Evidence: Latent Memory for Resource-Constrained QA」の解説を、分かりやすい言葉と独創的な比喩を用いて作成したものです。

大きな問題：「重すぎるスーツケース」

あなたは、謎を解こうとしている優秀な探偵（AI）だと想像してください。仕事をするためには、膨大な手がかりのライブラリ（テキスト記事や写真）を読み通す必要があります。

現在のやり方（既存のRAGシステム）では、新しい質問が出るたびに、司書があなたに生のライブラリ丸ごとを手渡します。

もし手がかりが長い記事なら、あなたは一文字残らずすべてを読みます。
もし手がかりが写真なら、司書は単に写真を与えるのではなく、あなたが「見る」ことができるように、数千単語を使ってピクセル一つひとつを説明します。

その結果： あなたは圧倒されてしまいます。たとえ小さな事実を一つだけ必要としているだけでも、圧縮されていない生のデータが入った重いスーツケースを運び続けるため、エネルギー（ストレージ）と時間（処理速度）を使い果たしてしまうのです。これにより、スマートフォンやエッジコンピューターのような小型デバイスでの使用が不可能になります。

解決策：「魔法の要約カード」（潜在メモリ / Latent Memory）

著者らは、**Latent Memory（潜在メモリ）**と呼ばれる新しいシステムを提案しています。重い生のスーツケースを渡す代わりに、あらゆる証拠（テキストの段落であれ、写真であれ）を、たった一枚の、小さく魔法のような要約カードへと圧縮します。

次のように考えてみてください：

古い方法： たった一行の文章を見つけるために、500ページの書籍を持ち歩く。
新しい方法： その本の「本質」が詰まった、一枚のインデックスカードを持ち歩く。

仕組み：3つのステップ

1. 圧縮ステーション（「翻訳者」）
AIが手がかりを目にする前に、小さくて特化したアシスタント（圧縮モデル / Compressor Model）がすべての証拠をチェックします。

これはテキストを読み、あるいは写真を見ます。
そして、その意味全体をたった一つの「トークン」（高次元の数値ベクトル）へと蒸留します。
元の重い本や写真は捨てて、この小さなカードだけを残します。
比喩： 熟練のシェフが複雑なシチューを味わい、その味を完璧に捉えた「秘密のコード」をナプキンに書き留める様子を想像してください。もう、鍋全体のスープは必要ありません。そのコードさえあればよいのです。

2. 検索（「魔法のコンパス」）
質問が出されたとき、システムは重い本の中を探すのではありません。質問を似たような「コード」に変換し、コンパスを使って引き出しの中にある一致する要約カードを見つけ出します。

すべてが単一のカードになっているため、検索は非常に高速で、占有するスペースも極めてわずかです。

3. 回答（「ダイレクト・フィード」）
システムは、一致した上位数枚の要約カードを取り出し、メインのAI（生成器 / Generator）に直接手渡します。

メインのAIは、元のテキストを読んだり、元の写真を見たりする必要はありません。ただ「カードに書かれた秘密のコード」を読むだけで、文脈を即座に理解して回答を出すことができます。
重要な点： メインのAIを再学習させる必要はありません。ただ、従来の「本」の代わりに、これらの「新しいカード」を読み取る方法を学ぶだけでよいのです。

なぜこれが画期的なのか？

1. 圧倒的な効率性（「軽量なバックパック」）
この論文は、この手法が「トークンコスト（AIが処理しなければならないデータ量）」を3倍から10倍削減できると主張しています。

テキスト： 200単語のコンテキストを送る代わりに、AIは1つのトークンを処理します。
画像： 写真を数百の「視覚的な単語」に展開する代わりに、AIはわずか1つのトークンを処理します。
結果： データという「バックパック」が羽のように軽くなるため、スマートフォンのような小型デバイスでも強力なAIを実行できるようになります。

2. 実用性の維持（「完璧な記憶」）
「元の本を捨ててしまったら、AIは詳細を忘れてしまうのではないか？」と心配になるかもしれません。

著者らは、「要約カード」が単なる漠然としたアイデアではなく、精密な鍵となるよう、3つの特定の手法を用いて圧縮モデルを訓練しました。
- 再構成（Reconstruction）： カードから元のテキストや画像の説明を「再構築」しようと試みることで、詳細が保持されているかを確認します。
- 対照（Contrast）： 「アニー・モートン」のカードが「テリー・リチャードソン」のカードと混同されないよう、両者が明確に異なるものになるように学習させます。
- 蒸留（Distillation）： もしAIが元の証拠をすべて読んでいた場合に、その証拠がどのように機能したかと同じ挙動を、カードが取れるように教え込みます。

3. 結果

テキストに関する質問： 標準的な読解テストにおいて、この手法は重くて遅い従来の手法と同等の性能を発揮しながら、使用するトークン量は3分の1に抑えられました。
画像に関する質問： 写真を用いたテスト（画像内の物体識別など）では、10倍効率的であり、かつ大量のデータを処理することで発生する混乱を回避できたため、実際には他の手法よりも優れた性能を示しました。

限界事項（論文による指摘）

論文では、この手法は証拠が個別の「原子的（atomic）」な単位（一つの段落、一つの写真など）に分解できる場合に最も効果的であると述べています。

行と列の関係性が重要な巨大なスプレッドシートや、出来事の「順序」が極めて重要な長い動画など、複雑な構造に依存するものについては、苦戦する可能性があります。それらを単一のカードに圧縮すると、全体的な構造（ビッグピクチャー）が失われる可能性があるからです。

まとめ

Latent Memoryは、重くて生の書籍や写真のライブラリを、あらゆるアイテムがたった一つの小さく完璧なコードで表現された、洗練されたデジタル・カードカタログへと変えるようなものです。これにより、AIはごくわずかなメモリとスピードで複雑な質問に答えることができ、これまで対応できなかったデバイスでも強力なAIを利用可能にします。

技術要約：マルチモーダル証拠に対する1トークン：リソース制約のあるQAのための潜在メモリ

問題提起

大規模言語モデル（LLM）および視覚言語モデル（VLM）は、質問応答（QA）タスクにおいて、関連するマルチモーダルな証拠に回答を接地させるために外部メモリに依存している。しかし、従来のメモリパラダイムは計算コストが高く、ストレージ消費も激しい。既存の検索拡張生成（RAG）システムは、生のテキストや画像を検索し、それらを圧縮せずに生成器に渡す。このアプローチは、特に画像が生成中に数百の視覚トークンへと膨張するマルチモーダルな証拠において、大幅なトークン消費とレイテンシを引き起こす。これらのコストは、ストレージとレイテンシが重要な制約となるエッジデバイスやオンラインアシスタントなどの、リソース制約のある環境へのメモリ拡張システムのデプロイを妨げている。

手法：潜在メモリ（Latent Memory）

本論文は、生のマルチモーダル証拠アイテムを、コンパクトで高次元な潜在トークンに置き換えるパラダイムである**潜在メモリ（Latent Memory）**を提案している。核心となるアイデアは、各証拠の単位（テキストまたは画像）を、検索と生成の両方の目的を果たす単一の潜在トークンへと圧縮することである。

アーキテクチャとパイプライン

メモリ圧縮: 小規模で学習可能な圧縮用LLM/VLM（ $\theta$ ）が、各証拠アイテム $x_i$ を単一の潜在トークン $z_i$ にエンコードする。これは、入力に学習可能な [MEM] トークンを付加し、その最終隠れ状態を抽出することによって実現される。
統一された検索空間: 潜在トークンは、MLPを介して低次元の検索空間へと投影される。クエリ時には、質問が同じ空間に埋め込まれ、類似度検索（例：内積）を通じて関連する潜在トークンが検索される。
潜在条件付き生成: 検索された潜在トークンは、学習可能なプロジェクターを用いて、凍結された大規模なLLM/VLM生成器（ $\phi$ ）の隠れ次元へと投影される。生成器は、これらの潜在トークンに基づいて回答を生成し、生の証拠や拡張された視覚トークンを処理する必要性を回避する。
オプションの再構成: 解釈性を維持するために、デコーダは潜在トークンから元のテキストまたは画像のキャプションを再構成できるが、これは生成には必須ではない。

学習目的

圧縮器および関連するプロジェクターは、以下の3つの目的を組み合わせた統一された損失関数を用いてエンドツーエンドで学習される：

再構成損失 ( $L_{Recon}$ ): 潜在トークンが、元のテキストまたは画像の埋め込みを再構成するために十分な情報を保持することを保証する（テキストにはティーチャーフォーシングを用い、画像にはCLIP埋め込み予測を用いる）。
対照的検索損失 ( $L_{Contrast}$ ): クエリの埋め込みをサポートする正の潜在証拠に適合させ、負の証拠からは遠ざけることで、混合モダリティのための統一された検索空間を形成する。
蒸留損失 ( $L_{Distill}$ ): 潜在トークンをプロンプトとして与えられた際の凍結された生成器の振る舞いを、生の証拠をプロンプトとして与えられた際の振る舞いに適合させる。これにより、大規模な生成器自体をファインチューニングすることなく、生成器が潜在トークンを有効な証拠として解釈できるようにする。

主な貢献

潜在メモリパラダイム: 著者らは、各マルチモーダル証拠アイテムを単一の高次元潜在トークンへとコンパイルする、新しいメモリパラダイムを提案している。これにより、ストレージとトークン消費を大幅に削減する。
統一された学習目的: 再構成、対照学習、および蒸留を組み合わせた学習目的を通じて、単一の潜在トークンが検索、情報保持、および生成を同時にサポートできることを実証した。
効率性と性能のトレードオフ: 本手法は、大幅に少ない生成器トークン（3倍から10倍の削減）を使用しながら、高度なRAGベースラインと比較して競争力のあるQA性能を実現する。

実験結果

本手法は、7つのテキストのみのQAベンチマーク（HotpotQA, 2WikiMultihopQA, MuSiQueなど）およびマルチモーダルベンチマーク（WebQA）で評価された。

テキストのみのQA: 凍結されたMeta-Llama-3-8B-Instruct生成器を使用した場合、1トークンの潜在メモリは、RAGベースライン（BM25, Dense Retrieval, Qwen3-Embedding）と比較して、競争力のあるExact Match (EM) および F1 スコアを達成しつつ、約3分の1のトークンを使用した。例えば、ドメイン外の平均において、 $k=5$ のとき、BM25が209トークン、Dense Retrievalが208トークンを必要としたのに対し、本手法は71トークンを使用した。
マルチモーダルQA (WebQA): 凍決されたLLaVA-1.5-13B生成器を使用した場合、潜在メモリは最も強力な画像に基づいたQA性能を提供した。 $k=5$ において、画像F1スコア69.4をわずか82トークンで達成したが、これに対し、最良のベースライン（Nemo-Emb）は1,885トークンを必要としたにもかかわらず、F1スコアは53.0にとどまった。
スケーラビリティ: このアプローチは、コンパイル時の証拠アイテムの数に対して線形にスケールし、推論時には低い複雑性を維持し、フルコンテキスト・プロンプティングに伴う二次的な増大を回避する。
汎用性: HotpotQAで学習された潜在メモリは、追加のチューニングなしにドメイン外のデータセット（2WikiMultihopQA, MuSiQue）へ効果的に転移し、堅牢な検索能力を示した。

意義と主張

本論文は、外部メモリの表現方法を根本的に変えることで、潜在メモリがリソース制約のあるアプリケーションに対して実行可能なソリューションを提供すると主張している。マルチモーダルな証拠を単一のトークンに圧縮することで、ストレージ圧迫（特に画像）と生成中のトークン消費という二重のボトルネックに対処している。

著者らは、このアプローチにより、大規模で高価な生成器モデルのファインチューニングを必要とせずに、ストレージやレイテンシの制約が厳しいデバイス（例：エッジAI）へのメモリ拡張システムのデプロイが可能になることを強調している。統一された潜在表現空間は、検索・生成パイプラインを簡素化し、長文コンテキストやマルチターンなインタラクションの効率的な処理を可能にする。現在の設計は、証拠が原子的なテキストまたは画像の単位に分解できることを前提としているが、本論文は潜在メモリを、より効率的なマルチモーダル・エージェント・システムの基礎となるステップとして位置づけている。