💻 computer science

Do You Remember? Toward Memory-Centric Multimodal AI

本論文は、標準的なワンショット処理を共有行列と局所的なEMA更新を用いた再構成的メモリシステムに置き換える、メモリ中心のマルチモーダルAIアーキテクチャである「DoYouRemember」を導入しており、LLMの隠れ状態が視覚情報を破棄すること、およびハルシネーションを欠陥ではなく損失のあるメモリ展開に固有の特性として再定義することを実証している。

原著者： Xuguang Yu, Weigang Zheng, Minyue Yu

公開日 2026-07-15

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Xuguang Yu, Weigang Zheng, Minyue Yu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは覚えていますか？なぜAIは見たものを「忘れる」のか（そして、私たちはそれをどう解決したのか）

想像してみてください。あなたは友人の顔を見ています。あなたの脳は、高精細なビデオファイルを完璧に保存しているわけではありません。代わりに、脳はスナップショットを撮り、それをいくつかの主要なアイデア（笑顔の形、目の色など）へと圧縮します。そして後で思い出そうとする時、脳はそれらのアイデアに基づいて新しい画像を「再構築」します。それは再生（リプレイ）ではなく、創造的な再構築なのです。

では、超スマートなAIロボットがあなたの顔を見て、正確にどのような皮膚疾患があるかを告げた直後に、あなたの顔の画像をメモリから即座に削除したとしたらどうでしょう。これこそが、今日の最も高度なAIモデルが行っていることです。彼らは画像を完璧に「理解」しますが、その画像については何も「記憶」していません。

DoYouRemember と呼ばれる新しい研究は、人間の記憶の仕組みを模倣したシステムを用いることで、AIに見たものを実際に「記憶」させる方法を教え、この問題を解決しようとしています。

大きな発見：理解 $\neq$ 記憶

研究者たちは、シンプルな問いからスタートしました。「もしAIが画像を完璧に説明できるなら、そのAIの脳内にはまだその画像が『見えて』いるのだろうか？」

彼らはこれをテストするために、3つのステップを持つマシンを構築しました。

圧縮器（The Compressor）: 顔の写真を撮り、それを極めて小さなデジタル・ショートハンド（4K映画を数行のテキストコードに変換するようなもの）へと押しつぶします。
思考器（The Thinker）: そのコードを巨大なAIの脳（大規模言語モデル）に投入し、皮膚の状態を分析させます。
再構築器（The Rebuilder）: AIの「思考」（内部の隠れ状態）を取り出し、それを再び画像へと変換しようと試みます。

衝撃的な結果:
AIの思考から顔を再構築しようとしたところ、得られたのは……ノイズでした。純粋な砂嵐です。
AIは「この人は頬に赤い発疹があります」と完璧に言うことができましたが、その内部メモリには、その発疹に関する視覚的な情報は一切復元可能な形で残っていませんでした。それは、完璧な英語を話せるものの、元のフランス語の単語を完全に忘れてしまった翻訳者のようでした。AIは「意味」を理解しましたが、「画像」を破壊してしまったのです。

この論文は、これらのAIモデルにとって、理解することは記憶することと同じではないということを証明しています。AIは文章を作るために視覚データを消費し、その後、その視覚データを捨て去ってしまうのです。

失敗した試み：なぜ「バックプロパゲーション」は機能しなかったのか

解決策を見つける前に、チームはAIに記憶を保持させるための多くの方法を試みました。彼らは様々なメモリ・アーキテクチャを試し、**バックプロパゲーション（誤差逆伝播法）**と呼ばれる標準的な学習手法（これは、教師が学生の宿題に対して、どこが間違っているかを正確に計算して修正するようなものです）を使用しました。

彼らが試みたこと：

AIに共有メモリ・ボードへの書き込みを行わせる。
異なるタイプの「対照学習（コントラスティブ学習）」（似たものを認識させる学習）を使用する。
エラーとメモリの間の経路を短縮する。

結論: すべての試みが失敗しました。メモリ・ボードは凍結されたまま動かなかったのです。

なぜでしょうか？論文では、これを**勾配キャンセル（Gradient Cancellation）**という数学的ルールで説明しています。9万人の人々が、同時に同じ小さなホワイトボードに書き込もうとしている場面を想像してください。ある人は猫を描こうとし、別の人は犬、また別の人は木を描こうとしています。もし全員が同時にマーカーで押し付ければ、その力は互いに打ち消し合い、ボードは空白のままになります。論文によれば、標準的な手法で共有メモリを訓練しようとすると、各画像からの「押し」は非常に弱く（画像の数 $N$ の平方根 $\sqrt{N}$ の係数で減少する）、メモリには新しいことが何も学習されないのです。

解決策：「ローカル」な記憶のトリック

「グローバル」な教師（バックプロパゲーション）が問題を解決できなかったため、研究者たちは、脳内のニューロンが実際にどのように接続されているかに着想を得た、異なるアプローチを試みました。それが**ローカル学習ルール（Local Learning Rules）**です。

システム全体に自己修正を求めるのではなく、各画像がメモリ・ボードの全64スロットのうち、最も関連性の高い上位8箇所のみを更新するようにしました。彼らは、古い記憶を消去することなく、新しい記憶を穏やかに馴染ませる**指数移動平均（EMA）**という手法を用いました。

結果:

メモリ・ボードの成功: 画像が特定の「スロット」のみを更新するようにしたことで、メモリ・ボードは多様性を保ち、ぼやけた状態になるのを防ぐことができました。
再構築の向上: この新しいメモリから顔を再構築しようとしたところ、明確で認識可能な顔が得られました。
- 未知の10枚のテスト画像において、このメモリシステムは再構築品質スコア（LPIPS）で0.123を達成しました。これは、可能な最高スコア（上限値）である0.071に非常に近い数値です。
- このメモリは、通常であれば16倍のスペースを必要とする情報を格納するために、わずか229,000個のパラメータしか使用しませんでした。

「スーパー・メモリ」の驚き:
メモリ・ボードをさらに大きく（1,024スロットまで）スケールアップさせたとき、驚くべきことが起こりました。メモリシステムが、元の「完璧な」圧縮手法よりも優れた性能を示したのです！

新しいメモリシステムは、未知の画像に対して0.056（LPIPS）を記録し、元の圧縮スコアである0.071を上回りました。
なぜでしょうか？元の圧縮は「ブロック状」のデジタル的なステップ（量子化）を使用していましたが、新しいメモリは滑らかで連続的な数値を使用していたからです。スロットが十分に多ければ、滑らかなメモリはブロック状のステップよりも隙間をうまく埋めることができるのです。

これが未来に意味すること

論文は、ハルシネーション（幻覚）（AIが作り話をしてしまう現象）はバグではなく、損失のある記憶（lossy memory）の仕組みにおける「特徴」であると結論付けています。あなたが顔を覚えていても、目の正確な色合いを間違えることがあるように、情報を圧縮するAIは、思い出そうとする際に欠落した詳細を「推測」しなければなりません。

著者らは、AIの新しい構築方法を提案しています：

メモリ中心のAI（Memory-Centric AI）: 画像を脳に投入してテキストを出力するだけでなく、すべての感覚（視覚、聴覚、触覚）が書き込みを行う持続的な「メモリ・マトリックス」を備えたAIを構築すべきである。
ローカル・ルール: メモリをグローバルな修正（バックプロパゲーション）で訓練するのではなく、生物学的な脳が学習する方法を模倣したローカルなルール（上位8スロットの更新など）を使用すべきである。

彼らはこれを皮膚の健康状態の画像（患者の皮膚の20種類以上の異なる写真を撮影する3D皮膚解析器を使用）でテストしました。この領域は、医学的な状態を理解することと、正確な視覚的詳細を記憶することの両方が求められるため、非常に適しています。

要約すると： この論文は、現在のAIは、言葉を発した瞬間に見たものを「忘れて」しまうことを証明しています。しかし、グローバルな修正ではなく、ローカルで穏やかな更新を用いることで、記憶の訓練方法を変えれば、人間と同じように、見たものを記憶し、再構築し、検証できるAIを構築できるのです。

技術要約：Do You Remember? — メモリ中心のマルチモーダルAIに向けて

1. 問題提起

現在のマルチモーダル大規模言語モデル（MLLM）は、一方向的なパラダイムに基づいて動作している。すなわち、画像は凍結された視覚エンコーダによって処理され、LLMの埋め込み空間へと投影され、テキスト生成のために消費される。テキストが生成されると、LLMの隠れ状態内にあった視覚情報は破棄される。著者らは、このアーキテクチャには「再構成的記憶（reconstructive memory）」、つまり知覚した内容を想起し検証する能力が欠けていると主張している。

認知科学（Bartlett, 1932）に基づき、本論文は、人間の記憶は忠実な記録ではなく、再構成的なプロセスであると仮定している。中心となる仮説は、MLLMが真に「記憶」するためには、内部表現から知覚的内容を再構成できなければならないというものである。しかし、著者らは根本的な断絶を指摘している。すなわち、MLLMは画像を「理解」することはできる（正確な意味解析を生成できる）一方で、その隠れ状態には、再構成に必要な「デコード可能な視覚的表現」が保持されていない可能性があるということである。さらに、このギャップを埋めるために共有メモリ行列を訓練しようとする試みは、勾配の打ち消し合いや、LLMによる情報変換の不可逆性により、歴史的に失敗してきた。

2. 手法：DoYouRemember アーキテクチャ

著者らは、MLLMに再構成的記憶を導入するために設計された3段階のアーキテクチャ、DoYouRememberを提案している。

感覚圧縮 (Stage 0): ベクトル量子化変分オートエンコーダ（VQ-VAE）が、256×256の画像を1,024個の離散的な視覚トークンへと圧縮する。この段階は、診断に関連する特徴を保持しつつ、ピクセルの冗長性を排除する、可逆的な損失あり圧縮のベースライン（約200:1の比率）として機能する。
意識的推論 (Stage 1): 視覚トークンとテキストプロンプトは、LoRAで微調整されたLLM（Qwen2.5-7B-Instruct）によって処理される。モデルは皮膚科的な分析テキストを生成しながら、視覚トークンの位置における隠れ状態を保持する。
再構成的検証 (Stage 2): ディフュージョン・トランスフォーマー（DiT形式）のデコーダが、LLMの隠れ状態または専用のメモリ行列から元の画像を再構成しようと試みる。

実験設計

著者らは、情報の流れを分離するために一連の制御実験を行った。

上限実験 (Upper Bound Experiment): 同じディフュージョン・デコーダを用い、VQ-VAEトークン（LLM前）からの再構成と、LLM隠れ状態（LLM後）からの再構成を比較した。
メモリアーキテクチャ: アテンションベースの書き込み、空間的シャーディング、直接的な勾配パスを含む、4世代の共有メモリモジュール（SM-v1からSM-v4）をテストした。
学習戦略: バックプロパゲーションに基づく手法（MSE, DDPM）と、対照学習（SimCLR, BYOL, SimSiam）をテストした後、最終的にLocal EMA（指数移動平均）に落ち着いた。

データセット

ラベル付き: 専門家による皮膚科的分析が付与された、1,000個の3D顔面皮膚テクスチャマップ。
ラベルなし: 非監視型のメモリ蓄積に使用された、99,000個のラベルなし正面顔画像。

3. 主な知見と結果

A. 「理解」と「記憶」のギャップ

最も重要な発見は、LLMの隠れ状態には、回復可能な視覚情報がほぼゼロであるということである。

証拠: ディフュュージョン・デコーダは、VQ-VAEトークン（LLM前）からは鮮明な顔の特徴を再構成できたが、LLM隠れ状態（LLM後）を入力した場合には、純粋な高周波ノイズを生成した。
示唆: LLMは、テキスト生成のために視覚情報を意味的な意味へと変換しており、その結果、視覚的な基質は回復不能なものとなっている。これは単なる「損失あり圧縮」（VQ-VAEのような）ではなく、「不可逆的な情報変換」である。モデルは画像を「理解」しているが、「記憶」はしていないのである。

B. 共有メモリに対するバックプロパゲーションの失敗

著者らは、テストされたすべてのアーキテクチャおよび対照的手法において、共有メモリ行列（ $M$ ）をバックプロパゲーションによって訓練することが失敗することを体系的に示した。

勾配の打ち消し合い: 共有行列が $N$ 個の異質な入力を提供する場合、サンプルごとの勾配は打ち消し合う。有効な勾配の大きさは $O(1/\sqrt{N})$ でスケールする。 $N=99,000$ の場合、勾配信号は約314分の1に減衰し、初期化ノイズを下回る。
鶏と卵のデッドロック: 再構成誤差はコンプレッサを訓練できない。なぜなら、コンプレッサは誤差を最小化するために何を保持すべきかを既に知っていなければならないが、勾配信号がなければ、何を保持すべきかを学習できないからである。
Global EMAの失敗: EMAによるメモリスロットのグローバルな平滑化は、スロット間の多様性を破壊し、すべてのスロットをほぼ同一のベクトルへと収束させる。

C. Local EMAの成功

著者らは、特定された根本原因を解決する非バックプロパゲーション・ソリューションとして、Local EMAを提案している。

メカニズム: 各画像は、全 $K$ （例：64）のスロットのうち、最も関連性の高い上位 $k$ （例：8）のスロットのみを、指数移動平均を通じて更新する。勾配は計算されず、更新は活性化の類似性によって駆動される。
結果:
- 多様性: Local EMAは、グローバルEMAで見られた崩壊を回避し、スロット間の多様性を保持・向上させた（分散が0.040から0.194に増加）。
- 再構成品質: 22.2万パラメータのメモリ行列（ $K=64$ ）は、未知のテスト画像に対して、VQの上限に迫る再構成品質を達成した（LPIPS 0.123 vs 0.071; SSIM 0.775 vs 0.877）。
- スケーリング: メモリスロットを $K=1024$ （3.67Mパラメータ）に増やすことで、メモリはVQの上限を上回ることができた（LPIPS 0.056 vs 0.071）。これは、スロット数が十分であれば、連続的な表現としての $M$ がVQの量子化誤差を回避できることを証明している。

4. 理論的貢献

本論文は、これらの知見を情報理論的フレームワークの下に統合している。

損失あり圧縮としての記憶: 記憶は損失あり圧縮として定義され、想起はデコンプレッション（解凍）として定義される。
レート歪み限界: 単一の共有表現が異質な入力を提供する場合、勾配の打ち消し合いは、レート歪み限界の数学的な現れとして特定される。
局所学習規則: 共有メモリには、グローバルなバックプロパゲーションではなく、局所的な学習規則（ヘブ則的な可塑性など）が必要であると論文は主張している。Local EMAが成功したのは、活性化の類似性によって更新を制限することで、勾配の打ち消し合いを回避したためである。
デコンプレッションのアーティファクトとしての幻覚: 著者らは、幻覚を欠陥としてではなく、損失ありデコンプレッションの固有の特性として再定義している。圧縮中に情報が失われると、デコンプレッサは欠落したデータを補間しなければならず、それがもっともらしいが不正確な出力を生む。これは、LLM、人間の想起、および拡散モデルのすべてに当てはまる。

5. 重要性と主張

本論文は、メモリ中心のマルチモーダルAIのための新しいパラダイムを確立することを主張している。

アーキテクチャの転換: 「後付けの」視覚エンコーダ＋LLMというパイプラインから、計算の中心としての共有メモリ行列（ $M$ ）への移行を提案している。このパラダイムでは、知覚エンコーダは「書き込みヘッド」として機能し、LLMは意味的組織化のための「意識層」として機能し、想起は反復的なデコンプレッション・プロセスとなる。
局所規則の検証: バックプロパゲーションが失敗する場所で、局所的な学習規則（Local EMA）が共有メモリ表現を正常に訓練できることを示す、初の実験的検証を提供している。
ドメインへの適用: 著者らは、皮膚健康画像を理想的な検証ドメインとして特定している。これは、患者ごとに高密度に共登録されたマルチモーダルデータ（1人あたり20種類以上の画像タイプ）が存在するためであり、これにより「冗長符号化」の仮説（マルチモーダルな符号化が幻覚を減少させるという仮説）をテストすることが可能となる。

結論として、本論文は、「理解」（意味抽出）と「記憶」（デコード可能な知覚表現の保持）の区別が、現在のTransformerアーキテクチャにとって根本的な問題であることを明らかにしている。真の再構成的記憶を実現するには、一方向的なテキスト生成の目的よりも、局所的な学習規則と永続的かつ共有されたメモリ基質を優先するアーキテクチャの変更が必要である。

あなたは覚えていますか？ なぜAIは見たものを「忘れる」のか（そして、私たちはそれをどう解決したのか）

大きな発見：理解 ≠\neq= 記憶