Does Engram Do Memory Retrieval in Autoregressive Image Generation?

技術的サマリー：自己回帰的画像生成において Engram は記憶検索を行うか？

問題定義
Engram モジュールは、ハッシュキー付きの $O(1)$ 連想記憶であり、Transformer レイヤーに注入され、大規模言語モデル（LLM）において反復するローカルトークンパターンに対するコンテンツアドレス指定のショートカットを提供するために最近提案された。支配的な仮説は、それが最近のコンテキストの表面形式に基づいて特定のコンテンツ修正を検索するというものである。本論文は、このメカニズムが自己回帰的（AR）画像生成に効果的に転移するかどうかを検証する。具体的には、以下の問いを提起する：（Q1）Engram をクラス条件付き AR 生成器に注入することは、パラメータ数一致条件下で純粋な AR ベースラインと比較してサンプル品質（FID）を向上させるか？（Q2）パフォーマンスが変化するならば、その原動力は記憶テーブルからの真のコンテンツアドレス指定検索なのか、それともアーキテクチャ的なサイドパス効果（例えば、ゲーティング、残差ストリーム、または正則化）なのか？

手法
著者は、Engram モジュールを 1 次元言語から 2 次元視覚へ適応させ、ImageNet 256×256 上で訓練された強力なクラス条件付き AR 生成器に統合した。

• アーキテクチャ適応: モジュールは、因果的グリッド上の 2 次元空間的 n-gram ハッシング、ゲーテッド融合、および KV キャッシュ互換の増分推論を利用する。NLP 版とは異なり、視覚適応版は、n-gram コンテキストを定義するために空間的隣接（例えば、左、上、対角）を採用する。
• トークナイズの前提条件: 適応に先立ち、著者は視覚トークンが反復するローカル n-gram 構造を有していることを検証した。DINO 層別化されたジャッカード分析を用いると、AliTok トークナイザーは意味的類似性と相関する一貫したローカルパッチパターンを示すが、MaskGIT-VQ は示さないことが判明した。その結果、すべての実験で AliTok が選択された。
• 実験デザイン:
  • パラメータ掃引: バックボーンと総パラメータ数の比率（$\rho \in [0.17, 0.90]$）の制御された掃引を行い、バックボーンの幅と記憶テーブル容量の間でトレードオフを行った。
  • ゲートクランプ分析: 学習されたゲーティングメカニズムを一定値（$g \in \{0.00, 0.10, \dots, 1.00\}$）に置き換え、記憶経路の最適な使用量を決定した。
  • ドナープローブ: ハッシュ入力を、一致（同クラス）、敵対的（異クラス）、またはランダムな例示からのトークンに差し替えて、モデルが意味的に関連するコンテンツを検索するかどうかをテストした。
  • 凍結ノイズ制御: 記憶テーブル全体を $N(0, 1)$ ノイズに凍結した状態でゼロからモデルを訓練し、学習されたコンテンツからアーキテクチャ的貢献を分離した。

主要な結果
経験的知見は、AR 画像生成における「コンテンツアドレス指定検索」という仮説に異議を唱える：

1. パラメータ一致時の品質向上なし: バックボーンから記憶への比率の全範囲において、Engram 拡張のすべてのバリアントは、純粋な AR ベースライン（2.02）よりも劣るフレトリ・インセプション距離（FID）を達成した。モジュールはローカルパターン再構成をオフロードすることでバックボーンの FLOP を節約するが、本質的にサンプル品質を向上させるわけではない。1 次元バリアントに対して 2 次元 n-gram バンク（1×3、3×1、2×2）を追加しても、FID 改善は無視できるほど小さかった（<0.01）。
2. 経路の必要性対コンテンツの過剰混合: Engram 経路を完全に無効化（$g=0$）すると、生成が壊滅的に失敗し（FID-10K が 4.89 から 115 に跳ね上がった）、学習されたゲートは「過剰混合」していることが判明した。ごく小さな一定ゲート（$g=0.10$ または $0.25$）は学習されたゲートと同等かそれ以上の性能を示し、より高いゲートは品質を低下させた。これは、モデルが特定のコンテンツを重度に依存して検索するメカニズムとは矛盾する、経路がほとんど使用されていない状態から利益を得ていることを示唆する。
3. ハッシュアドレスはコンテンツを選択しない: ドナープローブにおいて、ハッシュ入力を一致、敵対的、またはランダムな同クラス例示に差し替えても、統計的に区別できない次のトークン分布が生じた。対照的に、ハッシュバケットを縮小するかテーブルをランダム化すると、パフォーマンスは 2〜3 桁低下した。これは、モデルがクエリと検索されたエントリ間の意味的一致ではなく、テーブルの「多様性」と「学習された構造」に依存していることを示している。
4. アーキテクチャ的優位性: 記憶テーブルを $N(0, 1)$ ノイズに凍結した状態でゼロからモデルを訓練すると、完全に学習されたテーブルと比較して FID の増加はわずか（$\Delta FID = 0.10$）であったが、実際にはインセプションスコアは上昇した（259 から 285）。これは、利益の大部分が記憶テーブルの特定のコンテンツではなく、ゲーテッドかつハッシュ化されたサイドパス（追加パラメータと並列残差ストリーム）から来ていることを確認する。

意義と主張
本論文は、自己回帰的画像生成の文脈において、Engram モジュールはコンテンツアドレス指定検索器というよりも、主にゲーテッドなアーキテクチャ的サイドパスとして機能すると結論づける。

• メカニズム: モジュールは、学習されたテーブルがわずかな分布的洗練しか寄与しないハッシュキー付き残差ストリームとして機能する。主な有用性は、並列ストリームとゲーティングメカニズムのアーキテクチャ的追加にあり、これはローカル画像トークン統計に対する正則化器または事前分布として機能する。
• 視覚への示唆: 元の Engram 設計を動機づけた「コンテンツアドレス指定」という解釈は、現在のトークナイザーによって生成される視覚トークンストリームには当てはまらない。観察された利益（または欠如）は、検索された反復する意味パターンではなく、経路そのものによって支配されている。
• 範囲: 著者は、本研究が中規模の高密度 AR 生成器に限定されており、真の記憶検索がより大きな役割を果たす可能性のある極端な低データ領域、長尾クラス、または高解像度は検討していないと指摘する。

要約すると、AR 画像生成における Engram は、学習された記憶テーブルがサイドパスの構造的利点に対してわずかな洗練しか提供しない、必要だが弱くコンテンツアドレス指定されたアーキテクチャ的事前分布として記述するのが最も適切である。