技術要約: CARVE (Content-Aware Recurrent with Value Efficiency)

1. 問題提起

デルタ則（delta-rule）ファミリーに基づく再帰型シーケンスモデル（例：GDN-2）は、過去のコンテキストを固定サイズの状態行列 $S_t \in \mathbb{R}^{d_v \times d_k}$ に圧縮する。最先端のGDN-2は、消去（erase）と書き込み（write）の両方に要素ごとのフル行列ゲートを採用しているが、著者らはその効率性と能力を制限する3つの本質的な構造的欠陥を特定している：

1. メモリ盲目型ゲーティング (Memory-Blind Gating): 消去ゲート ($B_t$) と書き込みゲート ($W_t$) の両方が、入力トークン $x_t$ のみから計算される。モデルは、何を忘れるかを決定する前に現在の状態 $S_{t-1}$ を観測することができないため、コンテンツ依存の選択的な忘却（例：高価値な関連性を保護しながら、古いノイズをクリアする）を行うことが不可能である。
2. 書き込みゲートの帯域幅ボトルネック (Write-Gate Bandwidth Bottleneck): GDN-2における書き込みゲートの射影は、入力をフル $d_v \times d_k$ 行列にマッピングする。これは値（value）の射影自体と同等のパラメータ数とメモリフットプリントを課すが、著者らは、この値ごとの選択性がコアとなる連想想起（associative recall）タスクに対して、無視できる程度の表現力の向上しか提供しないと主張している。
3. チャンク並列性の破壊 (Destruction of Chunk-Parallelism): デルタ則モデルの効率的な学習は、トークンを単一のリニアシステムにバッチ化するWY形式の三角チャンクソルバー（WY-form triangular chunk solver）に依存している。しかし、GDN-2の消去ゲートは値（value）軸とキー（key）軸の両方に作用する。この結合により、チャンク内のシステムが $d_{\text{v}}$ 個の独立した解法（各値の行ごとに1つ）に分解することを強制され、訓練スループットが並列な $O(\log T)$ から逐次的な再帰コストへと崩壊してしまう。

2. 手法: CARVE アーキテクチャ

CARVEは、すべてのゲーティングをキー軸のみに制限するという単一のアーキテクチャ制約を通じて、これら3つの問題を同時に解決する。この制約は、WY形式のチャンクソルバーが有効であり続けるための必要十分条件であることが証明されている。

2.1 出力の再利用によるコンテンツ認識型消去 (Content-Aware Erase via Output Reuse)

高帯域幅メモリ（HBM）から状態行列 $S_{t-1}$ を読み出すという膨大なコストを回避しつつ、メモリ認識型のゲーティングを可能にするために、CARVEは新しいリードアウト機構を導入している：

• メカニズム: 再帰的な出力テンソル $o_t = S_{t-1}q_t$ は、すでに計算され、カーネルによってHBMに書き込まれている。CARVEはこのテンソルを再利用して、チャンク平均 $m_c = \frac{1}{L}\sum o_t$ を計算する。
• ゲーティング: このチャンク平均は、ゼロ初期化された低ランク射影 $U_b$ を通じてコンテンツ信号として機能し、消去ゲートを変調する：$b_{c,t} = \sigma(b_{x,t} + U_b m_c)$。
• 効率性: これにより追加のHBMトラフィックは発生しない。信号は1チャンク分「古い」状態であるが、理論的解析によれば、結果として生じるゲートの摂動は $O(1/\sqrt{L})$ で減衰し、チャンク長 $L=128$ までの範囲で、実測でも0.18%の平坦な偏差となっている。

2.2 スカラー値書き込みゲート (Scalar Value Write Gate)

CARVEは、$d_v$ 次元の値ごとの書き込みゲート射影を、各アテンションヘッドに対して一様にブロードキャストされる単一のスカラー $w_{h,t}$ に置き換える。

• 影響: これにより、書き込みゲートのパラメータ数が $d_v$ 倍減少する（例：$H=12, d_v=768$ の場合、1レイヤーあたり589,824から9,216へ）。
• 理論的保証: 著者らは、単一スロットの連想想起にはスカラーが十分であることを証明しており（定理15）、この削減がコアタスクにおいて損失がないことを示している。

2.3 キー軸の減衰と融合 (Key-Axis Decay and Fusion)

このアーキテクチャは、キー軸に対して厳密に指数関数的減衰ゲートを採用している。減衰活性化はTritonカーネル内で直接融合（"gate-in-kernel"）されており、フルシーケンスの活性化テンソルを保存する必要がなく、メモリ節約とスループット向上を実現している。

3. 主な貢献と理論的保証

本論文は、設計の根拠となる6つの形式的な理論的結果を提供している：

1. チャンク可能性の境界 (定理11): キー軸のみの消去が、WY形式の三角チャンクソルバーが分解なしに機能するための必要十分条件であることを証明している。
2. 包含関係の階層 (定理1): CARVEが、メモリ盲目型のキー軸アーキテクチャ、スカラーゲートネットワーク、およびオリジナルのデルタ則を厳密に包含（一般化）していることを確立している。
3. 非比較性 (命題2): CARVEとGDN-2が構造的に異なる部分空間で動作していることを示している。両者は互いに包含関係にはないが、CARVEはより優れたメモリ条件付きの能力を提供する。
4. リアプノフ安定性 (定理4): CARVEの二軸ゲーティング（減衰＋消去）が、GDN-2よりも厳密にタイトな収縮比を提供し、状態ノルムが有界であることを示す。
5. 勾配フロー (定理5): 勾配ノルムを制限し、CARVEが新たな勾配消失の病理を導入しないことを示す。
6. 表現力の分離 (定理7): CARVEが $O(d_v + d_k)$ のパラメータで「選択的キー上書き（SKO）」タスクを解けることを証明している。これに対し、メモリ盲目型のゲートは、幅に関わらず失敗する。

4. 実験結果

NVIDIA H100 GPUを使用し、FineWeb-Eduの100Bトークンを用いて1.3Bパラメータスケールで評価を行った（3つのシードの平均）：

• 言語モデリング: WikiTextにおいて、CARVEはパープレキシティ 15.72 を達成し、GDN-2の15.90と比較して減少（$-0.18$、4.5$\sigma$の効果）した。ハイブリッド・バリアント（CARVE + Sliding Window Attention）は、15.62に対し 15.41 に達した。
• 推論ベンチマーク: CARVEは、9つの一般的な常識推論タスクにおいて、すべての再帰型ベースラインを平均 +0.63パーセントポイント 上回った。
• インコンテキスト検索 (RULER): すべての Single-Needle (S-NIAH) および Multi-Key Needle (MK-NIAH) コンテキスト長において、SOTA（最先端）を記録し、Mamba-3やGDN-2を凌駕した。
• 実世界での検索: 再帰型およびハイブリッド構成の両方において、6つの実世界のリコールベンチマーク（SWDE, SQuAD, FDAなど）でトップに立った。
• ハードウェア効率:
  • スループット: 93.36K tokens/sec であり、GDN-2のベースラインから0.4%以内（統計的に無視できる差）である。
  • メモリ: ピークメモリ使用量は 13% 低下 した（6.54 GB vs 7.50 GB）。
  • パラメータ: スカラー書き込みゲートにより、ミキサーのパラメータが 19% 減少 した。

5. 重要性と主張

本論文は、CARVEが以下の3点を同時に達成した最初のゲート型デルタ・ファミリーのアーキテクチャであると主張している：

1. コンテンツ認識型ゲーティング（忘れる前にメモリを観測する）を、追加のメモリコストなしで実現。
2. 完全なWY形式のチャンク並列学習（高いスループットを維持）。
3. 削減されたパラメータ数（スカラー書き込みゲートによる）。

著者らは、これらの改善は近似ではなく、形式的な証明とハードウェア測定に基づいていることを強調している。この設計は、より豊かなゲーティング、より低い帯域幅、そして並列学習という、GDN-2のようなモデルを制約していた「三すくみの緊張関係」を解消している。論文は、「忘れることを決める前に自身のメモリを見ることができる」能力は、出力テンソルを再利用することで追加コストなしに達成可能であり、再帰型言語モデルの効率と能力を根本的に向上させるものであると結論づけている。

認められた限界: コンテンツ信号は前回のチャンクの平均に依存するため、2チャンク未満のシーケンスではコンテンツ信号が得られない。評価は現在プリトレーニングに限定されており、ファインチューニングや指示追従（instruction-following）のレジームにおける挙動は未解決の課題である。