🤖 machine learning

CART: Context-Anchored Recurrent Transformer -- A Parameter-Efficient Architecture with Learned Stability

本論文は、学習された安定化メカニズムを介して単一のコアブロックを再利用するパラメータ効率の高い言語モデルであるCARTを紹介しているが、前置部の深さが性能を支配している一方で、そのアーキテクチャは最終的にパラメータ数が一致する高密度なベースラインを下回り、効果的なテスト時における深さのスケーリングをサポートできていないことを見出している。

原著者： Chad A. Capps

公開日 2026-06-02

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Chad A. Capps

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ビッグアイデア：「ループする」言語モデル

あなたが物語を書こうとしている場面を想像してみてください。AIが行う標準的な方法（Transformerと呼ばれます）は、12人の異なる編集者のチームを雇うようなものです。編集者1が最初の文章を読み、編集者2が編集者1の書いたものを読み、編集者3が編集者2の書いたものを読む……という具合です。各編集者は独自のスタイルとメモを持っています。これは優れた手法ですが、12人分の給料を支払わなければならないため、コストがかかります。

CART (Context-Anchored Recurrent Transformer) は、異なるアプローチを試みます。たった一人の編集者を雇い、その人に物語を6回（あるいはそれ以上）読ませるのです。

目標: より少ないパラメータ（より小さなチーム）で、同等の執筆品質を実現し、コストとメモリを節約すること。
課題: もし同じ人に同じものを6回も読ませたら、その人は退屈して同じ間違いを繰り返してしまうかもしれません。課題は、新しい人を増やさずに、その一人の編集者が回を重ねるごとに賢くなっていくようにすることです。

CARTの仕組み：「アンカー」と「ゲート」

CARTには、このループを機能させるための3つの特別なトリックがあります。

「アンカー」（凍結された地図）:
- 標準的なループ: 他のループ型モデルでは、編集者が物語を読むたびに、重要な単語がどこにあるかを示す地図を書き直します。これは遅く、無駄が多い作業です。
- CARTのやり方: ループが始まる前に、「プレリュード（前奏）」と呼ばれる少数の「プレ・エディター（前編集者）」が物語を一度読み、重要な単語の完璧で詳細な地図を描きます。この地図は**凍結（フリーズ）**されます。
- ループ: その後、ループする単一の編集者は、物語を読むたびに毎回、この同じ凍結された地図を見ます。彼らは地図を書き直すのではなく、理解を深めるための安定したアンカーとしてそれを使用します。これにより、計算能力を大幅に節定できます。
「ゲート」（安定性のスイッチ）:
- 問題点: 何かを何度も繰り返し考えさせると、人は混乱したり、幻覚を見たり（理性を失ったり）することがあります。
- CARTの解決策: 前の思考をどれくらい保持するかを制御する「ゲート」があります。これは音量つまみのようなものです。もし編集者の思考が混沌としてきたら、ゲートが音量を少し下げます。
- 発見: 研究の結果、このゲートは非常に特定の「スイートスポット」（0.79から0.83の間の数値）に落ち着くことが分かりました。これはエンジニアが強制したものではなく、AIが安定性を保つために自ら学習した設定です。
「ループ・インデックス」（ステップカウンター）:
- 編集者はカウンター（1, 2, 3...）を与えられ、自分が今何回目のパスにいるのかを知ることができます。これにより、思考の初期段階にいるのか、最終的な仕上げ段階にいるのかを判断できます。

実験：何が起きたのか？

研究者たちは、2段階のトレーニングを用いて、単一のコンシューマー向けグラフィックスカード（高性能なゲーミングPCのようなもの）でこのテストを行いました。

ステージ1：クイックテスト（「直感」）

多くの小さなバージョンのCARTを素早くトレーニングしました。
直感: 彼らは、より大規模で複雑なモデルの場合、ループ回数を増やすこと（例：6回ではなく8回）が、はるかに効果的であると考えていました。「ループが多い＝より賢いAI」という予測です。

ステージ2：フル・トレーニング（「現実の検証」）

モデルをより長時間トレーニングしました（約10億語のテキストを使用）。
驚きの結果: 直感は外れました。フル・トレーニングを行った結果、ループ回数を増やすと、モデルの性能はわずかに低下するか、あるいは全く向上しませんでした。
例え話: 学生に教科書の章を10回読むよう指示したとしましょう。クイックテストでは、10回読むのが素晴らしいように見えます。しかし、学期全体を通して勉強してみると、6回読むのが十分だと気づきます。8回や10回読むことは、収穫逓減（利益が減ること）や混乱を招くだけです。モデルは、この特定のセットアップにおいては「ループが多いこと」が「より高い知能」を意味しないことを学習しました。

最終判定：勝ったのか？

研究者たちは、メモリ容量が同じである「一人の編集者が6回ループする」モデルを、標準的な「6人の異なる編集者」モデル（Dense Transformer）と比較しました。

結果: 標準的なモデル（6人の異なる編集者）の方が、CARTモデルよりも優れていました。
- 標準モデルは、言語理解において約10%高い性能を示しました。
- たとえ標準モデルに同じ「実質的なパワー」を与えたとしても（編集者を12人に増やした場合）、それでもCARTを圧倒しました。

なぜCARTは負けたのか？
研究者たちは、原因を突き止めるために「解剖（診断的アブレーション）」を行いました。

「凍結された地図」は問題ではなかった: たとえ編集者が毎回地図を書き直せるようにしても、性能向上にはあまり寄与しませんでした。
「仕組み」は役に立たなかった: 彼らが追加した特別な装置（安定化ゲート、ステップカウンター、過去の思考の混合）は、ほとんどが装飾的なものでした。これらを取り除いても、パフォーマンスへの影響はほとんどありませんでした。
真の問題: 最大の問題は、重み（ウェイト）を共有していることでした。「一人の編集者が6回パスを行うこと」が「6人の異なる編集者であること」と同等であるという考えは、結局のところ成立しませんでした。共有された重みがボトルネックとなったのです。「ヘテロジニアス（異種混合）」な設計（プレ・エディター、凍結されたアンカー、そしてループする編集者の組み合わせ）は、単純で均一な編集者のスタックよりも複雑すぎて、効率が悪かったのです。

一文でのまとめ

CARTは、凍結された参照マップを用いることで、単一のAIブロックに繰り返し「思考」させるという、メモリ効率の良い巧妙なアイデアですが、結局のところ、一人の専門家がループするよりも、ユニークな専門家のチーム（標準的なモデル）を持つ方が依然として優れていることが判明しました。また、ループを安定させるために追加された様々な仕掛けは、ほとんど不要なものでした。

将来への重要な教訓:
本論文は、「凍結されたアンカー」は計算能力を節約できるものの、単に共有されたコードブロックをループさせるだけで膨大な知能の向上を得られるという約束は、この規模では実現できなかったと結論付けています。このアーキテクチャは安定しており興味深いものですが、単純なコストパフォーマンス（性能あたりの価格）において、標準的なアプローチを打ち負かすことはできませんでした。

技術要約: CART (Context-Anchored Recurrent Transformer)

問題提起

言語モデリングにおける支配的なパラダイムであるスタック型トランスフォーマーは、パラメータ数を深さ（ $L$ 個の一意なレイヤー）に対して線形にスケールさせるため、制約のあるハードウェアへのデプロイメントにおいてメモリのボトルネックを生じさせる。深さ再帰型（またはループ型）トランスフォーマーは、共有ブロックを複数回（ $R$ 回）通過する際に単一のパラメータセットを再利用することで、この問題に対処しようと試みている。しかし、素朴な重み共有は、深さが一致した一意のモデルよりも性能が低くなることが多い。これは、同一のブロックをそのまま繰り返し適用すると、ループの反復を通じて挙動を適応させることができないためである。ハイパー接続、ループインデックス埋め込み、あるいは明示的な安定性制約といった先行研究は、これを緩和しようと試みてきたが、決定的なアーキテクチャ上のギャップが残っている。すなわち、ほとんどの並行するループ型アーキテクチャ（Hyperloop、Parcae、OpenMythosなど）は、進化する隠れ状態からキー・バリュー（K, V）表現を毎回の反復ステップで再計算しており、コンテキストのエンコーディングと反復的な洗練（refinement）の分離に失敗している。

手法: CART アーキテクチャ

CARTは、以下の3つの具体的なアーキテクチャ上の貢献によって特徴付けられる、パラメータ効率の高いアーキテクチャを導入する。

一度限りの計算によるKVアンカー (Once-Computed KV Anchor): 前述の先行研究とは異なり、CARTはマルチレイヤーの「プレリュード（序曲）」（一意な $P$ 個のトランスフォーマーレイヤーのセット）から K と V を一度だけ計算し、それらを固定して保持する。再帰的なコアは、これらの凍結されたテンソルに対してクロスアテンションを実行する。これにより、コンテキストのエンコーディング（プレリュード）と反復的な洗練（コア）を分離し、冗長なKV投影を排除することで、ループごとのFLOPsを削減する。
シグモイドゲート付きLTIによる学習された安定性: 再帰計算の収束を確実にするため、CARTは学習可能な線形時不変（LTI）ゲートを採用している： $h_{\ell} = \sigma(a) \odot h_{in} + f_{transformer}(h)$ 。他の研究で使用されている構造的制約（ゼロ次ホールド離散化など）とは異なり、このゲートはデータから直接収束率（スペクトル半径 $\varrho$ ）を学習し、構造的な硬直性を伴わずに $\varrho < 1$ を保証する。
因果的クロスアテンション制約: 本論文は、自己回帰的な再帰モデルにおける重要な制約を特定している。すなわち、コアからプレリュードへのクロスアテンションは因果的（causal）でなければならない。非因果的なアテンションは、プレリュードのコンテキストからの未来のトークンを再帰状態へとリークさせ、損失の崩壊を引き起こす。

アーキテクチャは「プレリュード $\to$ アンカー $\to$ コア $\to$ コーダ（終曲）」というトポロジーに従う。プレリュード（ $P$ 個の一意なレイヤー）がコンテキストアンカー $e$ を生成する。コア（共有された重み、 $R$ 回の反復）は、 $e$ からの凍結された K, V を用いて状態を洗練する。単一の一意な「コーダ」レイヤーが最終的なロジットを生成する。

実験設定

著者らは、コンシューマーグレードのGPU（RTX 3050 および RTX 3090）を用い、単一パスのコーパス（ $\sim$ 1B トークンの TinyStories, Wikipedia, FineWeb-Edu）を用いて、2段階で CART を評価した。

ステージ 1: ハイパーパラメータのスクリーン（ $d \in \{256, 512, 768, 1024\}$ , $R \in \{2, 4, 6, 8\}$ , $P \in \{2, 3, 4, 6\}$ ）を行い、3,000 ステップ（ $\sim$ 49M トークン）学習させた。
ステージ 2: 36 個の構成（ $P=6$ , $R \in \{6, 8, 10\}$ , 各3シード）について、30,500 ステップ（ $\sim$ 1B トークン）のフルトレーニングを実施した。
ベースライン: 結合スケール（ $d=1024$ ）において、CART は、保存パラメータ（7レイヤー）および実効パラメータ（12レイヤー）の両方で一致させた Dense トランスフォーマーと比較された。

主な結果

1. 安定性とスペクトル半径

全36構成のステージ2において、学習されたLTIゲートのスペクトル半径 $\varrho$ は $[0.79, 0.83]$ という狭い帯域に落ち着いた。この値は固定された設計目標ではなく、訓練から創発されるものである。 $\varrho$ はモデル幅（ $d$ ）とともに単調に上昇し、ループ回数（ $R$ ）に対しては弱く上昇する。ステージ1で観察された「普遍的な」 $\varrho \approx 0.893$ は、フルトレーニング中に減衰する中間的な過渡現象であることが特定された。

2. 再帰の恩恵の逆転 ( $R$ )

ステージ1とステージ2の間で見られた決定的な傾向の逆転がある：

ステージ 1 (3k ステップ): 再帰の深さ（ $R$ ）は、モデル幅（ $d$ ）が増加するにつれてより価値が高まる（ $d=1024$ において $R=8$ は $R=2$ を大幅に上回る）ことを示唆した。
ステージ 2 (30.5k ステップ): この傾向は逆転した。フルトレーニングでは、すべてのスケール $d \ge 512$ において $R=6$ が最良の構成であった。 $R$ を 8 や 10 に増やすと、パフォーマンスの低下（パープレキシティにおいて最大1%の退行）を招いた。
推論のスケーリング: 最良の $d=1024$ モデル（ $R=6$ で学習）を用いた可変- $R$ 推論では、学習時よりも多くの反復（ $R$ ）を実行すると、HellaSwag、LAMBADA、PIQA の性能が一貫して低下することが示された。これは、現在のトレーニングレシピにおけるテスト時計算量スケーリングに関する明確なネガティブな結果を示している。

3. パラメータ効率の主張

結合テスト（ $d=1024$ , $\sim$ 1B トークン）において：

保存パラメータの一致: CART の保存パラメータに一致させた Dense 7レイヤーモデルは、パープレキシティ指標において CART ( $P=6, R=6$ ) を1〜2%上回った。
実効パラメータの一致: CART の実効パラメータに一致させた Dense 12レイヤーモデルは、自然言語セットにおいて CART を約10%上回った。
結論: 共有重みの再帰が $R$ 倍の実効容量を提供するという仮説は、このスケールおよび学習予算においては成立しなかった。

4. 診断的アブレーション

著者らは、CART と Dense ベースラインの間の性能差を分解した：

凍結 K, V: K, V をアンフリーズして（各ステップで再計算して）も性能は有意には向上せず、凍結されたアンカーが主要なボトルネックではないことが示された。
再帰の深さ: $R$ を 1 に減少させると（再帰を除去）、わずか $\sim$ 1% の低下しか見られず、再帰的なコアは最初の反復以降、わずかな寄与しかしていないことが示唆された。
重み共有: コアの重みをアンシェア（各反復に固有のパラメータを付与）すると、性能が約5%向上した。これにより、重み共有が重大な容量のボトルネックであることが確認された。
機構コンポーネント: HyperConnection、LTIゲート、およびループインデックス埋め込み（LIE）のアブレーションにより、これらは共有重み構成においては**形骸的（vestigial）**であることが示された。これらを個別に削除しても、パープレキシティへの測定可能な影響はなかった。
残差ギャップ: Dense ベースラインとの残りの $\sim$ 5% の差は、むしろ「プレリュード $\to$ アンカー $\to$ コア $\to$ コーダ」というヘテロジニアスなフレーミング自体に起因している。

意義と主張

本論文は、CART を深さ再帰型トランスフォーマーに関する厳密な経験的調査として提示しており、主に3つの貢献を主張している：

アーキテクチャの区別: CART は、プレリュードから K, V を一度だけ計算し、それらを凍結されたアンカーとして再利用することで、コンテキストのエンコーディングと洗練を分離した、この系統のモデルの中で初めてのアーキテクチャである。
学習された安定性: シグモイドゲート付き LTI フィルタが、構造的な制約なしに安定した収束率（ $\varrho \in [0.79, 0.83]$ ）を学習できることを示した。
経験的な現実チェック: 共有重みの再帰に関するパラメータ効率について、「明確なネガティブな結果」を提供している。具体的には、以下を示した：
- 再帰の深さ（ $R$ ）の恩恵は、フルトレーニングにおいては必ずしもモデル幅とともに増大するわけではなく、むしろ逆転する場合がある。
- テスト時の計算量スケーリング（推論時に $R$ を増やすこと）は、学習時と一致していない場合、有害である。
- 「共有重みのレバレッジ」理論（ $R$ 回の反復が $R$ 個の一意なレイヤーと同等であるという説）は、 $d=1024$ かつ $\sim$ 1B トークンのスケールでは成立せず、アーキテクチャはパラメータが一致した Dense ベースラインに敗北する。

著者らは、CART が決定論的なレイテンシと固定されたメモリ使用量を提供する（デプロイメントに有利である）一方で、現在の定式化では、テストされたスケールにおいて標準的な Dense トランスフォーマーを凌駕するために必要なパラメータ効率を実現できていないと結論づけている。これらの知見は、特定の再帰機構（HyperConnection、LTI、LIE）ではなく、ヘテロジニアスなアーキテクチャのフレーミングと重み共有が主要なボトルネックであることを示唆している。

ビッグアイデア： 「ループする」言語モデル