技術要約：ユリーソンの梯子（The Urysohn Ladder）：スケーラブルな継続学習のための再帰的計量収縮

1. 問題提起

継続学習システムは、根本的な幾何学的障害に直面している。すなわち、固定容量のマニフォールド上で経験が無制限に蓄積されることで、被覆数が時間とともに線形に増大するという問題である。この拡張は最終的に表現の重複を強制し、破滅的干渉を引き起こす。古典的な結果によれば、固定された $d$ 次元の空間において、安定して分離可能な領域の数は $O(d)$ に制限され、長さ $L$ の軌道の被覆数は $\Theta(L/\epsilon)$ として成長する。

従来の多くのアプローチは、カーネル、過剰パラメータ化、またはリプレイによる高次元空間への投影という「拡張」によって、これを「パッキング問題」として対処している。著者らは、これらの戦略は持続不可能であると主張する。なぜなら、表現リソースは経験に対して少なくとも線形に成長しなければならないからである。オープンエンドな環境では、「次元の呪い」により、絡み合ったマニフォールドを分離するために必要な体積は指数関数的に増大し、いかなる有限の拡張をも圧倒してしまう。

2. 手法：ユリーソンの梯子（The Urysohn Ladder）

本論文は、拡張ではなく「収縮」に基づく解決策を提案する。ユリーソンの梯子と呼ばれるコアフレームワークは、抽象化を、検証された計量近傍をコンパクトなトークンへと再帰的に崩壊させる商写像（quotient maps）の階層として定式化する。これは、無制限な周囲空間における探索を、低次元の固有のスキャフォールド（足場）上での有界なナビゲーションへと変換するものである。

2.1 コアメカニズム

• 再帰的計量収縮（Recursive Metric Contraction）: 時間的マニフォールド上の検証された部分軌道は、商写像 ($q: M \to M/\sim$) を通じて崩壊する。この演算子 $\Psi$ は、検証された部分集合 $U$ 内の内部距離をゼロに収縮させ、 $U$ 内のすべての点を単一の同値類（一つの「トークン」）として識別する。幾何学的には、これは「ワームホール」として機能し、極端な曲率を持つ領域を作り出し、遠く離れた事象を即座に近接させる。
• パリティ交互原理（Parity Alternation Principle）: このプロセス中の安定性を確保するため、状態空間は二つの直交する部分空間に分解される：
  • 奇数パリティ・フロー ($H_{odd}$): 高エントロピーの拡張フェーズ。システムが候補となる近傍を探索し、境界の失敗を特定する（可塑性）。
  • 偶数パリティ・スキャフォールド ($H_{even}$): 低エントロピーの収縮フェーズ。検証された回帰的構造が不変なトークンとして安定化される（安定性）。
  • これらのフェーズ間の交互作用は「セパレーター・ポンプ」として機能し、以前に保存されたトークンを乱すことなく、クラスのサポート間のマージン $\delta$ を単調に増加させる。

2.2 理論的枠組み

このアプローチは**ユリーソンの補題（Urysohn's Lemma）**に依拠している。これは、正規位相空間において、任意の二つの互いに素な閉集合に対して、連続な分離関数が存在することを保証するものである。著者らは、計量収縮こそが、周囲の次元に関わらず、この補題を適用するために必要な「互いに素であること」を製造する構成的なメカニズムであると主張している。

3. 主要な貢献と理論的結果

本論文は、分離可能性、有界容量、安定性、およびスケーラビリティを総括的に保証する4つの形式的な結果を確立している。

1. 分離可能性（定理1および定理4）: 計量収縮は、商位相を通じて非線形に絡み合った構造を線形分離可能にする。論文では、基本マニフォールド上に分離関数が存在すれば、それが全商階層を通じて忠実に伝播することを証明している。検証された部分マニフォールドを商点へと崩壊させることで、空間が変形され、クラス内のパスは短縮される一方で、境界を横切るパスは長くなり、線形分離が促進される。
2. 安定性（定理2）: パラメータを、分離された更新ルールを持つフロー用部分空間 ($\theta_F$) とスキャフォールド用部分空間 ($\theta_S$) に分割することで、システムは破滅的干渉なしに無制限の可塑性を達成する。フローフェーズにおける更新はスキャフォールドへの射影がゼロであり、新しいタスクの学習が保存されたトークンの不変性を上書きしないことを保証する。
3. 有界容量（定理3）: 再帰的計量収縮は、被覆数の線形成長 ($N \propto L$) を、階層の深さにおける対数的成長へと変換する。一連のマニフォールドが再帰的に $\rho$-圧縮可能である場合、深さ $D$ における被覆数は $N(\epsilon, M_D) \leq \rho^{-D}N(\epsilon, M_0)$ とスケールする。これにより、幅を増やすのではなく、階層の深さ ($D = O(\log L)$) を増やすことで、任意に長いストリームに対して有界な表現需要を実現できる。
4. スケーラビリティ（定理4）: 推論コストは、元の軌道を探索する「周囲距離（ambient distance）」ではなく、「商距離（quotient distance）」（コンパクトなスキャフォールド上のナビゲーション）に従ってスケールする。これは、線形な幅を対数的な深さへと実質的にトレードすることであり、空間がシリアルな検証によって管理されるサヴィッチ型の再帰に類似している。

4. 実証的検証

著者らは、事前学習済みモデルと実世界のデータセット（MNIST, CIFAR-10, Permuted-MNIST, GPT-2）を用いてこれらの主張を検証している。

• 実験1（分離可能性）: MNISTおよびCIFAR-10を用いた教師あり対照学習を用い、より強い計量収縮（クラス内距離の減少）が、埋め込み次元を増やすことなく、線形プローブの精度を単調に向上させることを示している。高い収縮強度において線形分離性が達成されることは、商写向が十分に強力であればカーネルトリックは不要であることを裏付けている。
• 実験2（安定性）: Permuted-MNISTにおいて、パリティ分割されたMLP（偶数層をスキャフォールドとして凍結し、奇数層をタスクごとに再初期化する）は、ゼロの忘却を達成した。これに対し、ファインチューニングは破滅的忘却に陥り、EWC（Elastic Weight Consolidation）は部分的な緩和にとどまった。
• 実験3（有界容量）: GPT-2の隠れ状態を用い、再帰的圧縮（隣接する状態の結合）をシミュレートした。平坦な被覆数はコンテキスト長とともに線形に成長したが、階層的圧縮を用いると、トップレベルの被覆数は有界に保たれた。これは、理論的境界 $N(\epsilon, M_D) \approx O(1)$ を裏付けるものである。

5. 意義と主張

本論文は、継続学習を幾何学的な変形問題として再定義することで、可塑性と安定性のパラドックスを解決することを主張している。その主要な意義は、標準的なパラダイムを逆転させている点にある。すなわち、複雑な集合を解きほぐすために次元を追加するのではなく、集合が位相的に分離されるまで計量を収縮させるのである。

• 幾何学的洞察: 本研究は、「次元の呪い」とは、生の入力ストリームにおける「リプシッツ連続性の呪い」であると断じている。そこでは、絡み合ったマニフォールドを分離するために無限のエネルギーが必要となる。商収縮は、有限のエネルギーによる分離に必要なマージンを作り出す。
• スケーラビリティ: 学習されたトークンを測地線のショートカット（ワームホール）として扱うことで、本フレームワークは、パラメータ数やリプレイ予算を増やすことなく、生涯学習（lifelong learning）をスケールアップできることを示唆している。代わりに、容量と干渉は、内在的な構造と階層の深さによって制御される。
• エネルギー効率: 「書き込み」コスト（スキャフォールドにおける稀な構造的コミットメント）と「読み取り／ルーティング」コスト（スキャフォールド上の安価なトラバーサル）を分離することは、特にエッジコンピューティングやニューロモーフィック・ハードウェアにおける、エネルギー効率の高い機械学習への道筋を提供する。

著者らは、本フレームワークがスケーラブルなシステムを設計するための原理的なレンズを提供する一方で、特定の位相的仮定（例：検証された回帰的構造の存在）に依存しており、それらが多様な設定において実験的に検証される必要があることを認め、控えめな姿勢を保っている。また、トポロジー的なメタファーを、神経生理学的な証拠なしに生物学的な主張として過剰に解釈することについても注意を促している。