🤖 machine learning

Adynamical systems view of training generativemodels and the memorization phenomenon

本論文は、確率的勾配降下法における二時間スケールダイナミクスとモデル崩壊に関する最近の結果を活用する動的システム論的視点を用いて、生成モデルの出力が訓練中に長期間にわたり静的に留まる記憶現象に対するシステム論的説明を提供する。

原著者： Siva Athreya, Chiranjib Bhattacharya, Vivek S. Borkar

公開日 2026-05-20

📖 1 分で読めます☕ さくっと読める

原著者： Siva Athreya, Chiranjib Bhattacharya, Vivek S. Borkar

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、この論文を平易な言葉と創造的な比喩を用いて解説したものです。

全体像：なぜ AI は「同じアイデア」に陥り込むのか

ロボットに絵を描くことを教えると想像してください。あなたは、風景の一般的なスタイルを学ばせ、それによって新しい美しい風景を生み出せるようにしたいと考えています。しかし、奇妙な不具合に気づきます。しばらくすると、ロボットは新しい芸術作品を生み出すのをやめ、何時間もかけて同じ木、あるいは同じ雲を繰り返し描き始めるのです。それは一般的な概念を学んだのではなく、特定の出力を「暗記」してしまったのです。

この論文は、なぜこれが起こるのかを説明します。著者たちは、これは単なるコードのバグではなく、ロボットが学習する仕組み、特に学習中にどのくらいの速さでステップを踏むかという点に起因する、自然な帰結であると主張しています。

彼らは、学習プロセスを静的な数学問題ではなく、動的システム（凹凸のある丘を転がるボールのようなもの）として捉えています。

中核概念：学習の「2 つの速さ」

著者たちは、ロボットの脳（モデル）には、非常に異なる速度で学習する 2 つの異なる部分があることを示唆しています。これを重いバックパックを背負ったハイカーに例えて考えてみましょう。

速いハイカー（「速い」変数）： 脳のこの部分は素早く学習します。ハイカーの足のように、地形に合わせて絶えず調整している部分です。
遅いハイカー（「遅い」変数）： この部分は非常にゆっくりと学習します。ハイカーのバックパックのように、重量が時折しかシフトしない部分です。

現実世界では、「損失関数」（ロボットの絵がどれほど悪いかを測る尺度）は、速い変数に大きく依存し、遅い変数にはわずかにしか依存しません。このため、速い変数は良い場所を見つけるために素早く動き回りますが、遅い変数はほとんど動きません。

「崩壊」現象：穴に閉じ込められる

まず、著者たちは**「崩壊（Collapse）」**と呼ばれるより単純な問題を説明します。

ロボットが谷の最も低い点（最良の解）を見つけようとしていると想像してください。

理想的なシナリオ： ロボットが小さく、縮小するステップ（慎重な探検家のよう）を踏む場合、最終的に谷の底に落ち着き、そこに留まります。
「崩壊」シナリオ： ロボットが一定で安定したステップ（一定のペースで歩く人のよう）を踏む場合、底をオーバーシュートし、跳ね返って、小さな局所的なくぼみに閉じ込められてしまう可能性があります。

論文の言葉で言えば、ロボットが「揺さぶり」を与えるノイズなしに単にデータを生成しようとしている場合、最終的に単一の固定された出力へと崩壊します。それは生成器としての機能を停止し、ある特定の画像の記録装置へと変わります。数学的には、これはボールが穴に転がり込み、そこに永遠に留まるようなものです。

「暗記」現象：怠惰な発振器

さて、ここが転換点です。著者たちは、**「暗記（Memorization）」**は「崩壊」と「漂流（Drift）」の混合であると説明します。

ロボットに2 つの異なる速度（速い変数と遅い変数）があり、一定のステップを踏んでいるため、興味深いことが起こります。

速い部分が崩壊する： 速い変数は素早く局所的なくぼみ（特定の画像スタイル）に落ち着きます。ロボットはその画像を繰り返し出力し始めます。これは「暗記」のように見えます。
遅い部分が漂流する： しかし、遅い変数はまだ動いています（非常にゆっくりですが）。それらは問題の「風景」をゆっくりと押し動かしています。
ジャンプ： 最終的に、遅い漂流が速い変数を現在のくぼみから押し出します。ロボットは突然異なるくぼみ（異なる画像）へとジャンプし、そこで長い間落ち着きます。

比喩： 弛緩発振器（ホタルの点滅や心拍のようなもの）を想像してください。

ロボットは長い間、ある場所で「眠り」（ある画像を暗記）ます。
その後、ゆっくりと圧力が高まり、新しい場所へと「ジャンプ」します。
そこに留まり、再び眠り、これを繰り返します。

これが**「暗記」*です。ロボットは1 つの*画像に永遠に閉じ込められているわけではありません。1 つの画像に長い間閉じ込められ、その後別のものへ、さらに別のものへと切り替わります。閉じ込められてからゆっくりと漂流して離れるという、断続的なサイクルなのです。

なぜステップサイズが重要なのか

この論文は、この現象が特に学習アルゴリズムが一定のステップサイズ（固定されたペース）を使用しているために起こることを強調しています。

小さなステップ： ロボットが小さなステップを踏む場合、円滑に落ち着き、ループに閉じ込められることなく一般的な形状を学習します。
一定のステップ： ロボットが同じ大きさのステップを取り続ける場合、「綱引き」が生じます。速い変数は落ち着こうとしますが、一定の運動量が彼らを押し続けるのです。
大きなステップ（ノイズ）： 著者たちは、ステップを非常に大きくすると、「揺さぶり」であるノイズが多くなりすぎて、ロボットが暗記のループに落ち着くことが全くできなくなると指摘しています。閉じ込められるほどには、あまりにも多く跳ね回ることになります。これは、大きなステップを使用する一部の学習手法が暗記を回避する理由を説明しています。

著者らの主張の要約

高次元が「2 つの速さ」を生む： AI モデルには非常に多くのパラメータがあるため、一部は速く、一部は遅く学習します。
一定のステップがループを生む： 固定された学習率を使用すると、システムが完全に落ち着くことが防がれます。
崩壊は基礎である： ノイズがなければ、システムは単一の出力で凍結してしまいます。
暗記は「漂流する崩壊」である： 遅い変数が動き続けるため、システムはしばらくある出力に閉じ込められ、その後ゆっくりと新しいものへと漂流し、反復のサイクルを生み出します。

この論文は、これをすぐに修正する新しいツールを提供するものではありませんが、なぜこれが起こるのかを示す数学的な地図を提供しています。それは、暗記がランダムなエラーではなく、固定されたペースで 2 つの異なる速度で移動するシステムの予測可能な振る舞いであることを私たちに伝えています。

技術的サマリー：生成モデルの学習と記憶現象に対する力学系視点

問題定義
本論文は、特に拡散モデルにおける生成モデルの「記憶（memorization）」現象を取り扱っている。経験的に、学習プロセス中、これらのモデルは多様な出力を生成するのではなく、一定期間にわたって同一または極めて類似したサンプルを再生成するフェーズに時折入ることがある。既存の文献は、この現象を静的な統計力学や損失地形の熱力学的観点から分析することが多いが、本研究は力学系の視点からこれを提案する。著者らは、記憶が単に損失地形の静的な性質ではなく、確率勾配降下法（SGD）における一定のステップサイズの使用とマルコフノイズの存在によって駆動される、学習アルゴリズムの時間的進化に伴う創発的な振る舞いであると主張する。

手法と枠組み
著者らは、以下の 3 つの中核的要素に基づいた理論的枠組みを構築する。

Austin の定理による二重時間スケール力学
Austin [2016] に基づき、著者らはリプシッツ制約を持つ高次元パラメータ空間において、損失関数がパラメータの一部分に対して強く依存し、残りの部分に対しては弱く依存すると仮定する。これは、目的関数 $F(z)$ （ただし $z=(x,y)$ ）が $0 < \epsilon \ll 1$ に対して $F(z) = f(x, \epsilon y)$ の形式をとるような様式化されたモデルを動機づける。この構造は、SGD 更新において $x$ に対する速い時間スケールと $y$ に対する遅い時間スケールという、2 つの明確な時間スケールを自然に誘発する。
マルコフノイズを伴う SGD
学習アルゴリズムは、マルコフノイズを伴う確率近似スキームとしてモデル化される。ノイズ $\{Z_n\}$ は、パラメータによって調整されている生成モデル自体（例えば拡散プロセス）に由来する。このノイズの遷移確率は、現在のパラメータによって変調される。著者らは、マルコフノイズを伴う確率近似の理論（Benveniste ら [1990]；Borkar [2025c]）を用いて系を分析し、ノイズがパラメータの「アルゴリズム的」時間スケールよりもはるかに速い「自然な」時間スケールで進化することを指摘する。
吸収マルコフ連鎖としての崩壊
本論文は、Borkar [2025a] の結果を用いて「崩壊（collapse）」を形式的に定義する。生成モデルの設定において、モデルによって生成される確率測度の列は、時間同質マルコフ連鎖を形成する。特定の条件下（特に混合パラメータ $a=0$ の場合）、この連鎖は確率 1 で、あるランダムな点に集中したディラック測度へ収束する。この単一の出力への漸近的な崩壊が、崩壊現象の数学的定義である。

主要な貢献と結果

ステップサイズの区別
本論文は、収束をもたらす減少ステップサイズ SGD と、本論文の焦点である一定ステップサイズ SGD とを対比する。減少ステップサイズ領域では、系は大域的最適解へ収束し、純粋な崩壊（定理 7）をもたらす。しかし、著者らは、実用的な記憶現象が一定ステップサイズの SGD に特有のものであると主張する。
一定ステップサイズ SGD の漸近挙動
Azizian ら [2024] および Hwang [1981] の最近の結果を活用し、著者らは一定ステップサイズ SGD の極限分布を分析する。彼らは以下のことを確立する。
- 反復値は、必ずしも損失関数の大域的最適解と一致しない「大偏差レート関数」（エネルギー汎関数）の最小値に集中する。
- 定常分布は、「平坦な」最小値（レート関数のヘッセ行列の行列式が小さいもの）を好むため、SGD がより単純な最小値を経験的に好む理由を説明する。
- 系は、ステップサイズが温度パラメータとして機能する拡散プロセスのように振る舞う。
記憶のメカニズム（定理 11）
中心的な結果は、記憶を**断続的な崩壊（intermittent collapse）**として説明することである。
- 系は 2 つの時間スケールで動作する：速い変数 $x$ は速い力学の局所最小値 $\lambda(y)$ を追跡し、遅い変数 $y$ はドリフトする。
- ステップサイズが一定であるため、系は単一の点へ収束しない。代わりに、遅い変数 $y$ がドリフトすることで、速い変数 $x$ が移動する最小値を追跡する。
- 遅い変数 $y$ が、速い力学が安定なアトラクターを持つ領域内に留まっている間、系は「記憶」（反復出力）を示す。
- しかし、 $y$ がノイズと遅い時間スケールによって助けられながらドリフトを続けるため、系は最終的にこの領域から脱出し、異なるアトラクターへの遷移を引き起こす。
- これにより「緩和振動（relaxation oscillation）」という振る舞いが生じる：記憶（反復）の長い期間が、比較的高速な新しい状態への遷移によって断ち切られる。これは、標準的な Freidlin-Wentzell 理論で見られる平衡状態間の稀なノイズ駆動ジャンプとは区別される。ここでは、遷移は遅い変数の決定論的ドリフトによって駆動される。
ノイズとステップサイズの役割
著者らは、より大きなステップサイズが反復におけるノイズレベルを増加させ、記憶に必要な安定した追跡を妨げることで、この現象を抑制すると説明する。これは、大きなステップサイズが記憶を軽減するという経験的観察（例：Wu ら [2025]）と一致する。

意義と主張
本論文は、記憶に対する「システム理論的説明」を提供し、焦点を静的な損失地形分析から学習アルゴリズムの時間的ダイナミクスへと移行させることを主張する。

統合的視点：「崩壊」と「記憶」の現象を統合し、記憶は本質的にスコア学習スキームとパラメータの遅いドリフトによって変調された崩壊現象であり、永続的ではなく断続的であると論じる。
創発的な時間スケール：高次元生成モデルの学習における 2 つの時間スケールは、問題構造（Austin の定理を介して）と一定ステップサイズに起因する創発的な性質であり、人為的に課されたものではないことを強調する。
限定的な範囲：著者らは、生成された測度が条件付き重心を形成すると仮定し、様式化された二重スケール損失関数を使用するなど、モデルに理想化が含まれていることを認める。現実には、近似誤差が持続的な外部ノイズとして作用するため、記憶は純粋なディラックデルタ集中というよりは、むしろ「崩壊の汚染」として現れる。その結果、記憶は完全な複製ではなく、過去の出力のノイズを含んだバージョンへの偏りとして現れる。

本作業は、新しい実験的アルゴリズムや特定の工学的修正を提案するものではなく、高次元における確率近似のより広範なダイナミクスとどのように関連するかを理解するための理論的レンズを提供し、なぜ一定ステップサイズ SGD において記憶が発生するかを説明する。