🤖 machine learning

Geometry of Forgetting: Representation Flux in Continual Learning

本論文では、潜在表現の変位と破滅的忘却を結びつける幾何学的尺度として「表現フラックス（representation flux）」を導入し、継続学習における表現の変化を制約することで忘却を軽減する、アーキテクチャに依存しない正則化手法であるFlowLess-Rを提案する。

原著者： Maksim A. Kazanskii

公開日 2026-08-18

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Maksim A. Kazanskii

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

人工知能は膨大なデータから学習する能力を習得したが、人間のような根本的な課題、すなわち「今日新しいことを学びながら、昨日学んだことを覚えておく」という課題に苦慮している。機械学習の分野では、この現象は「破滅的忘却（catastrophic forgetting）」として知られている。脳の構造をモデルにしたコンピュータシステムであるニューラルネットワークが、一連の異なるタスクに対して逐次的に学習を行うと、新しい情報を取り込むために以前の知識を上書きしてしまうことがよくある。新しい言語を学んだ途端に、先週勉強していた言語の語彙を突然忘れてしまう学生を想像してみてほしい。数十年にわたり、研究者たちは、コンピュータの内部設定の変化を抑制するか、あるいはシステムに古い例題を定期的に復習させることで、この問題を解決しようと試みてきた。これらの手法は助けにはなるものの、多くの場合、問題をコンピュータ内部の数値の調整の問題として扱っており、コンピュータの内部的な「理解」がどのように変化するかという、より深いメカニズムについては、ほとんど未探索のまま残されている。

ある研究者が今、この隠れた理解の層に注目し、忘却を防ぐ鍵はマシンの設定ではなく、それが作り出す「表現（representation）」の安定性にあるという説を提唱した。これらのシステムにおいて、あらゆる画像やデータは、高次元空間におけるユニークな点へと変換される。それは、似たものが集まり、異なるものが離れていく幾何学的な地図である。研究者は、コンピュータがタスクを忘れるとき、これらの内部の点が移動しすぎていることが原因であることを発見した。研究者は「表現フラックス（representation flux）」と呼ぶ概念を導入した。これは、ある特定のデータポイントが、ある学習段階から次の学習段階にかけて、内部空間内でどれだけの距離を移動したかを測定するものである。これらの動きを追跡することで、データポイントの位置に大きく急激な跳躍が見られる場合、それはシステムがそのアイテムを正しく認識する能力を失いかけている信頼できる初期警告サインであることを突き止めた。

研究は、コンピュータが手書きの数字や衣類の識別といった一連のタスクを学習する過程で、これらの内部の点がどのように振る舞うかを観察することから始まった。研究者は明確なパターンに気づいた。コンピュータが以前学習したアイテムに対して間違いを犯す前に、そのアイテムの内部表現がしばしば大幅な変位を起こすのである。この動きはランダムなものではなく、コンピュータの予測に対する確信度の低下と強く結びついていた。内部の点が大きく移動すると、そのオブジェクトを正しく特定したというシステムの確信度は急激に低下した。逆に、点が比較的静止していれば、システムはその知識を保持していた。この観察結果は、忘却が単なる記憶想起の失敗ではなく、コンピュータの精神におけるデータの所在の物理的な漂流であることを示唆していた。研究者は、この関係が単純な手書き数字から日常的な物体の複雑な画像に至るまで、さまざまなデータセットにおいて成立することを発見した。これは、これらの内部空間の幾何学が、システムがいかに学習し、忘却するかにおいて中心的であることを示している。

この発見に動機づけられ、研究者は内部の動きを安定させるための「FlowLess-R」と呼ばれる新しい手法を開発した。このアプローチは、コンピュータの脳全体を凍結させたり、学習できる量を制限したりするのではなく、古い例題の内部的な点をその場に繋ぎ止めることに焦点を当てている。システムが古い画像を後で復習するためにメモリバンクに保存するとき、その時点におけるその画像の内部的な点の正確な位置も記録する。将来の学習セッションにおいて、システムがその古い画像を再び見たとき、現在の内部の点を、保存された元の位置へと優しく引き戻すのである。これにより、点が彷徨いすぎるのを防ぐ「繋ぎ止め（tether）」が作成され、新しいことを学びながらも、その古い例題に対するシステムの理解が一貫したまま保たれるようになる。この手法は柔軟であり、根本的なアーキテクチャを変更することなく既存の学習システムに追加できる、内部マップを安定させるためのシンプルな制約として機能する。

この手法を適用した結果は顕著であった。標準的なメモリ復習技術と組み合わせることで、FlowLess-Rはコンピュータが時間の経過とともに失う知識の量を一貫して減少させた。一連のタスクを含むテストにおいて、この手法は、画像の複雑さやメモリバンクのサイズに応じて、およそ6パーセントから19パーセントの幅で、忘却率を大幅に低下させた。決定的なのは、この記憶保持力の向上は、新しいタスクを学習する能力を犠牲にして得られたものではないということであり、多くの場合、全タスクにおけるシステムの最終的な精度は実際に向上した。研究者はまた、ネットワークのどの部分でこの安定化が最も効果的であるかをテストし、最終的な意思決定レイヤーの直前で点を固定することが最良の結果をもたらすことを突き止めた。これは、システムの初期部分は適応し新しい特徴を抽出するための自由が必要である一方で、最終的な理解の段階は、すでに学習した内容を保持するために安定していなければならないことを示唆している。

この研究は、人工知能が時間の経過と知識の蓄積をどのように扱うかについて、新たな視点を提供するものである。マシンの調整可能な設定から、内部表現の動きへと焦点を移すことで、研究者は忘却がいつ起こるかを予測する幾何学的な指標を特定した。彼らの知見は、内部マップの安定性が、新しいパターンを学習する能力と同じくらい重要であることを示唆している。提案された手法は、その安定性を維持するための明快な方法を提供しており、過去を失うことなく継続的に学習できるシステムを構築するための実用的なツールとなっている。本研究は画像認識タスクに焦点を当てたものであるが、「古いデータの内部表現を一定に保つことが、それが上書きされるのを防ぐ」という根底にある原理は、より堅牢で永続的な形態の人工知能への研究の道を切り開くものである。

技術要約：忘却の幾何学：継続学習における表現のフラックス（Representation Flux）

問題提起

破滅的忘却（Catastrophic forgetting）は、ニューラルネットワークが新しいタスクを最適化する一方で、以前に学習したタスクに対する性能が低下するという、継続学習における根本的な障害であり続けている。既存の手法は主に、パラメータ正則化（例：EWC、SI）や経験再生（ER）を通じて忘却を軽減しようとするが、学習された表現空間内で発生している幾何学的なダイナミクスについては、あまり理解が進んでいない。現在のアプローチは、パラメータの更新や、凍結されたモデルからの特徴量蒸留に焦点を当てることが多く、忘却の根底にある具体的な幾何学的プロセス（例：潜在表現の変位）についての洞察は限定的である。

手法

1. 表現のフラックス（Representation Flux）としての幾何学的指標

著者は、連続する学習エポック間におけるサンプルの潜在表現の変位の大きさを、**表現のフラックス（representation flux）**という幾何学的量として導入している。形式的には、エポック $t$ におけるサンプル $x$ に対して、フラックスは $\Phi(x, t) = \|z_{t+1} - z_t\|_2$ と定義される。ここで $z_t = f_{\theta_t}(x)$ である。

本論文は、複数のベンチマーク（SplitMNIST、SplitFashionMNIST、SplitCIFAR10、SplitTinyImageNet）を用いた実証分析を通じて、このフラックスと破滅的忘却との関係を調査している。これらの分析から得られた主な知見は以下の通りである：

時間的前駆性（Temporal Precedence）： 高い表現フラックスは、特にタスクの境界において、激しい忘却のピークに先行して発生する傾向がある。
サンプルレベルの相関： 表現の変位の大きさと、あるサンプルが忘却される確率との間には、強い正の相関が存在する。
信頼度のダイナミクス： 大きな表現の変位は、予測の信頼度の著しい低下と関連している。一方で、信頼度の向上は、低いフラックスレベルに集中している。
幾何学的予測因子： 表現のフラックスは、サンプルレベルの忘却に対する強力な個別の識別子であり（局所的な表現密度単独よりも優れている）、密度や「密度の漏出（density leakage）」といった他の幾何学的記述子と組み合わせることで、補完的な情報を提供する。

2. FlowLess-R：表現空間における正則化

表現の大きな変位が忘却と相関しているという観察に基づき、著者はFlowLess-R（FlowLess for Representations）を提案している。ネットワークの重みを制約したり、凍結された教師ネットワークから特徴量を蒸留したりする既存の手法とは異なり、FlowLess-Rは、蓄積されたドリフトを抑制するために、表現空間で直接作用する。

メカニズム：

リファレンス・アンカリング（Reference Anchoring）： サンプル $x_i$ がリプレイバッファに追加される際、その潜在表現 $\tilde{z}_i = f_{\theta_i}(x_i)$ が計算され、固定されたリファレンスとして保存される。
正則化損失： その後の学習中、現在の表現 $z_i = f_{\theta}(x_i)$ が、保存されたリファレンスから逸脱することに対してペナルティが課される。正則化損失は以下のように定義される：
$L_{flux} = \frac{1}{N_r} \sum_{i=1}^{N_r} \|z_i - \tilde{z}_i\|_2^2$
統合： この項は、標準的な継続学習の目的関数（ $L = L_{CL} + \lambda L_{flux}$ ）に加算される。この手法はアーキテクチャに依存せず、ネットワーク構造を変更することなく、既存のリプレイベースの手法（ER、DER++、ER-ACE）に統合可能である。

主な結果

著者は、4つのデータセットと3つのベースライン・リプレイ手法（ER、DER++、ER-ACE）を用い、MLPおよびResNet-18バックボーンを用いてFlowLess-Rを評価した。

忘却の低減： FlowLess-Rは、すべてのベンチマークにおいて平均的な忘却を一貫して減少させた。
- ER： すべての4つのデータセットで統計的に有意な忘却の減少を達成した（例：SplitMNISTで-8.68%、SplitTinyImageNetで-5.96%）。
- DER++： 特にSplitTinyImageNet（-19.07%）およびSplitCIFAR10（-13.61%）において、大幅な改善を示した。
- ER-ACE： SplitMNIST、SplitFashionMNIST、SplitCIFAR10において顕著な利得を得て、すべてのベンチマークで一貫して忘却を減少させた。
精度の維持： ほとんどの設定において、忘却の減少は最終的な平均精度の向上または維持を伴っており、この正則化が新しいタスクの学習を犠牲にしないことを示している。
層のアブレーション（Layer Ablation）： SplitMNISTを用いた実験により、最後の隠れ層に正則化を適用した場合が最も高い性能を示した。これは、分類器の直前にある表現を安定させることが、より早い段階の特徴抽出層を制約することよりも効果的であることを示唆している。
スケーラビリティ： 本手法は、リプレイバッファのサイズが変化しても堅牢性を示した。特にSplitTinyImageNetにおいては、保存される表現アンカーのセットが広くなるため、バッファ容量が大きくなるにつれてFlowLess-Rの恩恵がより顕著になることが示された。
密度重み付け： オプションとして密度重み付け版のテストも行われたが、重みなしの定式化に対して有意な利点はないことが判明したため、著者はメインの実験ではより単純な重みなしのバージョンを採用した。

意義と主張

本論文は、表現のダイナミクスと破滅的忘却に関する統一的なサンプルレベルの幾何学的特性化を提供することを主張している。その主な貢献は以下の通りである：

表現のフラックスの特定： 本研究は、表現のフラックスが忘却の有益な幾何学的マーカーであることを確立し、それがその後の性能低下の早期指標として機能できることを示した。
幾何学的視点： パラメータ空間の制約から、潜在的な表現密度の進化へと焦点を移しており、既存のパラメータ正則化アプローチに対する補完的な視点を提供している。
シンプルかつ効果的な正則化： FlowLess-Rは、リプレイサンプルをその履歴リファレンスに固定することで潜在表現を安定させる、シンプルでアーキテクチャに依存しない戦略として提示されている。これは、学習中に追加の表現マッチング項を必要とするだけである。
補完性： 結果は、蓄積された表現のドリフトを直接制約すること（FlowLess-Rによる）が、タスク境界での急激な干渉を軽減する既存のメカニズム（ER-ACEの非対称更新など）を補完することを示唆している。

著者は、表現のフラックスは情報量の多い経験的マーカーではあるものの、これらのダイナミクスと汎化を関連付ける理論的な保証を確立することは依然として未解決の問題であるとし、理論的保証については控えめな姿勢をとっている。また、現在の研究は画像分類とリプレイベースの手法に焦点を当てているため、正則化ベースのアプローチ、逐次的意思決定、および言語モデルへの適用可能性は今後の課題であるとしている。