技術的概要：形態と機能：機械的忘却を不一致な状態の問題として捉える

問題定義

本論文は、機械的忘却の評価における重要なギャップに対処するものである。すなわち、モデルの性能（機能）に焦点が当てられることが多く、モデルの内部幾何学と状態（形態）が軽視されがちであるという点である。これは、パラメータベクトル（$w_t$）だけでなく、逆ヘッシアンを近似するために使用される有限の曲率ペア（$Z_t$）のメモリを維持する状態依存型オプティマイザ、例えばオンライン L-BFGS において、特に顕著である。

著者らは、忘却をパラメータ修正問題として扱うことが多く、現在の忘却手法は不十分であると主張する。状態依存型オプティマイザにおいて、削除されたデータは、そのデータを含む明示的な曲率ペアがメモリウィンドウから回転して消去された後であっても、将来の曲率ペアや更新方向の軌道に影響を与える。その結果、パラメータ内でデータを「忘却」したモデルであっても、パラメータとメモリの結合状態は、そのデータが一度も処理されなかった場合に生じたであろう反事実的状態と幾何学的に不一致な状態を保持しうる。核心的な問題は、反事実的な状態整合性の問題として再定義される。すなわち、目標は、実際のオプティマイザ状態を、削除編集イベント・ストリームによって生成された状態と整合させることである。

手法

理論的枠組み

本論文は、オンライン L-BFGS（o-LBFGS）における忘却を、逐次学習の枠組み内で定式化する。

• イベント・ストリーム：著者らは、実際のイベント・ストリーム（$H_t$）と、特定のサンプルを除外する削除編集された反事実的ストリーム（$H_t^{-D}$）を区別する。
• 状態の定義：学習器の状態は $\theta_t = (w_t, Z_t)$ として定義され、ここで $Z_t$ は曲率ペア $\{(v_i, r_i)\}$ を含む。
• 状態整合誤差：忘却された状態と反事実的オラクル状態との間の距離を測定する新しい指標 $\Delta_t$ が導入される。
• 再帰的 bound：強凸性、滑らかさ、有界勾配、縮小更新という仮定の下で、著者らは状態偏差に対する再帰的 bound を導出する。彼らは、誤差が 2 つの構成要素から成ることを示す。
  1. 直接メモリ：削除されたデータを含む明示的な曲率ペアであり、$\tau$ 回の更新（メモリウィンドウサイズ）後に消滅する。
  2. 間接メモリ：パラメータ軌道を通じて持続する残余の影響であり、新しい曲率ペアと更新方向を生成する。この影響は幾何学的に減衰するが、直接メモリウィンドウを超えて持続する。

忘却の証明

本論文は、状態証明付き忘却のための手法を提案する。パラメータ感度のみに基づいてノイズを較正する先行研究とは異なり、このアプローチは総状態偏差 bound（$\alpha_t$）に基づいてノイズ注入を較正する。この bound は、初期の擾乱と残余の間接メモリの両方を考慮しており、確率的保証の範囲内で、ランダム化された忘却状態が反事実的な理想と区別不可能であることを保証する。

実験的ベンチマーク

著者らは、4 つの異なる誤差指標にわたる忘却介入を評価する、状態認識型のベンチマークを導入する。

1. パラメータ誤差：重みベクトルの偏差。
2. メモリ演算子誤差：曲率メモリ/逆ヘッシアン近似の偏差。
3. 結合状態誤差：$(w_t, Z_t)$ の結合偏差。
4. 更新方向誤差：将来の勾配更新方向の発散。

テストされた介入には以下が含まれる。

• オラクル再生：正確な反事実的ストリームでの再トレーニング（真実）。
• ウィンドウ再生：状態を再構築するために最近のイベントウィンドウを再生する。
• パラメータのみの修正：$Z_t$ を触れずに $w_t$ を調整する。
• メモリのみの修正：汚染された曲率ペアをリセットまたは削除し、$w_t$ は触れない。
• 汚染ペアの削除：特定の曲率ペアを削除する。
• 削除と再充填：パラメータとメモリの両方を破棄し、その後継続する。

主要な結果

1. パラメータ整合は持続性を過小評価する

二次関数およびリッジ・ロジスティック損失面上での実験は、パラメータベクトル（$w_t$）のみを修正することは真の忘却を達成しないことを示している。パラメータのみの介入はパラメータ誤差を減少させる可能性があるが、曲率メモリ（$Z_t$）を汚染したままにする。これは「ハイブリッド状態」を生み出す。すなわち、パラメータはデータが削除されたと仮定するが、メモリは依然として元の軌道に基づく更新方向を符号化している。この不一致は、非オラクル手法の中で最大の将来軌道誤差をもたらし、しばしば修正を何もしない場合の誤差を超える。

2. 間接メモリと削除の地平

本研究は、削除されたデータが間接メモリを介して持続することを確認する。汚染された曲率ペアが L-BFGS ウィンドウから回転して消去された後（直接メモリのクリア後）であっても、変化したパラメータ軌道は、削除されたデータの「亡霊」を運ぶ新しい曲率ペアを生成する。

• メモリサイズのトレードオフ：より大きなメモリウィンドウ（$\tau$）は、直接汚染をより長く保持するが、状態整合の速度も遅くする。より小さなウィンドウは削除の地平を短くするが、最適化効率を損なう可能性がある。
• 減衰ダイナミクス：状態偏差はメモリクリア直後に消滅するものではなく、オプティマイザの縮小性に依存して時間とともに幾何学的に減衰する。

3. 局所介入の不適切さ

局所的な編集（パラメータのみまたはメモリのみを変更する）は、反事実的状態を再構築することに失敗する。

• メモリのみのリセット：直接汚染を除去するが、反事実的メモリを自然に生成したであろうパラメータ軌道を再構築できず、重大な更新方向誤差をもたらす。
• 削除と再充填：データを攻撃的に削除することは有害であり、実際と反事実の両方の履歴が共有する有用な情報を破壊するため、何もしない場合よりもオプティマイザを反事実的軌道からさらに遠ざける。

4. 戦略的再生の成功

ウィンドウ再生は、正確な回復に確実に近づく唯一の非オラクル手法である。削除要求と整合するデータウィンドウから結合パラメータ・メモリ状態を再構築することで、形態と機能の両方を整合させる。その有効性は、削除されたデータが再生ウィンドウ内にある場合に最も高い。データが直接メモリから間接メモリへ移動するにつれて再生の効率は低下するが、部分的な修正よりも優位である。

意義と主張

本論文は、状態依存型オプティマイザにおける機械的忘却は、単なるパラメータ修正問題ではなく、本質的に状態再構築問題であると主張する。

• 存在論的転換：著者らは、忘却は、システムが反事実的な理想の「形態と機能」を仮定できるかどうかに基づいて評価されなければならないと論じる。性能は良好だが、不一致な内部状態を有するモデルは、真に忘却されたわけではない。
• 新しい評価基準：本論文は、オプティマイザの幾何学的メモリに保存された残余情報をしばしば見逃す、現在のパラメータ中心の評価手法の不足を明らかにする、状態認識型指標を導入する。
• 理論的貢献：オンライン L-BFGS に対する反事実的状態偏差の最初の再帰的 bound を提供し、直接および間接メモリの効果を区別するとともに、完全なオプティマイザ状態を考慮する状態証明付き忘却の枠組みを提供する。
• 実践的含意：結果は、オンラインかつメモリ制約のある環境での信頼性の高い忘却には、完全な状態再構築（再生による）または、単純なパラメータ擾乱ではなく、曲率メモリがどのように削除効果を伝播するかについてのより洗練された理解が必要であることを示唆する。

著者らは、その範囲について謙虚さを保ち、理論的 bound は凸性の仮定に依存しており、実験は合成ストリームを使用していることを指摘し、大規模で非凸なデプロイ済みモデルへの適用は今後の課題であると述べている。