技術的概要：カーネルトリックをインフルエンス関数へ拡張

問題定義

インフルエンス関数は、もともとロバスト統計学で開発され、Koh と Liang [1] によって機械学習へ適応された手法であり、トレーニングデータ点が摂動を受けたり除去されたりした際に、モデルパラメータと出力がどのように変化するかを推定する方法を提供する。この能力は、機械的忘却（マシーン・アンラーニング）、解釈可能性、プライバシーにとって極めて重要である。しかし、大規模な深層学習モデルへのインフルエンス関数の標準的な適用は、重大なスケーラビリティのボトルネックに直面している。

核心的な計算上の課題は、忘却セット $D_f$ を除去した後のパラメータの変化 ($\theta_r^*$) を近似するために必要な、逆ヘッセ行列とベクトルの積（IHVP）、$H_{\theta^*}^{-1} \nabla_\theta L_{D_f}(\theta^*)$ にある。元の定式化では、ヘッセ行列 $H_{\theta^*}$ はモデルパラメータ数 ($d_\theta$) の二乗に比例してスケーリングする。大規模モデル（例えば深層ニューラルネットワーク）の場合、この行列を具体化して逆行列を計算することは非現実的である。共役勾配法（CG）のような反復法はヘッセ行列を具体化することを回避するが、それでもモデルサイズに比例するヘッセ行列 - ベクトル積（HVP）に依存しており、$d_\theta$ がデータセットサイズに対して大きい場合、このプロセスは計算コストが高くなる。

手法

著者は、計算複雑性をモデルサイズ ($d_\theta$) へのスケーリングから、データセットサイズ ($|D|$) と出力次元 ($d_{out}$) へのスケーリングへと移行させる、インフルエンス関数の双対表現を提案する。このアプローチは、線形化可能なモデルの理論とニューラルタンジェントカーネル（NTK）の理論に基づいている。

1. 線形化と再パラメータ化

この手法は、モデル $f(\cdot, \theta)$ が「線形化可能」であると仮定する。つまり、トレーニング全体におけるその挙動は、参照点 $\theta'$（通常は初期化）周りの線形化によって近似可能である。著者は、線形化されたモデル $f^{lin}$ と、対応する正則化された経験的リスク $\hat{L}_D(\theta)$ を定義する。

導出の鍵となるのは命題 3.1であり、これは任意のデータ部分集合について、線形化モデルの最適パラメータと全データセットの最適パラメータとの差が、$\mathbb{R}^{d_\theta}$ の特定の線形部分空間に存在することを示している：
$$\hat{\theta}_r^* - \hat{\theta}^* = \nabla_\theta f(X, \theta')^\top \Delta \alpha_r^*$$
ここで、$\Delta \alpha_r^* \in \mathbb{R}^{d_{out}|D|}$ である。

この観察により、著者は最適化問題を再パラメータ化できる。高次元のパラメータ空間 $\theta$ 上で最適化する代わりに、双対変数 $\Delta \alpha$ 上で最適化する。$\theta$ における制約付き問題は、$\Delta \alpha$ 空間における非制約問題へと変換される：
$$\tilde{L}_D(\Delta \alpha) := \frac{1}{|D|} \sum_{(x,y) \in D} \left( \ell(g^{lin}(x, \Delta \alpha), y) + \frac{\lambda}{2} \|\phi(\Delta \alpha) - \theta'\|_2^2 \right)$$
ここで、$g^{lin}$ は経験的 NTK、$K(\cdot, \cdot) = \nabla_\theta f(\cdot, \theta') \nabla_\theta f(\cdot, \theta')^\top$ を含む。

2. 双対インフルエンス関数

$\Delta \alpha$ 空間において、データ点を除去することの影響は、双対リスクのヘッセ行列 $H_{\Delta \alpha^*}$ を含む線形系を解くことで近似される。重要なのは、このヘッセ行列が $d_\theta \times d_\theta$ ではなく、$d_{out}|D| \times d_{out}|D|$ に比例してスケーリングすることである。

双対変数の変化の近似は以下の通りである：
$$\Delta \alpha_r^* \approx \frac{|D_f|}{|D|} H_{\Delta \alpha^*}^{-1} \nabla_{\Delta \alpha} \tilde{L}_{D_f}(0)$$
著者は、この系を効率的に解けることを示している。具体的には、忘却セット $D_f$ が大きい場合、解くべき線形系の次元は実際には減少する。なぜなら、$D_f$ に対応する既知の $\Delta \alpha_r^*$ の成分を分離できるからである。

3. 変化の推定

$\Delta \alpha_r^*$ が得られたら、テスト点に対するモデル出力と損失の変化は NTK を用いて推定できる：

• 出力変化: $f^{lin}(x_t, \hat{\theta}_r^*) - f^{lin}(x_t, \hat{\theta}^*) \approx K(x_t, X) \Delta \alpha_r^*$
• 損失変化: $\Delta \alpha$ に関する双対損失の勾配を通じて推定される。

この定式化により、NTK が解析的な形を持つ場合、無限のパラメータを持つモデルに対するインフルエンスの計算が可能となる。

主要な貢献

1. 双対表現: 本論文は、計算複雑性がモデルパラメータ数 ($d_\theta$) ではなく、データセットサイズ ($|D|$) と出力次元 ($d_{out}$) に依存するインフルエンス関数の双対定式化を導入する。
2. 大規模モデルへの効率性: この手法は、$d_\theta \gg d_{out}|D|$ である場合、元のインフルエンス関数に対する効率的な代替手段を提供する。巨大なパラメータ空間に関する HVP の計算を回避する。
3. 無限幅への適用性: この枠組みは、解析的 NTK を活用することで、インフルエンス分析を無限幅のニューラルネットワークへ拡張し、無限のパラメータの極限におけるパラメータと出力の変化の推定を可能にする。
4. 計算上のショートカット: 著者は、双対空間において、忘却セットのサイズ ($|D_f|$) が増大するにつれて線形系のサイズが減少することを特定しており、大規模な忘却タスクに対して直感に反する効率性の向上をもたらす。

実験結果

著者は、MNIST および CIFAR-10 のサブセット上でトレーニングされた全結合ニューラルネットワーク（FCNN）と畳み込みニューラルネットワーク（CNN）の線形化バージョンにおいて、自らの手法を検証した。

• 実行時間: $\Delta \alpha$ 空間の手法は、「コールドスタート」（初回実行）および「ウォームスタート」（繰り返し実行）の両方のシナリオにおいて、元の $\theta$ 空間の手法を一貫して上回る。モデルサイズがデータセットに対して増大するにつれて、性能の差は広がる。
• 精度: 忘却性能（忘却されたパラメータと再トレーニングされたパラメータ間の相対的な $\ell_2$ 距離、および忘却セット上の精度で測定される）は、元の手法と同等である。
• 正則化 ($\lambda$) の効果: 非線形モデルに関する実験により、正則化定数 $\lambda$ の値が大きいほど、非線形モデルのトレーニングダイナミクスがその線形化に近づくことが示された。これは非線形モデルに対する双対表現の信頼性を向上させるが、テスト精度の低下というコストを伴う。
• 無限幅ネットワーク: この手法は、無限幅の FCNN と CNN に対する出力および損失の変化を正常に推定し、その推定値はカーネル勾配降下法を通じて計算された実際の変化と密接に一致した。

意義と主張

本論文は、双対表現が、モデルサイズが伝統的なパラメータ空間手法では処理不可能に大きい状況における、機械的忘却とインフルエンス分析のためのスケーラブルな解決策を提供すると主張している。

• スケーラビリティ: パラメータ空間における元のインフルエンス関数の評価が非現実的なモデルに対するインフルエンスの推定を可能にする。
• 理論的拡張: ニューラルネットワークの無限幅極限におけるインフルエンスを分析するための理論的架け橋を提供する。
• 限界: 著者は明示的に、この手法は線形化可能なモデルに限定されると述べている。大きな正則化 ($\lambda$) によって非線形モデルを線形化可能と近似することはできるが、これはモデル性能を低下させる。さらに、この手法は NTK 行列を具体化するか、暗黙的に操作することを必要とし、これはデータセットサイズと出力次元の積に比例してスケーリングするため、クラス数が非常に多い大規模データセットの場合、ボトルネックとなる可能性がある。

この研究は、すべての深層学習モデルに対する忘却問題を解決するものではなく、データセットがモデル容量に対して小さい場合、またはモデルが効果的に線形として扱える場合のシナリオに特化した効率的なツールを提供するものである。