技術的概要：スペクトル手術

問題定義

分類タスクで訓練された深層ニューラルネットワークは、特徴的なヘッシアンスペクトルを示す。すなわち、ほぼゼロに近い固有値の連続的なバルクと、少数の大きな外れ値固有値（スパイク）である。理論的研究（Papyan ら）は、これらの $C-1$ 個のスパイクが、$C$ をクラス数とした場合、特徴空間におけるクラス間方向に対応することを確立している。しかし、先行研究はこの構造を純粋に記述的なものとして扱ってきた。既存の手法のいずれも、これらのスパイク固有ベクトルを操作し、モデルの性能向上、特に再訓練なしでのクラスごとの精度格差（クラス不均衡）の是正に利用したことはない。

手法：スペクトル手術

著者は、クラスごとの精度を再均衡化するために、ヘッシアンスパイク固有ベクトルに沿ってモデルの重みを直接摂動させる事後最適化手法であるスペクトル手術を提案する。この手法は完全に訓練済みのモデル上で動作し、ヘッシアン推定に少量のミニバッチと、保持された評価セットのみを必要とする。

この手法の中核となる構成要素は以下の通りである：

1. スパイク–クラス感度行列（$S$）:
   この手法は、各スパイク固有ベクトルに沿った各クラスの精度の方向微分を定量化する。$K$ 個のスパイク固有ベクトル $\{q_1, \dots, q_K\}$ とプローブ振幅 $\epsilon$ に対して、感度 $S_{i,j}$ は以下のように計算される：
   $$S_{i,j} = \frac{\text{acc}_j(\theta + \epsilon q_i) - \text{acc}_j(\theta - \epsilon q_i)}{2\epsilon}$$
   この行列は、特定のスパイク方向に沿って移動することが、特定のクラスの精度を向上させるか劣化させるかを捉える。

2. 制約付き係数最適化:
   この手法は、弱いクラスの精度を最大化しつつ強いクラスを保護するためのスパイク摂動の線形結合 $\delta\theta = \sum \alpha_i q_i$ を求める。これは制約付き最適化問題として定式化される：
   $$\max_{\alpha} \sum_{j=1}^C w_j (S^\top \alpha)_j$$
   制約条件：

   • $\|\alpha\| \le \alpha_{\max}$（線形領域内に留まるため）。
   • 強いクラスに対して $(S^\top \alpha)_j \ge -0.01$（劣化防止制約）。
   • 重み $w_j$ はクラス誤差から導出され、指数 $p$ が最も弱いクラスへの圧力の集中度を制御する（例：$p=2$ は厳密な焦点、$p=1/2$ は圧力の分散）。

3. 反復適応ループ:
   最適化は反復的に行われる。各ステップにおいて：

   • ヘッシアン固有ベクトルが再計算される（重みの更新に伴いスペクトルがシフトするため）。
   • 感度行列 $S$ が再構築される。
   • 係数 $\alpha$ が逐次最小二乗計画法（SLSQP）によって解かれる。
   • 適応的振幅制御: 改善信号の信号対雑音比（SNR）に基づき、Adam 風のメカニズムが摂動予算 $\alpha_{\max}$ を調整し、ステップサイズを動的に増減させる。
   • ロールバック機構: ステップがクラス精度の標準偏差を増加させたり、単一クラスで大幅な低下を引き起こしたりする場合、重みは元に戻される。

4. スケーラビリティ（逐次デフレート手術）:
   多数のクラスを持つデータセット（例：99 個のスパイクを持つ CIFAR-100）の場合、メモリ制約によりすべてのスパイクを同時に復元できない。著者は逐次デフレート・スペクトル手術を提案し、複数のフェーズで実行する。各フェーズにおいて、以前に復元された固有ベクトルをヘッシアン・ベクトル積オラクルから射影して除去（デフレート）し、完全な基底を保存することなく次のスパイク群を復元可能にする。

主要な貢献

• ヘッシアンスパイクの操作的利用: 本論文は、スペクトルの記述的分析を超え、ターゲットとしたクラス改善のための操作的レバーとしてヘッシアンスパイク固有ベクトルを初めて利用した。
• 事後再均衡化: この手法は、完全な訓練セットへのアクセスなし、バックプロパゲーション更新なし、再訓練なしで、顕著なクラス再均衡化を達成する。ヘッシアン推定には数百枚の画像のみを必要とする。
• 新規コンポーネント: スパイク–クラス感度行列の導入、劣化防止制約を伴う制約付き最適化、および反復レベルの信号に基づく適応的振幅制御。
• 構造的検証: 著者は「バルクウォーク」実験を通じて、スパイク部分空間に直交する摂動がクラスレベルの性能を変化させないという実証的証拠を提供し、クラス判別情報がパラメータ空間のごく一部に集中していることを確認した。

実験結果

CIFAR-10（ResNet-50）

• 性能: クラス精度の標準偏差（$\sigma$）を36%（8.57% から 5.52%）削減。
• クラスごとの改善: 最も弱いクラス（"cat"）は**+7.5 パーセントポイント（pp）**、"dog" は +5.9 pp 改善。
• グローバル影響: グローバル精度は0.2 ppのみわずかに低下。
• 比較: 事後操作であるにもかかわらず、再均衡化において Focal Loss 微調整（$\Delta\sigma = -0.76$ pp）およびクラスバランス微調整（$\Delta\sigma = -0.60$ pp）を上回った。
• 効率性: 単一 CPU で約 25 分で完了。

CIFAR-100（ResNet-50）

• スケーラビリティ: 逐次デフレート手術を用いて、理論上の 99 個のスパイクのうち 45 個にアクセス。
• 性能: 保持されたセット上で $\sigma$ を**1.6%**削減。スパイク部分空間の部分的なカバレッジのため、CIFAR-10 に比べて相対的な削減幅は小さかった。

ISIC-2019（医療画像）

• 文脈: 極端に不均衡な 8 クラスデータセット（頻度が 2 桁のオーダーにわたる）。
• 構成:
  • SS 単独: 再均衡化において Focal Loss 微調整をわずかに上回った（$\sigma$: 20.8% 対 19.6%）、バランス精度は同等。
  • FL + SS: バランス精度を 51.5% に改善（FL 単独の 49.2% 対）、$\sigma$ を 16.4% に削減。
  • CB + SS: クラスバランス微調整（バランス精度 57.7% に到達）の上に適用した場合、SS はバランス精度を維持（58.0%）しつつ、$\sigma$ を3.5 pp削減（11.3%）。
• 知見: 稀だが視覚的に明確なクラス（例：血管性病変）は手術に強く反応した。混同されやすいペア（例：メラノーマ対母斑）は、スペクトル的な絡み合いにより改善が限定的であった。

理論的解析：有効ランク

著者は、診断指標として感度行列 $S$ のエントロピー的有効ランク（$r_{eff}$）を導入した。

• CIFAR-10 では $r_{eff} \approx 4$ であり、多軸のトレードオフと顕著な改善を可能にした。
• ISIC-2019（クラスバランス微調整後）では $r_{eff} \approx 2$ であり、訓練時の手法ですでに解決可能なスペクトル自由度の多くを吸収していたことを示している。これが、CB 上での SS の改善が（依然として正ではあるが）縮小した理由を説明する。

意義と主張

本論文は、スペクトル手術がモデル改善のためのヘッシアンスペクトル構造の実用的有用性を実証すると主張している。主な主張は以下の通りである：

1. 事後の有効性: 少量のデータサブセットのみを使用して、再訓練なしで訓練済みモデルのクラス性能を大幅に再均衡化することが可能である。
2. 相補性: スペクトル手術は、損失ベースの再重み付け（Focal Loss、クラスバランス）とは異なる「平面」で作用する。訓練時の手法が利用可能なスペクトル自由度をまだ使い果たしていない場合、これらの手法は相加的である。
3. 限界: この手法は、感度行列の有効ランクによって制限される。訓練プロセスがすでにクラス非対称性を解決している場合（低い $r_{eff}$）、またはクラスがスペクトル的に絡み合っている場合（例：視覚的に類似したクラスがスパイク方向を共有）、改善は限定的である。
4. 最終ステップ: この手法は、最終的な事後ステップとして適用するのが最適である。その後の微調整（バルクに射影された場合でも）は、再均衡化の利益を侵食する。

著者は、有効ランク仮説については慎重であり、現時点では CIFAR-10 と ISIC-2019 という 2 つの測定された領域に基づいた「作業仮説」であると指摘し、数値的閾値として確立されるためには、多様なアーキテクチャとデータセットでのさらなるテストが必要であると述べている。