技術的サマリー：不均衡学習における損失再重み付けの再考を逆問題として捉える

1. 問題定義

深層ニューラルネットワークは ImageNet などのバランスの取れたデータセットで顕著な成功を収めていますが、現実世界のシナリオではしばしば長尾分布が現れ、ヘッドクラスがサンプル空間を支配する一方で、テールクラスはサンプル数が少ないという状況が生じます。この不均衡により、モデルはヘッドクラスに過度にバイアスされ、テールクラスにおける汎化性能が低下します。

損失再重み付けは、クラスごとの重みを調整することでこれを緩和する広く用いられている戦略ですが、既存の手法はしばしばヒューリスティックで目標非依存です。トレーニング終了時のクラスごとの損失分布がどのような姿であるべきかについて、明確に定義された理想的な目的関数が欠如しています。その結果、現在の戦略は、厳密な理論的ターゲットに導かれることなく、逆頻度や有効サンプル数などの場当たり的な設計に依存しています。

2. 手法

本論文は、ニューラルカプスル（Neural Collapse: NC）の観点から損失再重み付けを再考し、それを逆問題として定式化する新たなフレームワークを提案します。

2.1. 理論的基盤：ニューラルカプスル（NC）

著者らは、バランスの取れたデータセットでのトレーニング終盤に観察されるニューラルカプスルの現象を活用しており、そこでは以下のことが起こります：

1. クラス内変動の崩壊： 同一クラスの特性がそのクラスの平均値に収束する。
2. 単体 ETF 幾何学： クラス平均が理想的な等角緊密枠（Equiangular Tight Frame: ETF）を形成する。
3. 自己双対性： 分類器の重みが中心化されたクラス平均と整合する。
4. 最寄りの中心： 分類が最も近いクラス平均を見つけることに簡略化される。

重要な理論的洞察： 本論文は、NC 幾何学（特に NC1-NC3）の下では、すべてのクラスが同じ平均損失を共有しなければならないことを確立しています。著者らは、損失不均衡係数（$\rho$）がゼロでないまま残る場合、ネットワークは理想的な ETF 構造に収束できないことを証明しています。したがって、長尾学習における再重み付けの理想的な目的は、NC 整合的な幾何学への収束を促進するためにクラスごとの平均損失を均等化することです。

2.2. 逆問題の定式化

ヒューリスティックに重みを規定する（「順方向」の視点）のではなく、著者らは再重み付けを逆問題として扱います：

• 目標： 理想的な状態とは、すべてのクラスの実効損失がグローバル平均損失（$\bar{L}$）と等しくなる状態です。
• 推論： 現在のクラスごとの平均損失 $L_c(W)$ が与えられたとき、システムをこのバランスの取れた状態へ駆動する最適なクラス重み $w_c$ を推論します。

これはTikhonov 正則化付き逆問題として定式化されます：
$$\min_{w_c} (w_c L_c(W) - \bar{L})^2 + \alpha (w_c - w_c^{(0)})^2$$
ここで：

• $L_c(W)$ はクラス $c$ の現在の平均損失です。
• $\bar{L}$ はグローバル平均損失です。
• $w_c^{(0)}$ は事前重み（既存の手法からのものまたは一様重みなど）です。
• $\alpha$ は正則化係数です。

2.3. 閉形式解

この最適化問題は、最適重み $w_c^*$ に対する閉形式解を許容します：
$$w_c^* = \frac{\bar{L} L_c(W) + \alpha w_c^{(0)}}{L_c(W)^2 + \alpha}$$
これにより、トレーニングの各ステップで重みを動的に推論できるプラグ＆プレイ実装が可能になります。

2.4. 二レベル再重み付け戦略

ミニバッチ内でテールクラスが断続的に現れること（累積的な最適化強度の弱体化につながる）に対処するため、この手法は 2 つのコンポーネントを組み合わせます：

1. バッチごとの逆再重み付け： 閉形式解を用いて、現在のバッチに含まれるクラスに対して重み $w_c^*$ を計算します。
2. マクロレベル再重み付け： クラス $c$ が出現したバッチ数 $B_c$ に対して $\beta_c \propto (B_c)^{-\gamma}$ となる周波数認識補正因子を導入します。これにより、テールクラスがトレーニング全体を通じて十分な累積最適化強度を受けられるようにします。

最終的な実効重みは $\hat{w}_c = \beta_c \cdot w_c^*$ です。

3. 主要な貢献

1. 欠落しているターゲットの特定： 現在の再重み付け戦略は定義された理想的な損失分布を欠いていることを特定しました。ニューラルカプスルの幾何学的制約から導出されたクラスごとの平均損失の均等化を理論的ターゲットとして提案します。
2. 逆問題の視点： 長尾再重み付けを逆問題として捉え、均等損失目的を満たすクラス重みを動的に推論する閉形式解を導出しました。
3. プラグ＆プレイアルゴリズム： 提案手法は、既存の長尾学習フレームワークと統合可能な、バッチごとの閉形式アルゴリズムとして実装されています。
4. 理論的正当性： 著者らは、持続的な損失不均衡が理想的な ETF 幾何学への収束を妨げることを示す証明を提供し、均等損失目的を動機付けています。

4. 実験結果

この手法は、標準的な長尾ベンチマークであるCIFAR-10-LT、CIFAR-100-LT、ImageNet-LT、およびiNaturalistで評価されました。

• 再重み付けベースラインとの性能比較： CIFAR-100-LT（IF=100）において、提案手法は**47.88%**の精度を達成し、標準的なクロスエントロピー（41.62%）や Inv-Freq、CB、Focal、IB などの他の再重み付け戦略を上回りました。不均衡係数（50、100、200）全体で一貫した改善が見られました。
• ニューラルカプスル指標： この手法は NC 幾何学の回復において優れた性能を示しました。ベースラインと比較して、より低いNC2（単体 ETF までの距離）およびNC3（自己双対性までの距離）の値を達成し、学習された特徴と分類器が理想的な対称構造に近いことを示しました。また、クラスごとの損失不均衡係数（$\rho$）も最低となりました。
• 最先端（SOTA）性能： 強力なベースライン（GLMC、ETF-DR など）と組み合わせると、一貫して性能が向上し、CIFAR-100-LT（GLMC+Loss+LR で 63.9%）および ImageNet-LT（GLMC+Loss+LR で 57.6%）で SOTA 結果を達成しました。
• アブレーション研究： 実験により、バッチごとの逆コンポーネントとマクロレベルの補正の両方が相補的であり、組み合わせることが最良の結果をもたらすことが確認されました。

5. 意義と主張

本論文は、再重み付けのターゲットとしてクラスごとの平均損失の均等化を明示的に定義することにより、ヒューリスティックな設計に対する原理的な代替案を提供すると主張しています。その意義は以下の点にあります：

• 理論的整合性： 再重み付けをニューラルカプスルの幾何学的性質に直接結びつけることで、特定の再重み付け戦略がなぜ機能する（または失敗する）のかを、システムを ETF 構造へ駆動する能力に基づいて明確に説明します。
• 実用的効率性： 閉形式解は計算オーバーヘッドをほとんど増大させず、補助ネットワークや複雑なメタ学習手順を必要とする手法と比較して非常に効率的です。
• 汎用性： この手法は、対照学習や 2 段階手法など、既存のさまざまな長尾学習フレームワークに適用して性能を向上させることができる、一般的な再重み付けモジュールとして機能します。

著者らは、不均衡な設定において理想的な NC 幾何学を達成するためには損失のバランスを強制することが基本的な要件であり、彼らの逆視点戦略がこの目標を効果的に達成すると結論付けています。