Structured Proper Loss Geometries for Multiclass Classification: Theory and Controlled Empirical Evaluation

技術要約：多クラス分類のための構造化された適切な損失幾何学

問題提起
厳密に適切なスコアリング則（strictly proper scoring rules）は、真の条件付きクラス分布が母集団レベルでの期待損失を最小化することを保証する。しかし、これらのスコアの曲率（curvature）は、最適化のダイナミクス、有限サンプルにおける挙動、較正（calibration）、およびラベルの汚染やクラス・プライア（事前分布）のシフトに対する頑健性に影響を与える。クロスエントロピー（対数スコア）は標準的なベースラインであるが、誤較正やノイズの多いラベルへの過学習を招く可能性がある。既存の文献では、特定の失敗モード（例：不均衡に対するフォーカルロス、ノイズに対する一般化クロスエントロピー）に対応する様々な目的関数が提案されているが、適切なスコアリング則の構造的な修正（具体的には曲率とマージンの成形）が、専門化された手法に対して広範な優位性を主張することなく、どのように性能に影響を与えるかを厳密に分析する必要がある。

手法
本論文では、3つの多クラス目的関数を、ブレグマン・ダイバージェンス（Bregman divergences）および合成損失の枠組みにおける具体的な構成として調査する。

1. クラス認識型適切なマハラノビス損失 (CAPM): ジェネレーター $F_C(p) = \frac{1}{2}(p-u)^\top A (p-u)$ によって定義される構造化された二次ブレグマン・スコアである。行列 $A$ は、クラス・セントロイドの類似性から導出されたグラフ・ラプラシアン ($L_G$) と、クラス数に基づく対角項 ($D_{tail}$) を含む、クラス認識的な構造を取り入れている。
2. 双曲型適切なジェネレーター損失 (HPG): 二次項と制約付きの log-cosh リッジ項を組み合わせたジェネレーター $F_H(p)$ を用いる、厳密に適切な損失である。これは、厳密な適切性を維持しつつ、有界な曲率と滑らかさを導入する。
3. アニールド確率マージン成形 (APMS): HPGに有界なマージン・ペナルティ $r(p, y)$ と、訓練中にゼロへとアニール（徐々に減衰）する係数 $\beta_t$ を加えた拡張である。これにより、一時的なマージン成形を可能にしつつ、最終的に適切なHPG目的関数へと収束させることを目指す。

理論的貢献
著者らは、これらの損失の特性を確立するための厳密な数学的解析を提供している。

• CAPMおよびHPGの境界: 条件付き後悔（conditional-regret）、曲率、範囲、およびロジット勾配の境界の導出。これらが厳密に適切であることが証明されており、超過条件付きリスクは、予測確率ベクトルと真の確率ベクトルの間のユークリッド距離の二乗によって制御される。
• APMSの解析: マージン・ペナルティの確率単体（simplex）上での正確な範囲の証明。著者らは、条件付き最小化子が真の分布から離れる度合いについて、$\beta$ の関数として平方根および線形の両方の境界を確立している。これにより、$\beta > 0$ のとき目的関数は厳密に適切ではないものの、$\beta \to 0$ のとき最小化子が真の分布に収束することが確認される。
• 勾配の境界: ロジットに関する損失勾配の境界の導出により、ジェネレーターの曲率が勾配の大きさを制御することを示している。

実験設計
本研究では、5つのランダムシードを用い、以下の複数のレジームにおいて制御された記述的な経験的評価を行っている。

• データセット: 実世界のデータセット（Digits, Wisconsin Breast Cancer）および合成問題（混同行列、ロングテール分布）。
• 条件: クリーンなラベル、対称的なラベルノイズ（20%, 40%）、ペア反転ノイズ（40%）、クラス不均衡（30:1の比率）、および入力の汚染（ガウスノイズ、ソルト・アンド・ペッパー、FGSM、PGD）。
• ベースライン: クロスエントロピー（CE）を主要な参照とする。ノイズの多いラベルに対する確立された手法（例：Generalized Cross-Entropy, Symmetric Cross-Entropy, Active-Passive Loss）およびロングテール学習の手法（例：Balanced Softmax, Logit Adjustment）と比較を行う。
• 指標: 正解率（Accuracy）、均衡正解率（Balanced Accuracy）、負の対数尤度（NLL）、ブライア・スコア（Brier Score）、および期待較正誤差（ECE）。
• 統計的厳密性: シード数が5つと限られているため、最小限の達成可能なウィルコクソンのp値が0.0625であることを指摘した上で、統計的有意性の主張を明示的に避け、結果は記述的に解釈される。

主な結果

• クリーンなデータ: すべてのデータセットにおいて、CAPM、HPG、およびAPMSは、クリーンなデータに対してクロスエントロピーと同等の性能を示す。
• ノイズの多いラベル: Digitsデータセットにおける40%の対称ラベルノイズにおいて、提案された構造化損失はクロスエントロピーに対して緩やかな改善を示すが、正解率、NLL、およびブライア・スコアの観点では、専門化されたノイズラベル・ベースライン（SCE, GCE, APL, MAE）に劣る。
• ロングテール学習: 合成的な30:1のロングテール実験において、提案手法はプライア・シフトを効果的に対処できず、均衡正解率は（クロスエントロピーと同様に）0.16付近にとどまった。対照的に、明示的なプライア調整手法（Balanced Softmax, Logit Adjustment）は0.62以上の均衡正解率を達成している。
• アブレーション解析: 特定の構造的要素（CAPMにおけるグラフ項、HPGにおけるリッジ項、またはAPMSにおけるマージン係数）を取り除いても、性能が一貫して低下することはない。これは、これらの追加要素が評価された設定において明確な利益をもたらさなかったことを示唆している。
• 較正と頑健性: 事後的な温度スケーリング（temperature scaling）により、すべての手法で較正が改善される。入力の汚染および敵対的攻撃に対しては、クリーンなデータで訓練されたモデル間で、わずかな記述的な差異しか見られない。

意義と主張
本論文は、その定式化が数学的に妥当であり、適切なスコアの曲率とマージン成形を構築するための経験的にテスト可能な例であることを控えめに主張している。

• 理論的妥当性: 証明は、提案された損失が厳密に適切である（または適切性に収束する）こと、および特定の曲率と勾配の境界を満たすことを成功裏に確立している。
• 経験的な限界: 実験は、一般的な優位性の主張を支持していない。構造化された目的関数は、ノイズの多いラベルやロングテール学習に対して、専門化された手法を一貫して上回ることはない。
• 主要な貢献: 本研究は、適切な性質（properness）によって保証される「母集団の識別」と、有限サンプルの頑健性（これは特定の損失幾何学に依存し、曲率の変更のみでは自動的には改善されない）を区別するための制御された研究として機能する。著者らは、定式化自体は健全であるが、確立された損失を置き換えるための有用性については、より大規模なデータセット、強力なアーキテクチャ、および現実的なノイズモデルを用いたさらなる検証が必要であると結論付けている。