技術的概要：順序適応的補正（ORDAC）

問題定義

本論文は、順序画像分類におけるラベルノイズという重要な課題に取り組む。年齢推定や疾患重症度分類などのタスクでは、クラス境界が不明確であることが多く、ラベル付けプロセスは誤りを受けやすい。名義分類とは異なり、誤りは離散的ではなく、順序誤りには意味的な距離が存在する（例：20 歳を 25 歳と誤分類することは、60 歳と誤分類するよりも深刻度が低い）。

ノイズのあるラベルに対する既存のアプローチは、一般的に 2 つのカテゴリーに分類される：

1. モデル中心アプローチ：ノイズ耐性のある損失関数や正則化を設計する。
2. データ中心アプローチ（サンプル選択）：潜在的にノイズのあるサンプルを特定し、破棄する（例：CASSOR、ICDF）。

著者らは、サンプル選択は順序データに対して最適ではないと主張する。なぜなら、誤ラベル付けされたインスタンスに含まれる潜在的に貴重な特徴情報を破棄してしまうからである。さらに、標準的な順序回帰手法は、誤ったランク注釈を処理するための明示的なメカニズムを欠いており、性能と信頼性の低下を招く。順序データの本質的な不確実性を適応的にモデル化することにより、ノイズのあるラベルを破棄するのではなく補正する手法には、特定のギャップが存在する。

手法：順序適応的補正（ORDAC）

提案される解決策は、ラベル分布学習（LDL）を活用するデータ中心フレームワークであるORDACである。ラベルを単一の離散値として扱うのではなく、ORDAC は各ラベルを平均（$\mu$）と標準偏差（$\sigma$）で特徴付けられるガウス分布として表現する。平均はラベル値を表し、標準偏差はモデルの不確実性を定量化する。

コアワークフロー

このフレームワークは、モデルが自身の自信はあるが潜在的に誤っている予測によってバイアスされないように、K 分割交差学習戦略を用いて反復的に動作する：

1. 初期化：

   • データセットを $K$ フォールドに分割する。
   • $K$ 個の同一の固定形式 LDL（FLDL）モデルを初期化する。
   • 各サンプルのラベルはガウス分布 $N(\mu_i, \sigma_i^2)$ として初期化される。ここで、$\mu_i$ はノイズのあるラベルであり、$\sigma_i$ は均一な初期不確実性を表す固定定数である。

2. ウォームアップフェーズ：

   • 全ての $K$ 個のモデルを、指定されたエポック数（$E_{corr}$）にわたって、それぞれのトレーニングセット上で同時に訓練し、ノイズのあるデータ上の初期特徴表現を学習させる。

3. 反復的補正フェーズ：

   • ウォームアップ後、適応的補正メカニズムが作動する。
   • 各フォールドについて、残りの $K-1$ フォールドで訓練されたモデルが、ホールドアウトされた検証フォールドのラベルを予測する。
   • これらの予測を用いて、検証サンプルのラベル分布（$\mu$ と $\sigma$）を更新する。
   • 更新された分布は、次のエポックのために他のモデルのトレーニングセットへ伝播される。

適応的補正メカニズム

更新プロセスは、検証フォールド内の各サンプルに適用される 2 つの段階から構成される：

1. クラス別予測バイアス除去：

   • 順序モデルは、損失関数やデータの偏りにより、中間ランクのクラスへバイアスを持つ傾向がある。
   • これに対抗するため、モデルの予測をシフトさせ、クラス別予測を真のクラスラベルの周りに再中心化する。
   • シフトされた予測 $\hat{y}^{shifted}_i$ は以下のように計算される：$\hat{y}^{shifted}_i = \hat{y}_i - (\text{mean}_{\mu_i} - \mu_i)$。

2. サンプル別分布更新：

   • 稀なクラスがより慎重に補正されるように、モデルの信頼度（$\gamma_i$）とクラス頻度（$\pi_{\mu_i}$）に基づいて補正係数 $\lambda^{corr}_i$ を計算する。
   • 標準偏差の更新（$\sigma$）：予測誤差 $|e_i|$ が現在の不確実性 $\sigma_i$ より大きい場合、不確実性を増加させる（ノイズのあるラベルである可能性を示す）。誤差が小さい場合、不確実性は減少する。
     • $\sigma^{new}_i = \sigma_i + \alpha_i \times (|e_i| - \sigma_i)$
   • 平均の更新（$\mu$）：平均をバイアス除去された予測の方へシフトさせる。
     • $\mu^{new}_i = \mu_i + \beta_i \times e_i$
   • ここで、$\alpha_i$ と $\beta_i$ は、ベースレート $\alpha_{base}$ と $\beta_{base}$ から導出されるサンプル固有の学習率である。

変種

著者らは、フレームワークの挙動を分析するために 2 つの変種を導入する：

• ORDACC（補正）：トレーニング後に静的でクリーンなデータセットを生成する。このデータセット上で、それ以上のオンライン補正なしに、新しいモデルを一から訓練する。
• ORDACR（除去）：ORDACC に基づき、補正後に依然として非常に不確実なサンプル（$\sigma^{new}_i \geq \sigma^{initial}_i$ となるもの）を除去し、それらを外れ値として扱う。

実験結果

この手法は、2 つのベンチマークデータセット、Adience（年齢推定）と糖尿病性網膜症（DR）（疾患重症度）で評価された。実験では、$\tau \in \{0.2, 0.4\}$ の非対称ガウスノイズを注入した。

主要な知見

• ノイズ下での性能：ORDAC およびその変種は、すべてのノイズレベルにおいて、標準的なベースライン（CORAL、DLDL-v2）および最先端のサンプル選択手法（CASSOR）を大幅に上回った。
  • 例：40% ノイズの Adience において、ORDACRは平均絶対誤差（MAE）を DLDL-v2 の 0.86 から0.62に削減し、リコールを 0.37 から0.49に向上させた。
• 内在的ノイズ補正：注入されたノイズが**ない場合（$\tau=0$）**でも、ORDAC はベースラインを上回った。これは、元のデータセットに（Adience における自己報告誤りなどの）内在的なラベルノイズが含まれており、この手法がそれを成功裏に特定・補正したことを示唆している。
• 補正対選択：サンプル選択（CASSOR）はよく機能したが、ORDACR は一般的に、特に高いノイズレベルにおいてより良い結果を達成した。これは、ラベルを破棄するよりも補正する方がデータ効率的であることを示している。
• アブレーション研究：
  • クラス別バイアス除去ステップを削除すると、補正プロセスが多数派の中間クラスへ崩壊し、性能が著しく低下した。
  • ハイパーパラメータ分析により、**小さな $\alpha_{base}$（0.2）と大きな $\beta_{base}$（0.8）**が最良の結果をもたらすことが示された。これは、モデルは不確実性の更新においては保守的であるべきだが、平均値の補正においては積極的であるべきであることを示している。

意義と貢献

本論文は、以下の貢献を主張する：

1. パラダイムシフト：順序タスクにおいて、データ破棄（サンプル選択）から、貴重な特徴情報を保持する適応的ラベル補正への転換を提案する。
2. 不確実性モデリング：ラベル分布の平均と標準偏差の両方を動的に更新するメカニズムを導入し、モデルがトレーニング中に不確実性を明示的に表現・管理できるようにする。
3. ロバスト性：広範な実験により、ラベル分布を用いた適応的補正が、ノイズのあるデータが存在する状況下で順序分類モデルのロバスト性と精度を高める有効な戦略であることを実証する。

著者らは、適応的補正を通じて根本的なレベルでデータ品質を向上させることに焦点を当てることで、ORDAC が、特にクリーンなデータが希少でラベルの曖昧性が高い分野において、より正確で信頼性の高い順序分類への道を開くと結論づけている。今後の研究として、非パラメトリック分布の検討や、補正率の自動調整が提案されている。