A Data-Centric Framework for Detecting and Correcting Corrupted Labels

技術要約：Relabeler – 破損したラベルを検出・修正するためのデータ中心型フレームワーク

問題提起
機械学習（ML）およびディープラーニング（DL）モデルの性能は、本質的に学習データの品質に依存しています。実際、大規模なデータセットには、クラウドソーシングや自動アノテーションによるエラーに起因する「ラベルノイズ」が含まれていることがよくあります。報告されている現実世界のデータセットにおけるノイズ率は8%から38.5%に及びます。このようなノイズは、モデルの精度と信頼性を著しく低下させます。既存のアプローチは、一般的に「モデル中心型」（アルゴリズムの堅牢性の向上）と「データ中心型」（データセットの品質向上）の2つのカテゴリに分類されますが、多くのデータ中心型手法は、ラベルの検出とラベルの修正を別々のタスクとして扱っています。さらに、既存のソリューションの多くは、ノイズを含むインスタンスを特定して破棄または再重み付けすることに主眼を置いており、正しいラベルを明示的に推論して修復することには焦лоうしていません。この分離は、入力特徴量、ノイズのあるラベル、およびクリーンなラベルの間の内在的な関係を統一されたフレームワーク内で最大限に活用する能力を制限しています。

手法：Relabelerフレームワーク
著者らは、2つの統合されたフェーズを通じて、破損したラベルを検出および修正するために設計されたエンドツーエンドのデータ中心型フレームワークであるRelabelerを提案しています。

1. 破損ラベルの検出 (Corrupted Label Detection)
このフェーズでは、局所的およびグローバルなインスタンスの関係を活用することで、ノイズを含むデータセット $\tilde{D}$ を、クリーンなサブセット（$D_{clean}$）と疑わしいサブセット（$D_{suspicious}$）に分割します。

• 局所的検証 (Local Verification): フレームワークは、k-近傍法（k-NN）を用いて、特徴空間におけるあるインスタンスのラベルと、その直近の近傍との一貫性を検証します。ラベルが近傍の多数派と一致しているインスタンスは、暫定的にクリーンとして分類されます。
• グローバル検証 (Global Verification): 局所的な分析の限界（例：クラス境界付近）に対処するため、Relabelerは現在特定されているクリーンなインスタンスを用いて、分類モデル（$M_{clean}$）を反復的に訓練します。このモデルは、より広範でグローバルなパターンを捉えます。疑わしいセットにあるインスタンスは再評価され、元のラベルが $M_{clean}$ の予測と一致する場合、$D_{clean}$ に移動されます。この反復プロセスは、これ以上クリーンなインスタンスを特定できなくなるまで継続されます。

2. 破損ラベルの修正 (Corrupted Label Correction)
$D_{suspicious}$ に残ったインスタンスに対して、Relabelerは事後確率 $P(y | x, \tilde{y})$ （ここで $x$ は入力特徴量、$\tilde{y}$ は観測されたノイズのあるラベル）を最大化することにより、最も確率の高いクリーンなラベル（$y^*$）を推定します。ベイズ推論を用いて、これは以下の2つの補完的な要因を組み合わせる形に再定式化されます。

• クリーンラベルの予測 ($P(y|x)$): $D_{clean}$ で訓練されたモデル $M_{clean}$ が、入力特徴量に基づくラベルの尤度を推定します。
• ノイズラベルの推定 ($P(\tilde{y}|x, y)$): モデル $M_{noisy}$ が、入力と候補となるクリーンなラベルが与えられたときに、特定のノイズのあるラベルが観測される確率を推定します。
  • **$M_{noisy}$ の訓練: ** 正解の遷移データは利用できないため、Relabelerは $D_{suspicious}$ 上で「ノイズシミュレーター」（$M_{simulator}$）を訓練し、データセット固有のノイズパターンを学習します。このシミュレーターは、$D_{clean}$ 内のインスタンスに対して合成されたノイズのあるラベルを生成し、$M_{noisy}$ を訓練するための遷移データセットを作成します。
• 推論 (Inference): 最終的な修復ラベルは、$M_{clean}$ と $M_{noisy}$ の両方の予測を統合して決定されます。これにより、修正がセマンティックな特徴量の整合性と、ラベル破損の統計的パターンの両方を考慮したものになることを保証します。

主な貢献

• 統一されたフレームワーク: 検出と修正が通常別々に扱われるというギャップに対処する、エンドツーエンドのシステムであるRelabelerの導入。
• ベイズ統合: 特徴ベースの予測やヒューリスティックな投票のみに頼るのではなく、クリーンなラベル分布とノイズ遷移確率の両方をモデル化する、ラベル修正への斬新なアプローチ。
• 反復的な洗練: クリーンなデータを精緻化するためのグローバル検証モデルを訓練するために、クリーンなデータを反復的に洗練させる検出メカニズム。

実験結果
著者らは、画像、テキスト、ソースコードの分類をカバーする5つの多様なデータセット（CIFAR-10, CIFAR-100, Agnews, Clickbait, CodeXGLUE）でRelabelerを評価しました。フレームワークは、特に Docta（投票およびランキングのバリアントを含む）などの最先端のベースラインと比較されました。

• ラベル修正の精度: Relabelerはベースラインを一貫して上回り、様々なデータセットとノイズ率（20%および40%）において、ラベル修正精度を最大で 58% 向上させました。例えば、Agnewsデータセットの40%ノイズにおいて、Relabelerは89.47%の精度を達成しましたが、Docta-Rは61.43%でした。
• エラー率の低減: 本フレームワークは、修復されたデータセットにおける残留エラー率を大幅に減少させました。CIFAR-10の40%ノイズにおいて、Relabelerはエラー率を7.48%まで減少させましたが、ベースラインは23%以上のエラー率を保持していました。
• 堅牢性: Relabelerは、対称、非対称、およびインスタンス依存のノイズを含む異なるノイズタイプに対して優れた性能を示しました。ベースラインが苦戦する複雑な混合ノイズのシナリオにおいても、高い精度と低いエラー率を維持しました。
• ダウンストリームの有用性: Relabelerによって修復されたデータセットを用いてダウンストリームモデル（MLP分類器）を訓練した結果、最高の精度と加重F1スコアが得られました。Agnewsデータセットでは、Relabelerはダウンストリーム精度を 75.50% まで向上させ、これは元のノイズのあるデータセットに対して約6%の相対的な利得であり、元のデータおよびDoctaによって修復されたデータをも上回りました。
• コンポーネント分析: アブレーション研究により、ノイズラベルエスティメータ（$M_{noisy}$）をクリーンラベル予測器（$M_{clean}$）と統合することが極めて重要であり、$M_{clean}$ のみを使用した場合と比較して精度が最大50%の相対的改善をもたらすことが確認されました。

意義と主張
本論文は、Relabelerが単純な検出を超えて、明示的かつ原理的なラベル修復へと移行することで、データ中心型学習における重要なギャップに対処することを主張しています。ラベル修正を、特徴とラベルの関係およびノイズ遷移パターンの両方をモデル化するベイズ推論問題として定式化することにより、Relabelerは、あらゆるダウンストリーム学習者に利益をもたらす再利用可能で高品質なデータセットを提供します。著者らは、このアプローチが、データの破棄が不可能であり、正確な修正のために特定のノイズ分布を理解することが不可欠である実世界のアプリケーションにおいて、特に実用的であると断言しています。結果は、Relabelerがデータセットの品質を向上させるだけでなく、既存のモデル中心型のノイズ耐性学習手法に対する強力な補完としても機能することを示唆しています。