🤖 machine learning

Benchmarking Instance-Dependent Label Noise with Controlled Corruptions

本論文は、明示的な入力破損を通じて制御されたインスタンス依存型のラベルノイズを生成するベンチマーク生成フレームワークであるCILNを紹介し、ノイズ構造がアルゴリズムの性能に大きく影響すること、および従来の評価者過失に基づくベンチマークが見逃している、一般的なノイズラベル学習手法における失敗モードを明らかにしている。

原著者： Shadman Islam, Agustinus Kristiadi, Mostafa Milani

公開日 2026-06-16

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Shadman Islam, Agustinus Kristiadi, Mostafa Milani

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたはロボットに写真の中の動物を認識させる訓練をしていると想像してください。あなたは犬の写真を与えましたが、ラベルには「猫」と書かれています。ロボットは混乱してしまいます。これは**ラベルノイズ（label noise）**と呼ばれます。

長い間、研究者たちは、ラベルを単にランダムに入れ替えることで、ロボットがどれほどミスに対処できるかをテストしてきました。それは、「犬の写真の10%は実は猫であり、猫の写真の10%は実は犬であると仮定しよう」と言うようなものです。しかし、現実世界では、間違いはランダムに起こるわけではありません。写真はぼやけていたり、照明が悪かったり、あるいは動物の見た目が奇妙だったりするために起こります。ロボットは、鮮明でシャープな犬よりも、ぼやけた犬を猫と間違える可能性が高いのです。

この論文は、CILN（Corruption-Induced Label Noise：破損誘発型ラベルノイズ）と呼ばれる、ロボットをテストするための新しい方法を紹介しています。単にラベルを入れ替えるのではなく、研究者たちはまず写真を意図的に「壊し」、それに対してロボットがどのように反応するかを見ています。

以下に、その仕組みと研究結果の簡単な内訳を示します。

1. 旧来の方法 vs. 新しい方法

旧来の方法（「質の悪い教師」）： 教師がただ疲れていて、ランダムにミスをする状況を想像してください。教師は、はっきりとした犬の写真を見て、誤って「猫」と書き込みます。この間違いは写真自体とは関係ありません。単に教師の調子が悪いだけです。既存のテストはこの方法を使用していました。
新しい方法（「損傷した写真」）： CILNの実験では、単にラベルを変えるのではなく、まず写真を台無しにします。研究者は、鮮明な犬の写真を用意し、そこに静止画（ノイズ）を加えたり、ぼかしたり、耳を切り取ったりします。すると、その写真は実際に少し「猫」のように見えてきます。そして、一連の「投票者」（さまざまなAIモデルの集まり）にこの損傷した写真をラベル付けするよう求めると、彼らは意見を違えます。ある者は「犬」と言い、ある者は「猫」と言います。研究者は、この意見の相違を利用して「ノイズの乗った」ラベルを作成します。

決定的な違い： 旧来の方法では、間違いは教師の脳の中に隠されています。新しい方法では、間違いは壊れた写真の中に目に見える形で存在しています。なぜロボットが混乱したのか、その理由が明確に分かります。それは、教師が不注意だったからではなく、写真がぼやけていたからです。

2. その手法（「制御された破壊」）

研究者たちは、クリーンなデータセット（犬、猫、鳥などの写真）を取り上げ、特定の「破損（corruption）」を適用しました。

ぼかし（Blur）： 画像を不鮮明にする。
ノイズ（Noise）： 粒状の静止画（砂嵐）を加える。
天候（Weather）： 霧や雪を加える。
幾何学的変化（Geometry）： 画像を引き伸ばしたり、回転させたりする。

これらを、「少し邪魔な程度」から「全く判別不能な程度」まで、異なる深刻度で行いました。その後、多様なAIモデルのチームに、損傷した画像が何であるかを推測させました。もしチームの意見が一致しなければ、その画像は「ノイズを含む」テストセットの一部となりました。

3. 彼らが発見したこと

研究者たちは、3つの異なる種類のデータ（動物の写真（CIFAR-10）、手書き数字（MNIST）、成人所得データ（Adult））でこれらのテストを実施しました。

間違いにはパターンがある： 画像を特定の方法で壊すと、間違いはランダムではないことが分かりました。例えば、手書きの数字「5」に「インパルス・ノイズ（塩胡椒のような静止画）」を加えると、隙間が埋まってしまい、「8」のように見え始めます。ロボットは、ダメージによって「8」に見えるようになったため、一貫して同じ間違い（5が8になる）を犯します。これは、5がランダムに2や7や9になるという、ランダムなノイズとは異なります。
「アトラクター（引き寄せ）」効果： ある種のダメージは磁石のように作用します。元の写真が何であれ、ダメージを十分に加えると、ロボットたちは皆、同じ間違った答えを出し始めます。例えば、激しいぼかしを加えると、ほとんどのものが「猫」や「カエル」に見えるようになります。
「小さな損失（Small Loss）」の罠： 多くの現代的なAI手法は、もしロボットがラベルに対して確信を持っている（損失が低い）なら、それはおそらく正しいはずだ、と仮定することでミスを修正しようとします。しかし、CILNのテストは、ある罠を明らかにしました。写真が十分に損傷して「猫」のように見えると、ロボットはそれが実際には「犬」であるにもかかわらず、「これは猫だ」と非常に強く確信してしまいます。ロボットは、自分が賢いからではなく、写真が壊れているために「正しい」と思い込んでいるのです。これにより、既存の「ランダムな間違い」テストでは露呈しなかった、人気のあるAI手法の失敗が引き起こされました。

4. なぜこれが重要なのか

この論文は、データセットにどれだけの間違いがあるか（「ノイズ率」）だけを測定するのではなく、その間違いが「どのような種類」のものかを測定する必要があると主張しています。

比喩： 車のブレーキをテストすることを想像してください。
- 旧来のテスト： 車を走らせている間に、ランダムにブレーキペダルを踏みます。止まることもあれば、止まらないこともあります。
- 新しいテスト（CILN）： 車を氷の上に乗せ、その上でブレーキをテストします。
- 結果： 車は乾燥した路面（低ノイズ）ではうまく止まるかもしれませんが、氷の上（高ノイズ）では完全に失敗するかもしれません。旧来のテストでは、車が氷の上で苦戦しているという事実を教えてくれません。同様に、従来のAIテストは、AIが「ラベル」が間違っている時に苦戦するのではなく、「データ自体」が損傷している時に苦戦するということを教えてくれなかったのです。

まとめ

この論文は、AIをテストするために「壊れた」データを作成する新しいツール、CILNを提示しています。データが特定の方法（ぼかしやノイズなど）で損傷すると、AIはランダムなエラーとは大きく異なる、予測可能で構造化された間違いを犯すことを示しています。これは、従来の「ランダムな間違い」テストでは隠されていた、現在のAIの安全性に関する弱点を明らかにしており、**「どのように」間違いが起こるかは、「どれだけ多くの」**間違いがあるかと同じくらい重要であることを証明しています。

テクニカル・サマリー：制御された破損によるインスタンス依存ラベルノイズのベンチマーク（CILN）

問題提起

現代の機械学習システムは、ラベル付けされた大規模なデータセットに依存しているが、アノテーションの誤り、曖昧な例、あるいは弱い教師あり学習に起因して、ラベルが不完全であることは頻繁にある。初期の研究は対称的およびクラス条件付きノイズ（CCN）に焦点を当てていたが、実用的な設定では、ラベルのエラー確率が真のクラスと入力インスタンスの特定の特性の両方に依存する**インスタンス依存ラベルノイズ（IDN）**が顕著となる。

既存の合成IDNベンチマークは、通常、以下の2つのメカニズムを通じてノイズを生成している：

特徴空間の変換： 特定の例に対して破損確率を高めるために、潜在的な変換を適用する。
疑似ラベル生成（Pseudo-labeling）： 多様な分類器を合成アノテーターとして使用し、アノテーター間の不一致によって不確実性を誘発する。

限界： 両方のアプローチにおいて、曖昧さのソースは暗黙的である。特徴空間の手法では、変換が解釈困難であることが多い。疑似ラベル生成では、アノテーターの特性（例：学習手順）を変更することでノイズを制御するため、特定の曖昧さのメカニズム（例：ぼけ、遮蔽、データの欠損）を分離したり、ラベルエラーを特定の入力変化に追跡したりすることが困難である。その結果、既存のベンチマークは、特定のデータ劣化メカニズムが分類器の不一致やダウンストリームの学習挙動にどのように影響するかを体系的に研究するためのサポートが限定的である。

手法：CILNフレームワーク

著者らは、制御された入力の破損を通じてIDNを生成するベンチマーク生成フレームワークである**CILN（Corruption-Induced Label Noise：破損誘発ラベルノイズ）**を導入する。ラベル生成プロセスを変更する従来の手法とは異なり、CILNは意味的内容を保持したまま、入力データ自体を変化させる。

コア構成要素

制御された破損（Controlled Corruptions）： フレームワークは、クリーンなインスタンスに対して特定の破損タイプ（ $c$ $c$ ）を様々な深刻度レベル（ $\ell$ $ℓ$ ）で適用する。
- 画像データ： CIFAR-CおよびMNIST-Cから派生した破損ファミリー（ノイズ（ガウス、ショット、インパルス）、ぼけ（デフォーカス、ガラス、モーション）、天候（霧、霜、雪）、幾何学的変換、およびデジタルアーティファクト（明るさ、コントラスト、JPEG））を利用する。
- 表形式データ： Jengaベンチマークに着想を得た破損オペレータ（欠損メカニズム（MCAR、MAR、MNAR）および値の破損（ノイズ注入、スケーリング））を利用する。
投票プール（Voter Pool）： 多様な $M$ 個のモデル（例：ResNet、Vision Transformer、XGBoost）が、破損したインスタンスを評価する。
ラベル生成：
- 各投票者は予測分布 $p^{(m)}(y|x)$ を生成する。
- ベンチマークは、集約されたラベル分布 $\bar{p}_i$ （投票者の予測の算術平均）および個々の投票者の分布を公開する。
- ハードラベル実験の場合、PL-IDNプロトコルを模倣するために、単一の投票者が一様にランダムにサンプリングされ、学習ラベルを提供する。
クリーンスタート構成（Clean-Start Configuration）： オプションのモードとして、破損前にすべての投票者によって一様に正しく分類されたインスタンスのみを保持するようにデータセットをフィルタリングする。これにより、元のデータに存在する曖昧さと、破損による不確実性を分離する。

ベンチマーク構築

本フレームワークは、3つのデータセット（CIFAR-10、MNIST、Adult）に適用された。

CIFAR-10： 45の設定（15種類の破損タイプ $\times$ 3つの深刻度レベル）。
MNIST： 30の公開設定（11の連続的な深刻度タイプ + 4つの構造的タイプ）。
Adult： 15の設定（5種類の破損タイプ $\times$ 3つの深刻度レベル）。
合計90のベンチマーク設定が、画像ドメインと表形式ドメインにわたって提供される。

主な貢献

メカニズム制御型のIDN生成： CILNは、ソース（破損タイプ）と曖昧さの深刻度が明示的かつ制御可能であるフレームワークを提供し、入力の劣化とラベルの不確実性の間の直接的な関係を確立する。
真のインスタンス依存性： 著者らは、このフレームワークが、破損タイプと深刻度を通じて体系的に調整可能な、真のIDNを生成することを実証している。
人間のような不確実性： 適切な設定下では、CILNによって生成されたラベル分布は、既存の合成IDNベンチマーク（特にPL-IDN）よりも、人間によるアノテーションの不確実性（CIFAR-10-Hによって測定）に近い統計的性質を持つ。
失敗モードの露呈： 本ベンチマークは、最先端のノイズラベル学習手法（Co-Teaching、DivideMix）が、評価者エラーモデルによる同程度のノイズ率の下では観察されない失敗モードを、高深刻度の破損下で示すことを明らかにしている。

実験結果

1. インスタンス依存性の強さ

著者らは、インスタンス依存性を測定するために**ノイズ遷移不均一性（Noise Transition Heterogeneity: $n_{th}$ ）**を導入した。

知見： すべてのCILN設定において正の $n_{th}$ 値が生成されており、真のIDNであることが確認された。
制御： $n_{th}$ の大きさは、破損ファミリーや深刻度レベルによって大きく異なる。多くのファミリーにおいて、 $n_{th}$ は深刻度とともに増加するが、高深刻度では予測パターンが収束するため、最終的に飽和または減少する。
比較： 高いノイズ率において、代表的なCILN設定はPL-IDNのインスタンス依存性と一致するか、それを上回る。

2. 人間のアノテーションの不確実性との類似性

CIFAR-10-Hに対する全変動（Total Variation: TV）距離を用いて：

知見： CILNは、すべてのノイズレベルにおいて、PL-IDNよりも一貫して人間の不確実性に近い。
破損の特異性： 軽微な破損（特にWeatherやDigitalファミリーのfrost, snow, fog, brightness, JPEG）は、人間による不一致に最も近いラベル分布を生成する。深刻な破損は人間によるパターンから乖離する傾向があるが、それでもPL-IDNよりは優れている。
PCA分析： PCA空間においてCIFAR-10-Hに最も近い10個のCILN設定は、すべて低深刻度のWeatherまたはDigitalの破損であり、PL-IDNのリリースはトップ10に一つも含まれなかった。

3. ダウンストリームの学習挙動

著者らは、CIFAR-10においてERM、Co-Teaching、およびDivideMixを評価した。

低/中ノイズ： CILNとPL-IDNは同様の性能傾向を示す。
高ノイズでの乖離： 高いノイズ率において、Co-TeachingとDivideMixは、特定のCILN設定（例：高深刻度のcontrast, pixelate, glass-blur）において大幅な性能低下を招くが、PL-IDN-Hでは比較的堅牢である。
失敗のメカニズム：
- アトラクタークラス（Attractor Classes）： 特定の破損は「アトラクタークラス」（例：frog, cat, truck）を生み出し、多くの真のクラスからの誤ラベルされた例が、単一の誤ったクラスへと引き寄せられる。
- 損失分布の崩壊： これらの設定では、誤ったラベルが破損した入力と一貫性を持ってしまう。その結果、誤った例は必ずしもクリーンな例よりも高い訓練損失を生むわけではない。これは、Co-TeachingやDivideMixがサンプル選択のために依拠している小損失仮定（Small-loss assumption）（クリーンな例はノイズのある例よりも損失が低いという仮定）を打破するものである。
- クリーンスタートによる検証： これらの失敗モードは、Clean-Startバリアント（CILN-C）においても持続しており、問題がデータの事前的な曖昧さではなく、破損の構造自体に起因することを裏付けている。

意義と主張

本論文は、ベンチマークの難易度とアルゴリズムの挙動を決定付けるのは、単なるノイズ率ではなくノイズの構造であると主張している。

相補性： CILNは、ノイズが「どのように」生成されるか（評価者の質）から、ノイズが「なぜ」発生するか（データの劣化）へと焦点を移すことで、既存の評価者エラーベンチマーク（PL-IDNなど）を補完する。
解釈可能性： 曖昧さのメカニズムを明示することで、CILNは特定のデータ劣化（例：ぼけ vs 欠損値）が学習ダイナミクスにどのように影響するかを研究することを可能にする。
リアリズム： 本フレームワークは、制御された破損を用いることで、低〜中程度の深刻度領域において、現在の合成手法よりも人間の不確実性をより良く近似できるラベル分布を生成できることを示している。
アルゴリズムへの洞察： これらの結果は、現在のノイズロバスト手法が、従来のベンチマーク（ノイズが入力とほぼ独立しているもの）の特定のノイズ構造に過学習しており、ノイズが破損を通じて入力と構造的に結合している場合に失敗する可能性があることを示唆している。

著者らは、CILNが、多様なソースのインスタンスの困難さの下でのノイズラベル学習を評価するための、実用的で解釈可能、かつメカニズム制御されたフレームワークを提供し、コミュニティに対してベンチマーク設計においてノイズ率と並んでノイズ構造を考慮することを促している。