🤖 AI

An automated method of identifying incorrectly labelled images based on the sequences of loss functions of deep learning networks

本論文は、深層学習の損失関数のシーケンスを解析することにより、誤ってラベル付けされた医療画像を特定する自動化手法を提案および検証し、これらのエラーを修正することが糖尿病網膜症スクリーニングにおけるデータセットの品質とモデルの性能を大幅に向上させることを実証するものである。

原著者： Zhipeng Zhang, Wenhui Shou, Wengting Ma, Dongjia Xing, Qingqing Xu, Li-Qun Xu, Qingxia Fan, Ling Xu

公開日 2026-07-07

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Zhipeng Zhang, Wenhui Shou, Wengting Ma, Dongjia Xing, Qingqing Xu, Li-Qun Xu, Qingxia Fan, Ling Xu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットにさまざまな種類の果物を認識させる方法を教えていると想像してみてください。あなたはロボットに何千枚もの写真を見せますが、その中には間違った名前のタグが付いた写真が混じっています。例えば、誤ってバナナに「リンゴ」というラベルを貼ってしまうようなことです。もしロボットがこれらの間違ったタグを学習してしまったら、ロボットは混乱し、間違ったことを学んでしまいます。

医療の世界でも、眼科の画像を解析するAIにおいて、まさにこれと同じことが起こっています。医師はこれらのAIシステムを訓練するために、何千もの画像をマニュアルでラベル付けしなければなりません。しかし、医師も人間です。疲れを感じたり、画像がぼやけていたり、あるいは病状が非常によく似ていたりすることもあります。この論文の著者たちは、これらの医療ラベルの最大10%が間違っている可能性があると推定しています。

問題点：「混乱した」生徒
研究者たちは、AIがどのように「学習」するかについて、興味深いことに気づきました。AIが「正しい」ラベルが付いた画像を見ると、すぐに自信を持ちます。その「間違いスコア」（損失関数と呼ばれます）は、レッスンを理解し、毎日成績が上がっていく生徒のように、スムーズに下がっていきます。

しかし、AIが「間違った」ラベルが付いた画像を見ると、混乱のループに陥ります。学ぼうとし、失敗し、再び試み、また失敗するという状態です。その「間違いスコア」は、先生の指示に常に混乱している生徒のように、激しく上下したり、高いまま停滞したりします。

解決策：AIの「鼓動」に耳を傾ける
この論文は、すべての画像を人間がチェックする必要なく、これらの誤ったラベルを見つけ出すための、巧妙で自動化された方法を提案しています。その手順は以下の通りです。

長期的なプロセス： 彼らはAIにデータセットを何度も繰り返し学習させました（マラソンのようなトレーニングセッションを実行するように）。
スコアの物語： 単に最終的な結果を見るのではなく、彼らは毎回のトレーニングセッションの後に、AIの「間違いスコア」を記録しました。これにより、すべての画像に対してユニークな「物語」またはシーケンス（一連の流れ）が作成されました。
パターンの発見： 彼らは数学的なツールを使用して、これらの「物語」を分析しました。その結果、正しくラベル付けされた画像の物語はすべて非常に似通っており（スムーズな下り坂）、誤ってラベル付けされた画像の物語は、全く異なっている（凸凹していたり、平坦だったり、混沌としていたりする）ことが分かりました。
仕分け： 彼らはコンピュータアルゴリズムを使用して、これらの物語を2つのグループに分けました。「混乱したもの」（誤ったラベルの可能性が高いもの）と、「自信を持っているもの」（正しいラベルの可能性が高いもの）です。

実験：教室の掃除
これが機能するかどうかをテストするために、研究者たちは完璧な10,788枚の眼科画像セットを用意し、現実世界のミスを模して、そのうちの6%（648枚）のラベルを密かに入れ替えました。

探索： 彼らはこの乱れたデータセットに対して、新しい手法を実行しました。それは、入れ替えられたラベルの**75%**を特定することに成功しました。
セーフティネット： 決定的なことに、この手法は「オオカミ少年」のように頻繁に誤報を出すことはありませんでした。正しいラベルを誤って指摘してしまうことは、わずか5%程度でした。
クリーンアップ： 彼らはコンピュータがフラグを立てた画像を取り出し、それらの特定の画像に対してのみシニアドクターによるレビューを行い、ラベルを修正しました。これにより、データセット全体の誤り率は6%から1.5%へと減少しました。

結果：より賢いAI
最後に、彼らはこの「クリーンアップされた」データセットを使用してAIを再学習させました。その結果はどうでしょうか？AIは自身の仕事においてより優れた能力を発揮しました。テストセットにおける精度は、95.93%から96.50%へと上昇しました。この数字は小さく見えるかもしれませんが、医療AIの世界において、元の（改ざんされていない）データで学習した際の「完璧に近い」スコア（96.57%）に近づくことは、非常に大きな意味を持ちます。

まとめ
この論文は、AIの「間違いスコア」が時間の経過とともにどのように変化するかを観察することで、誤った名前が付いている画像を自動的に特定できることを示しています。これにより、医師は修正が必要な画像だけに時間を集中させることができ、最終的なデータセットをよりクリーンにし、結果として得られる医療AIをより正確なものにすることができるのです。

技術要約：損失関数のシーケンスを用いた、誤ラベル付画像における自動識別手法

問題提起
医療画像解析のためのディープラーニングモデルは、手動でラベル付けされたデータセットの品質に大きく依存している。しかし、医師による手動のラベル付けは、医師の疲労、病変の小ささ（例：微小血管瘤）、疾患カテゴリ間の境界の曖昧さ（例：高度近視と病理学的近視）、および画像の判定可能性に関する主観的な解釈といった要因により、エラーが発生しやすい。手動でラベル付けされた医療画像の最大10%が誤っていると推定されている。これらのエラーが訓練セットに含まれている場合、モデルの最適化を誤らせる一方で、検証セットやテストセットに含まれている場合は、真正な性能評価を妨げる。従来の解決策では、シニア医師がすべての初期ラベルをレビューする必要があるが、これは時間とエネルギーを消費するプロセスである。

手法
著者らは、ディープラーニングネットワークの訓練中に生成される損失関数の時間的シーケンスを分析することにより、誤ってラベル付けされた医療画像を特定する自動化された手法を提案している。核心となる仮説は、正しくラベル付けされたサンプルは訓練エポックを通じて一貫して緩やかに減少する損失傾向を示すのに対し、誤ってラベル付けされたサンプル（グラウンドトゥルースが誤っている場合）は、モデルが混乱状態を維持するため、損失レベルが高止まりしたり、大きく変動したりするというものである。

提案されたパイプラインは、以下の3つのステージで構成される：

マルチエポック・モデル訓練： ImageNetで事前学習されたディープラーニングネットワークを、ラベル付きデータセットを用いて $N$ エポック（ $N > 2$ ）訓練する。各サンプルについて、各エポックにおける損失値（クロスエントロピー）を記録し、長さ $N$ のシーケンスを形成する。
特徴量抽出： 各サンプルの損失シーケンスの傾向を特徴付けるために、6つの特定の特長量を抽出する：
- F1: シーケンス全体の平均（グローバルな損失レベル）。
- F2: 最初の $P$ 項の平均（初期段階のローカルな損失）。
- F3: 損失が最大の減少を見せる位置 $Q$ （ $Q$ 番目と $(Q+1)$ 番目の項の間）。
- F4: 最初の $Q$ 項の平均（大幅な減少前の損失）。
- F5: 最後の $N-Q$ 項の平均（大幅な減少後の損失）。
- F6: F4とF5の差（大幅な減少の程度）。
クラスタリング： 抽出された6つの特徴量を用い、 $k$ -meansクラスタリングアルゴリズム（ $k=2$ ）を適用して、データセットを「正しくラベル付けされたサンプル」と「誤ってラベル付けされたサンプル」の2つのカテゴリに分割する。

実験的検証と結果
本手法は、ゴールドスタンダードのラベルを含む、参照可能な糖尿病網膜症（DR）スクリーニングのための眼底画像データセット（10,788サンプル）を用いて検証された。

データセットのシミュレーション： 現実世界のノイズをシミュレートするために、ゴールドスタンダードのデータセットのラベルを意図的に6%（648サンプル）反転させた合成データセット（A'）を作成した。
識別性能： 最初の実験において、本手法は意図的に誤ラベル付けされたサンプルの75.31%（648個中488個）を特定することに成功した。特異度は95.15%であり、これは正しくラベル付けされたサンプルのわずか4.85%のみが誤って「不適切」と識別されたことを意味する。著者らは、特定できなかったサンプルは、画像品質が低いか、あるいは人間（専門家）にとっても反対のクラスと視覚的に類似しているような曖昧な特徴を持っていた可能性があると指摘している。
モデル性能の向上： 第2の実験では、誤っている可能性があると特定された980個のサンプルを医師がレビューして修正し、エラーがわずか1.5%となった精緻化されたデータセット（A''）を作成した。この精緻化されたデータセットで再訓練されたディープラーニングモデルは、独立したテストセットに対して96.50%の最高精度を達成した。これは、ノイズを含むデータセットで訓練されたモデル（95.93%）よりも向上しており、完全にクリーンな元のデータセットで訓練されたモデルが達成した理想的な性能（96.57%）に接近している。

主要な貢献と意義
本論文は、この自動化されたアプローチが、医療AIにおけるデータクリーニングという労働集約的な問題に対する実用的な解決策を提供すると主張している。損失関数の訓練中の挙動を活用することで、本手法は、シニア医師が全件をレビューするのではなく、高確率な少数の画像サブセット（本研究ではデータセットの約9.1%）にレビューの努力を集中させることを可能にする。このプロセスは、ラベル付き医療画像データセットの一貫性と信頼性を効果的に向上させ、より堅牢なディープラーニングモデルの訓練基盤を築き、最終的には診断性能を高めるものである。著者らは、本手法はDRスクリーニングのような二値分類タスクには有効であるが、多クラス分類やセグメンテーションタスクにおける有用性を検証するにはさらなる研究が必要であると結論づけている。

関連論文