あなたはロボットに動物を認識させる方法を教えようとしていると想像してください。あなたは数千枚の画像を見せていますが、ここには一つ仕掛けがあります。画像のラベルは、疲れていたり、注意力が散漫だったり、あるいはいたずら好きだったりする人間によって書かれています。時には、猫の写真に「犬」というラベルが付いていたり、車の写真に「飛行機」というラベルが付いていたりすることもあります。これは「ノイズの多いラベルを用いた学習（Learning with Noisy Labels）」という、混沌とした現実です。人工知能の世界では、モデルは通常、完璧なデータを必要としますが、現実世界において完璧なデータは稀であり、コストもかかります。科学者たちは、悪いラベルを無視して良いラベルから学ぶことができるロボットを構築しようとしてきましたが、ノイズが非常に高い場合（例えば、ラベルの90%が間違っている場合）、ほとんどのロボットは諦めてしまうか、混乱してしまいます。

これから読む論文は、まさにこの問題に取り組んでいます。それはXMixと呼ばれる新しい手法を紹介しています。これは、ファイルの書かれたラベルをただ信じるだけの存在ではなく、単なる探偵のようなものです。その代わりに、探偵は画像そのものを見て、どの画像が一緒に属しているように「見える」かを確認します。もし猫の写真が、ロボットの記憶の中にある他の猫の写真と非常によく似ているなら、たとえラベルが何と言っていようとも、探偵はそのすべてを猫だと想定します。このアプローチは「局所的な滑らかさ（local smoothness）」という概念を使用しています。これは、「似ているものは通常、同じグループに属する」という、少し凝った言い方をしたルールです。この論理を用いることで、XMixは混乱を整理し、以前の手法よりもはるかに優れた方法でロボットを教えることを目指しています。特に、データが完全にめちゃくちゃな場合においてもです。

問題点：いたずらっ子だらけの教室

ある教室で、先生が学生たちにさまざまな種類の果物を識別する方法を教えていると想像してください。先生はフラッシュカードの束を持っていますが、いたずらっ子のグループがラベルをすり替えてしまいました。リンゴの中には「バナナ」とラベル付けされたものもあり、オレンジの中には「ブドウ」とラベル付けされたものもあります。

かつて、賢いコンピュータプログラム（ディープラーニング・モデルと呼ばれます）には、「記憶効果（memorization effect）」という秘策がありました。彼らはカードを勉強して、「おや、自分はこの特定のカードのラベルを当てるのは得意だが、あのカードについては苦手だ」と気づきます。彼らは、うまく予測できたものを「正しいもの（クリーンなデータ）」、苦戦したものを「いたずらっ子の嘘（ノイズの多いデータ）」であると想定しました。

しかし、ここでの問題は、いたずらっ子たちが暴走してラベルの90%を入れ替えたとき、コンピュータが混乱してしまうことです。コンピュータは、本物のリンゴと、リンゴとラベル付けされたバナナとの区別がつかなくなります。また、コンピュータはしばしば、一つの種類の果物だけを勉強して他の種類を無視してしまうことがあり、その結果、多様性を認識するのが苦手になります。コンピュータには、部屋にどれだけのいたずらっ子がいるかを知る必要がない、新しい戦略が必要です。

解決策：XMixと「似ているものルール」

ここで、新しい探偵であるXMixが登場します。XMixは、単に書かれたラベルを見るのではなく、特別なメガネ（自己教師あり特徴エンコーダ）を使用して、果物の「視覚的」な詳細を見ます。それは、赤くて丸い、茎のある果物は、他の赤くて丸い、茎のある果物にとても似ているということを知っています。

XMixはどのようにして3つの大きな問題を解決するのでしょうか。

1. チートシートなしでノイズレベルを推測する
通常、これらのコンピュータプログラムは、ルールを設定するために、どれくらいのラベルが間違っているか（例：「50%が間違い」など）を正確に知る必要があります。もし予測を外すと、失敗してしまいます。しかし、XMixはこのようなチートシートを必要としません。XMixは、ある果物とその画像の世界における最も近い「似ているもの」の隣人たちを見ます。もし隣人たちのラベルがすべて異なっているなら、XMixは「うわあ、ここでのノイズは非常に高いに違いない」と計算します。XMixは「最尤推定（maximum likelihood）」という数学的なトリックを使用して、ノイズレベルを自動的に推定します。これは、探偵が犯罪現場を見て、「壊れた窓の数から判断すると、これは暴動だったと推測できる」と言うようなものです。警察の報告書を必要としません。

2. より多くの「優秀な生徒」を見つける（均衡かつ拡張された選択）
ノイズが極端な場合、古い手法は、勉強するための「クリーンなサンプル（優秀な生徒）」をわずかしか見つけられません。XMixはこう言います。「待って、もし一つの良いリンゴを見つけたなら、そしてそれが近くにある他の5つのリンゴと全く同じに見えるなら、その5つも信頼しよう！」と。XMixは、信頼できるサンプルのグループを、その隣人たちを含めることで拡張します。
決定的なことに、これは「クラス不均衡」の問題も解決します。もしいたずらっ子がすべての「バナナ」のラベルを隠してしまった場合、コンピュータはバナナの勉強を完全に止めてしまうかもしれません。XMixはこれに気づき、「もっとバナナが必要だ！」と言います。XMixは、すべての果物が公平に学習される機会を得られるよう、さらに遠くまで探しに行ってバナナの似たものを見つけ出します。これにより、ロボットが特定の好物だけでなく、バランスの取れた知識の食事を学べるようにします。

3. 未知のものに対するより良い推測
最後に、まだ確信が持てないカード（ノイズの多いもの）に対して、XMixは単にランダムに推測するわけではありません。隣人に尋ねます。「あなたにはこれが何に見えますか？」と。XMixは、最も信頼できる隣人（クリーンなもの）の意見を取り入れ、それらを平均して「疑似ラベル（pseudo-label）」（最善の推測ラベル）を作成します。これは、専門家グループに謎の物体について投票してもらうようなものです。専門家たちは対象物にどれほど似ているかに基づいて選ばれるため、彼らの投票はランダムな推測よりもずっと信頼できるのです。

研究結果：逆境を打ち破る

研究者たちは、車、飛行機、動物などの画像を含む有名な画像データセットであるCIFAR-10およびCIFAR-100を用いて、XMixのテストを行いました。彼らは、極端なシナリオを作り出すために、意図的にラベルをめちゃくちゃにしました。

• 90% 対称ノイズ： 100個のラベルのうち90個が完全にランダムである状態を想像してください。
• 98% ノイズ： ほとんどすべてが嘘である状態です。

これらの過酷な条件下では、従来の手法（DivideMixやProMixなど）は崩壊し始めました。例えば、90%のノイズがあるCIFAR-10において、従来の最高の方法（DivideMix）の精度は約**76%でした。しかし、XMixはこれを91.2%にまで引き上げました。95%のノイズがあるCIFAR-100では、従来の方法は19.1%でしたが、XMixは31.4%**に達しました。

論文は、XMixが単に少し優れているだけでなく、状況が最も絶望的な時にこそ輝くことを示しています。XMixは、多くの「真のクリーンな」サンプルを従来の手法よりも多く特定することに成功し、ロボットが学習できる良い例の数を、時には2倍、3倍に増やすこともありました。

結論

XMixは、データを整理するために、データの混乱の正確なレベルを知る必要はないことを証明しています。画像間の視覚的な類似性（特徴空間の「局所的な滑らかさ」）を信頼することで、自動的に戦略を調整し、より多くの良質なデータを見つけ出し、ロボットがノイズを無視できるように教えることができます。

著者らは、この手法が、データが乱雑で、それがどれほど悪いかを教えてくれる手引書が存在しない実世界のシナリオにおいて、重要な一歩であると示唆しています。これはすべてを完璧に直す魔法の杖ではありませんが（ノイズが少なく、拡張が必要ない場合には、まだいくつかミスを犯します）、最も困難な高ノイズ環境において、一貫して最新の技術（state-of-the-art）を上回る性能を発揮します。それは、いたずらっ子たちの混沌とした教室を、学習が可能な場所へと変えるのです。