Informative Label Missingness in Multiclass Classification: Information Geometry and Excess Risk

機械学習の世界において、コンピュータは例を学習することでパターンを認識することを学びます。教師が学生に何千枚もの猫と犬の写真を見せ、どちらがどちらであるかを教える場面を想像してみてください。学生は、一方が他方と区別されるための特徴を見つけ出す方法を学びます。この「分類」と呼ばれるプロセスは、すべての画像に対して正しいラベルが付与されていることに大きく依存しています。しかし、現実の世界では、データはしばしば乱雑です。時には、教師が写真へのラベル付けを忘れたり、人間の専門家がその画像が分類するにはあまりに紛らわしいと判断して空白のままにしたりすることがあります。何十年もの間、統計学者は「ラベルがあることは、ないことよりも常に優れている」という単純なルールに従ってきました。もし猫の写真があっても、それが猫であるというラベルを知らない場合、その写真はラベルが明確に書かれているものよりも有用性が低いとみなされてきました。欠落した情報は、純粋な損失、つまり学生の仕事を困難にするデータの隙間であると考えられてきたのです。

しかし、もしラベルが欠落している理由そのものが、何か重要なことを教えてくれているとしたらどうでしょうか？ もし、専門家がラベル付けを飛ばしたのは、最も判別が難しい写真を選んだからだとしたら？ その場合、ラベルが欠落しているという事実は単なる隙間ではなく、「手がかり」となります。これは、欠落したデータ自体のパターンが情報を持っているという微妙な可能性を示唆していますが、これは複雑な状況、特に2つ以上のカテゴリが絡む場合には理解するのが困難でした。研究者のファリボルズ・セトゥデウテタジ（Fariborz Setoudehtazangi）とジェフリー・マクラクラン（Geoffrey McLachlan）による新しい研究は、単純な比較を超えて、いつ、なぜ欠落したラベルが、すべてのラベルが存在する場合よりもコンピュータの学習を助けることがあるのかを正確に描き出し、この現象を調査しています。

研究者たちは、コンピュータがデータを3つ以上のグループに分類しようとするシナリオに焦点を当てました。これは、単純な2択の選択よりもはるかに複雑なタスクです。彼らは、ラベルが特定の非ランダムな方法で欠落しているときに、どのように情報が流れるかを追跡するための数学的枠組みを開発しました。彼らの研究は、データセットの価値は単にラベルがいくつあるかではなく、それらの欠落したラベルがどこに位置しているかによって決まることを明らかにしています。もし欠落したラベルが、最も困難な決定ポイント（コンピュータが最も混乱している領域）の周囲に集まっているならば、その「不在のパターン」は、コンピュータがグループ間の境界線をより正確に理解するためのガイドとして機能する可能性があります。

これを検証するために、チームは、グループが単純な直線ではなく、曲線的で複雑な境界線によって定義される3クラス・システムを用いて、詳細なシミュレーションを構築しました。彼らは、ラベルが欠落する確率が、その特定のデータポイントに対するコンピュータの不確実性に完全に依存するように設定しました。参照設定では、ラベルの30パーセントを削除しました。これらの欠落したラベルがランダムに分布していた場合、予想通り、コンピュータの性能は低下しました。しかし、欠落したラベルが不確実性の高い領域に集中していた場合、コンピュータの性能は向上しました。実際、この部分的にラベル付けされた、情報の詰まったデータで訓練されたモデルは、すべてのラベルが既知である完全なデータセットで訓練されたモデルよりも、間違いが少なくなりました。

この直感に反する結果は、「欠落メカニズム」が二次的な情報源として機能するために起こります。コンピュータは、特定の場所にラベルが欠落しているのを見ることで、その場所がクラス間の混乱が高い場所であることを学びます。この追加の信号により、コンピュータはラベル化されたデータのみを見るよりも、決定境界の形状をより精密に洗練させることができます。研究者たちは、この優位性が、欠落したデータが完全なデータよりも多くの総情報量を提供することを必要とするのではないことを示しました。むしろ、それは情報の「整合性」に依存しています。欠落したラベルは、グループ間の線を引くために最も重要な方向において、手がかりを提供しなければなりません。もし欠落したラベルが決定境界に影響を与えない方向に散らばっているならば、それらは何の助けにもなりません。

また、この研究は、欠落のパターンが不確実性に依存するようになるにつれて、この利点がどのように現れるかを調査しました。彼らは、この恩恵は即座に現れるものではないことを見出しました。欠落したラベルと不確実性の結びつきが弱い場合、ラベルを失うことによる損失が、新しい手がかりによる助けを上回ります。システムは最初は悪化します。欠落のパターンからの有益な信号が、ラベルを失ったコストを補うほど十分に強くなったときに初めて、改善が始まります。これにより、戦略が「有害」から「有益」へと切り替わる、特定の閾値（ティッピング・ポイント）が存在します。研究者たちはこれらの閾値をマッピングし、その切り替えの正確なポイントが、グループがいかに分離されているか、およびデータがいかにバランスが取れているかに依存することを示しました。

理論的な発見が単なる理論にとどまらないことを確認するため、チームは現実世界のサンプルサイズを模倣した、有限のデータを用いた広範なコンピュータ実験を行いました。彼らは、理論的な予測が限られたデータであっても成立することを確認しました。情報の詰まった欠落データで訓練されたモデルは、ランダムに欠落したデータで訓練されたモデルよりも一貫して優れた性能を示し、テストされた特定の条件下では、完全なデータセットで訓練されたモデルさえも上回りました。彼らはまた、この手法をヒトの脊椎の医学的測定に関する実世界のデータセットに適用しました。そこでは、患者は正常、脊椎すべり症、または椎間板ヘルニアの3つのカテゴリーに分類されていました。不確実性に基づいてラベルを人工的に削除し、その削除プロセスをモデル化したところ、欠落メカニズムを明示的に考慮することで、最終的なエラー率が必ずしも完全なデータよりも下がるとは限らないものの、モデルの確率予測能力が向上することがわかりました。

この研究は、「ラベル付きデータが多いことは常に良い」という長年の仮定に異議を唱えています。専門家やシステムが最も曖昧なケースから選択的にラベルを省略する場合、その選択プロセスを無視することは間違いであると示唆しています。欠落のパターンを単なる厄介ごととしてではなく、一つのデータソースとして扱うことで、統計学者はより優れた分類器を構築できます。研究者たちは、これは普遍的なルールではないことを強調しています。これは、欠落が「情報を含んでおり」、かつ「十分に強い」場合にのみ機能する、レジーム依存の現象です。もし欠落がランダムであったり、あるいは弱かったりするのであれば、不完全なデータを破棄するという従来のアプローチが最善の道であり続けます。

究極的に、この研究は学習の幾何学に対する新しい視点を提供しています。情報の価値は一様ではなく、その情報が決定境界に対してどこに位置しているかに依存することを示しています。明確で容易な領域におけるラベルの欠落は無駄ですが、混乱した領域におけるラベルの欠落は「道標」なのです。この整合性を理解することで、研究者は、データポイントの間の「沈黙」を読み解き、記録の空白を未来へのガイドへと変えることができる、より優れた学習システムを設計できるようになります。