Wasserstein Filtering: A Sample Selection Method for Robust Distribution Learning

あなたは、ふわふわした白い綿の塊を見て、雲の真の形を学ぼうとしているところだと想像してください。しかし、ここには仕掛けがあります。いたずら好きなグレムリンがあなたのコレクションに忍び込み、いくつかの綿の塊を重くてゴツゴツした石と入れ替えたり、あるいは綿を鮮やかなネオンピンクに塗ったりしてしまったのです。もし、その塊全体を見て雲の形を推測しようとすれば、それらの侵入者のせいで答えはすべて間違ったものになってしまいます。これは「ロバスト統計学」の日常的な苦闘であり、データが乱れていたり、壊れていたり、あるいは積極的にあなたを欺こうとしたりする場合でも、真実を見つけ出すことに捧げられた科学の一分野です。

これを解決するために、科学者たちはしばしば「ワッサースタイン距離（Wasserstein distance）」というツールを使用します。これは、定規としてではなく、「移動コスト」として考えてください。あなたが土の山（あなたのデータ）を持っていて、それを目標の形に合わせる必要があると想像してください。ワッサースタイン距離は、現在の場所から新しい家へとすべての土の粒を移動させるために必要な最小限の仕事量を計算します。もし土が遠くに散らばっていれば、それを移動させるには多くのエネルギーが必要になります。もし近ければ、エネルギーはほとんどかかりません。この手法は、幾何学を理解しているという点で特別です。つまり、遠くにある岩は近くにある塵とは非常に異なると理解しており、他のより単純な手法のように、単に岩がいくつあるかを数えるだけではありません。

次に、あなたは、証拠が改ざんされた犯罪現場を片付けようとしている探偵だと想像してください。あなたは1,000件の目撃証言のリストを持っていますが、そのうち最大15%はサボタージュ（破壊工作）による嘘であることを知っています。あなたの目標は、どの証言が嘘であるかを事前に知ることなく、最も正直な850件の証言を選び出し、真実の物語を再構成することです。これはまさに「ワッサースタイン・フィルタリング（Wasserstein Filtering）」という論文が取り組んでいる問題です。著者であるYikai Xu、Zhao Chen、Jian Huangは、ノイズをふるい分けるための巧妙な新しい方法を提案しています。データの中心からどれほど離れているかで悪いデータを見つけるのではなく、彼らはその逆を行きます。彼らはこう問いかけます。「もし、特定のデータ群だけを残したとしたら、それは汚染された全体像と最も異なって見えるだろうか？」

その論理は直感に反していますが、非常に明快です。もし混合したデータの山があるなら、「悪い」外れ値は通常、平均を奇妙な方向へと引きずり込む存在です。汚れた混乱状態から最も大きな「移動コスト（ワッサースタイン距離）」を生み出すデータ集合を見つけ出すことで、アルゴリズムは、幾何学的な歪みを引き起こしている外れ値を効果的に特定し、取り除くことができます。それは、混雑した部屋の中にいる人々の中で、もし彼らが一箇所に集まったとしたら、群衆全体の混沌とした集まりから最も遠くに離れるのは誰かを見つけ出すようなものです。論文では、このようにすることで、高い精度で「クリーンな」データを分離できることが示されています。

研究者たちは単にアイデアを思いついただけでなく、これを実現するための3つの異なる「機械（アルゴリズム）」を構築しました。一つは「SinkMarg」と呼ばれる、素早く一つずつチェックを行うもので、単純なケースには適していますが、巨大なデータセットでは動作が遅くなる可能性があります。もう二つの「SinkWF」と「SlicedWF」は、より強力です。これらは、複雑なデータや高次元のデータに対しても、一度にパズルを解くために、「エントロピー的最適輸送（entropic optimal transport）」や「スライス近似（sliced approximations）」といった高度な数学的トリックを使用します。論文では、特定の条件下、具体的には「悪い」データが非常に遠くに離れている場合、あるいは「良い」データに非常に近い形で入り込んでいる場合に、この手法が可能な限り最善の方法であることを数学的に証明しています。

実験において、彼らは単純な2Dの図形から、複雑な分子グラフ、さらには手書き数字の画像に至るまで、あらゆる対象でテストを行いました。その結果、彼らの手法、特に「SinkWF」アルゴリズムは、偽のデータを特定することにおいて非常に優れており、多くの場合、既存のトップレベルのツールを凌駕することがわかりました。例えば、汚染されたデータセットを用いてコンピュータに数字（例えば「7」）の新しい画像を生成するように学習させた際、彼らの手法でデータを事前にフィルタリングすることで、生成される画像がはるかに鮮明で正確になったのです。しかし、彼らはまた、「悪い」データがあまりにも小さすぎてほとんど認識されない場合や、十分な投影（projections）がないまま極端に高次元である場合には、この手法が苦戦する可能性があることも指摘しています。それでも全体として、彼らはこの「ワッサースタイン・フィルタリング」が、他のあらゆる機械学習システムに投入される前のデータをクリーンアップするための、強力でモデルに依存しない（model-agnosticな）ツールであることを実証しました。これにより、最終的な結果ははるかに信頼できるものになります。