Wasserstein Filtering: A Sample Selection Method for Robust Distribution Learning

Stellen Sie sich vor, Sie versuchen, die wahre Form einer Wolke zu lernen, indem Sie eine Ansammlung flauschiger weißer Wattebäusche betrachten. Aber hier ist der Haken: Ein schelmischer Kobold hat sich in Ihre Sammlung geschlichen und einige der Wattebäusche gegen schwere, gezackte Steine ausgetauscht oder vielleicht einige der Wattebäusche knallpink angemalt. Wenn Sie versuchen, die Form der Wolke zu erraten, indem Sie den gesamten Haufen betrachten, wird Ihre Antwort völlig falsch sein, weil diese Eindringlinge sie verfälschen. Dies ist das tägliche Dilemma der „robusten Statistik“, eines Zweigs der Wissenschaft, der sich damit beschäftigt, die Wahrheit zu finden, selbst wenn Daten unordentlich, fehlerhaft oder aktiv darauf aus sind, einen zu täuschen.

Um dies zu lösen, nutzen Wissenschaftler oft ein Werkzeug namens „Wasserstein-Distanz“. Betrachten Sie dies nicht als ein Lineal, sondern als eine „Bewegungskosten“. Stellen Sie sich vor, Sie haben einen Haufen Erde (Ihre Daten) und müssen diesen in eine Zielform bringen. Die Wasserstein-Distanz berechnet die minimale Arbeit, die erforderlich ist, um jedes einzelne Korn Erde von seinem aktuellen Platz an seinen neuen Bestimmungsort zu bewegen. Wenn die Erde weit verstreut ist, kostet es viel Energie, sie zu bewegen; wenn sie nah dran ist, kostet es sehr wenig. Diese Methode ist besonders, weil sie Geometrie versteht – sie weiß, dass ein Stein weit weg etwas ganz anderes ist als ein Staubkorn in der Nähe, während andere einfachere Methoden vielleicht nur zählen, wie viele Steine vorhanden sind, ohne deren Position zu berücksichtigen.

Stellen Sie sich nun vor, Sie sind ein Detektiv, der versucht, einen Tatort zu säubern, an dem Beweismittel manipuliert wurden. Sie haben eine Liste von 1.000 Zeugenaussagen, aber Sie wissen, dass bis zu 15 % davon Lügen sind, die von einem Saboteur platziert wurden. Ihr Ziel ist es, die 8est ehrlichsten 850 Aussagen auszuwählen, um die wahre Geschichte zu rekonstruieren, ohne im Voraus zu wissen, welche die Lügen sind. Dies ist genau das Problem, das die Arbeit „Wasserstein Filtering“ angeht. Die Autoren Yikai Xu, Zhao Chen und Jian Huang schlagen einen cleveren neuen Weg vor, um das Rauschen herauszufiltern. Anstatt zu raten, welche Datenpunkte schlecht sind, basierend darauf, wie weit sie vom Zentrum entfernt sind, drehen sie den Spieß um. Sie fragen: „Welche Gruppe von Datenpunkten würde am stärksten anders aussehen als das unordentliche, kontaminierte Ganze, wenn wir nur sie behalten würden?“

Die Logik ist kontraintuitiv, aber brillant. Wenn Sie einen Haufen vermischter Daten haben, sind die „schlechten“ Ausreißer meist diejenigen, die den Durchschnitt in seltsame Richtungen ziehen. Indem sie die Teilmenge der Daten finden, die die größte „Bewegungskosten“ (Wasserstein-Distanz) von dem kontaminierten Chaos weg erzeugt, identifiziert der Algorithmus effektiv die Ausreißer, die die meiste geometrische Verzerrung verursachen. Es ist, als würde man die Gruppe von Menschen in einem überfüllten Raum finden, die, wenn sie alle zusammenstehen würden, am weitesten von dem chaotischen Durcheinander der gesamten Menge entfernt wären. Das Paper zeigt, dass man durch dieses Vorgehen die „sauberen“ Daten mit hoher Präzision isolieren kann.

Die Forscher haben nicht nur eine Idee entwickelt; sie haben drei verschiedene „Maschinen“ (Algorithmen) gebaut, um dies zu ermöglichen. Eines ist eine schnelle Einzelprüfung namens „SinkMarg“, die gut für einfache Fälle geeignet ist, aber bei riesigen Datensätzen langsam werden kann. Die anderen beiden, „SinkWF“ und „SlicedWF“, sind leistungsfähiger. Sie nutzen fortgeschrittene mathematische Tricks (wie „entropische optimale Transporttheorie“ und „Sliced“-Approximationen), um das Rätsel auf einmal zu lösen, selbst wenn die Daten komplex oder hochdimensional sind. Das Paper beweist mathematisch, dass diese Methode unter bestimmten Bedingungen der bestmögliche Weg ist, dies zu tun, insbesondere wenn die „schlechten“ Daten entweder sehr weit weg oder auf eine knifflige Weise sehr nah an den „guten“ Daten liegen.

In ihren Experimenten testeten sie dies auf alles, von einfachen 2D-Zeichnungen über komplexe molekulare Graphen bis hin zu Bildern handgeschriebener Ziffern. Sie fanden heraus, dass ihre Methode, insbesondere der „SinkWF“-Algorithmus, unglaublich gut darin war, die gefälschten Daten zu entdecken, und oft bestehende Top-Tools übertraf. Wenn sie beispielsweise versuchten, einem Computer beizubringen, neue Bilder von Ziffern (wie der Zahl „7“) zu generieren, indem sie einen Datensatz voller korrupter Bilder verwendeten, machte das Vorfiltern der Daten mit ihrer Methode die resultierenden Bilder viel klarer und genauer. Sie merkten jedoch auch an, dass die Methode Schwierigkeiten haben kann, wenn die „schlechten“ Daten so winzig sind, dass sie kaum auffallen, oder wenn die Daten extrem hochdimensional sind, ohne genügend Projektionen zu besitzen. Aber insgesamt zeigten sie, dass dieses „Wasserstein Filtering“ ein leistungsstarkes, modellagnostisches Werkzeug ist, das Daten bereinigen kann, bevor sie in ein anderes System des maschinellen Lernens eingespeist werden, wodurch die Endergebnisse wesentlich zuverlässiger werden.