Stellen Sie sich vor, Sie versuchen, ein riesiges, kompliziertes Mosaik fertigzustellen, aber jemand hat hunderte winziger Kacheln herausgeschnitten. Sie können die umliegenden Teile sehen und wissen, dass das Bild eigentlich eine glatte, fließende Landschaft darstellen soll und kein zerklüftetes Chaos aus wahllosen Farben. Dies ist der tägliche Kampf von Datenwissenschaftlern, die mit „fehlenden Daten“ zu kämpfen haben. In der realen Welt gehen Sensoren kaputt, Umfragen werden übersprungen und Datensätze gehen verloren, was Löcher in unsere digitalen Landkarten reißt. Jahrzehntelang war die Standardmethode, diese Löcher zu füllen, eine Schätzung basierend auf dem, was in der Nähe war – wie ein Nachbar, der eine leere Wand mit den Ziegeln auffüllt, die gerade noch im Hof liegen. Aber was, wenn die Wand nicht flach ist? Was, wenn das Bild eigentlich eine gekrümmte, verdrehte Skulptur ist, wie eine Achterbahn- oder eine geschwungene Schienenstrecke? Wenn man versucht, die Lücken auf einer gekrümmten Strecke mit flachen, geraden Schätzungen zu füllen, erhält man ein Stück, das aus der Nähe betrachtet zwar okay aussieht, aber beim Zurücktreten völlig von der Strecke abweicht.

Dieses Paper taucht in eine spezifische Ecke der Mathematik ein, die als „Manifold-Hypothese“ (Mannigfaltigkeits-Hypothese) bekannt ist. Betrachten Sie dies als die Idee, dass unsere Daten zwar wie eine chaotische Punktwolke in einem riesigen, hochdimensionalen Raum aussehen mögen (stellen Sie sich einen Raum mit hunderten von Bewegungsrichtungen vor), die Punkte aber tatsächlich auf einer viel kleineren, glatteren Oberfläche leben, die in diesem Raum verborgen ist. Es ist so, als würde man erkennen, dass alle Ameisen in einem chaotischen Haufen eigentlich in einer einzigen, gewundenen Linie auf einem Blatt Papier marschieren. Das Paper verwendet zudem „Variational Autoencoders“ (VAEs), die wie intelligente, flexible Kameras funktionieren können, die in der Lage sind, ein komplexes 3D-Objekt auf eine einfache 2D-Zeichnung abzuflachen und das 3D-Objekt dann perfekt aus dieser Zeichnung wieder aufzubauen. Die große Frage lautet: Wenn wir einige Teile eines 3D-Objekts verlieren, können wir diese 2D-Zeichnung nutzen, um genau zu bestimmen, wie die fehlenden Teile aussehen sollten, wobei die Krümmung der Strecke respektiert wird, anstatt nur zu raten?

Die Autoren, Zelong Bi und Amuchechukwu Ibenegbu, schlagen einen neuen Weg vor, um diese kaputten Mosaike zu reparieren, indem sie die Daten wie eine gekrümmte Oberfläche statt wie ein flaches Blatt behandeln. Sie argumenten, dass die derzeit populärsten Methoden, wie etwa das Werkzeug namens „MissForest“, zwar großartig darin sind, Muster zu finden, aber oft versagen, die „Geometrie“ der Daten zu respektieren. Um dies zu visualisieren: Stellen Sie sich vor, MissForest versucht, eine fehlende Stelle auf einem Kreis zu füllen, indem es eine gerade Linie über die Lücke zieht; das Ergebnis mag mathematisch gesehen nah an den Nachbarn liegen, aber es bricht den Kreis. Die Methode der Autoren hingegen versteht, dass die Daten auf einer Kurve liegen, und füllt die Lücke, indem sie dem Bogen folgt, wodurch die Form intakt bleibt.

Um dies zu erreichen, wenden sie einen zweistufigen Zaubertrick an. Zuerst nutzen sie einen „Mixture of VAEs“ (eine Mischung aus VAEs), um die Form der verborgenen Oberfläche zu erlernen. Stellen Sie sich dies wie ein Team von Künstlern vor, von denen jeder für einen anderen Abschnitt der Kurve verantwortlich ist (wie ein Künstler für den Gipfel des Hügels, ein anderer für das Tal). Sie bilden die unordentlichen, hochdimensionalen Daten auf einen einfachen, niedrigdimensionalen „Latent Space“ (latenten Raum) ab, in dem die Kurven leicht zu erkennen sind. Wenn dann ein Teil fehlt, raten sie nicht einfach; sie nutzen ein statistisches Verfahren namens „Sampling-Importance-Resampling“ (SIR). Betrachten Sie SIR als ein Spiel wie „heiße Kartoffel“, bei dem sie tausende mögliche Vermutungen für das fehlende Stück generieren, aber nur diejenigen behalten, die perfekt mit den bekannten Teilen der Kurve übereinstimmen, während sie jene verwerfen, die seltsam oder deplatziert wirken. Dies ermöglicht es ihnen, nicht nur eine einzige Antwort zu geben, sondern auch einen Bereich möglicher Antworten aufzuzeigen, wodurch sie effektiv quantifizieren können, wie unsicher sie sich über die Auffüllung sind.

Doch sie hörten dort nicht auf. Sie erkannten, dass die Künstler (die VAEs) manchmal nicht genug Beispiele haben, um jede Drehung und Wendung der Kurve perfekt zu erlernen. Also fügten sie einen „gemeinsamen Diffusionsprozess“ hinzu. Stellen Sie sich dies wie einen magischen Nebel vor, der langsam aufzieht und sich klärt. Man beginnt mit einer völlig verschwommenen, verrauschten Vermutung des fehlenden Stücks und der Form der Kurve, und das Modell „entrauscht“ (denoises) die Vermutung Schritt für Schritt, bis sie in eine scharfe, perfekte Passform übergeht, die sowohl die lokalen Details als auch die globale Form respektiert. Dies geschieht im niedrigdimensionalen Raum, was viel schneller und effiziver ist, als zu versuchen, das Rauschen im riesigen, hochdimensionalen Raum zu bereinigen.

Die Ergebnisse ihrer Experimente sind sehr überzeugend. Als sie ihre Methode an synthetischen Daten testeten, die in Form von Kreisen, Kugeln und Torus-Formen (Donuts) gestaltet waren, lieferte ihr Ansatz Imputationen, die die wahre Form der Daten weitaus besser bewahrten als die führenden Methoden. Während die Standardmethode (MissForest) durch das bloße Schätzen von Werten, die nahe bei den Nachbarn lagen, manchmal einen niedrigeren „Fehlerwert“ (RMSE) erzielte, zerstörte sie jedoch oft die geometrische Form. Die Methode der Autoren hingegen erreichte den niedrigsten „Wasserstein-Abstand“, was eine schicke Art und Weise ist zu sagen, dass die gesamte Form und Verteilung ihrer aufgefüllten Daten der ursprünglichen, ununterbrochenen Struktur viel näher kam.

Auf realen Datensätzen, wie etwa Aufzeichnungen über Supraleiter (Materialien, die Strom mit null Widerstand leiten) und Energieverbrauch, fanden die Autoren, dass ihre Methode ein starker Konkurrent ist. Sie schnitt fast so gut ab wie MissForest, wenn Daten zufällig fehlten, aber sie glänzte besonders dann, wenn die fehlenden Daten schwierig waren oder ein großer Teil davon fehlte. In diesen schwierigen Szenarien blieb ihre Methode robust, während andere zu bröckeln begannen. Beispielsweise behielt ihre Methode beim Datensatz zur Supraleitfähigkeit selbst dann die niedrigsten Fehlerraten, wenn die Fehlstellen nicht zufällig verteilt waren, was darauf hindeutet, dass das Verständnis der zugrunde liegenden Geometrie dem Modell hilft, selbst dann korrekt zu raten, wenn die Daten auf eine nicht-zufällige Weise „versteckt“ werden.

Das Paper weist jedoch vorsichtig darauf hin, dass dies kein Zauberstab für jedes Problem ist. Die Methode stützt sich stark auf die Annahme, dass die Daten tatsächlich einer glatten, niedrigdimensionalen Kurve folgen (die Manifold-Hypothese). Wenn die Daten lediglich aus zufälligem Rauschen bestehen oder keine klare Form haben, könnte die Methode Schwierigkeiten bekommen. Sie stellten auch fest, dass die Methode bei einem kleinen Datensatz wie den Weinqualitätsdaten nicht so gut abschnitt, was wahrscheinlich daran liegt, dass nicht genügend Daten vorhanden waren, um die Künstler zu lehren, wie man die Kurve zeichnet. In solchen Fällen funktionierten einfachere Methoden, die nur nach den nächsten Nachbarn suchen, besser.

Letztendlich legt dieses Paper nahe, dass wir durch die Kombination des geometrischen Verständnisses des Manifold-Learnings mit der generativen Kraft von Diffusionsmodellen fehlende Daten auf eine Weise ergänzen können, die sich „richtig“ anfühlt für die Form des Universums, aus dem die Daten stammen. Es ist ein Wechsel von der bloßen Methode, Löcher mit dem nächstgelegenen verfügbaren Ziegel zu stopfen, hin zum Formen des fehlenden Stücks, damit es perfekt in die Kurve der Wand passt. Obwohl dies mehr Rechenleistung und eine spezifische Art von Datenstruktur erfordert, bietet es einen vielversprechenden Weg zu einer genaueren und vertrauenswürdigeren Datenrekonstruktion, insbesondere in Bereichen, in denen die Form der Daten ebenso wichtig ist wie die Zahlen selbst.