Recovering Latent Structure in Massive Datasets: A PCA Study of 10 Billion and 1 Trillion Observations

Stellen Sie sich vor, Sie versuchen, die „Persönlichkeit“ einer riesigen Menschenmenge zu verstehen. In der Welt der Datenwissenschaft ist diese Menschenmenge ein Datensatz, und die Persönlichkeit ist die verborgene Struktur oder das „latente Muster“, das alles zusammenhält. Um diese Muster zu finden, nutzen Statistiker ein cleveres Werkzeug namens Hauptkomponentenanalyse, oder PCA (Principal Component Analysis). Betrachten Sie PCA als einen superintelligenten Übersetzer, der ein unordentliches Zimmer voller tausender verschiedener Objekte nimmt und herausfindet, welche wenigen Gruppen von Gegenständen sich tatsächlich synchron bewegen. Wenn Sie ein Zimmer mit 100 Menschen haben, könnte die PCA Ihnen sagen, dass 90 % der Bewegung einfach darin bestehen, dass alle gemeinsam nach links und rechts rutschen, während die anderen 10 % nur zufälliges Zappeln sind.

Seit Jahrzehnten nutzen Wissenschaftler die PCA bei kleinen Menschenmengen – Datensätzen mit Hunderten oder Tausenden von Menschen. Aber heute leben wir im Zeitalter von „Big Data“, in dem wir Informationen über Milliarden oder sogar Billionen von Dingen sammeln können, wie etwa jedes Pixel in einem Satellitenbild oder jeden Klick auf einer Website. Eine große Frage schwebt im Raum: Funktioniert die PCA noch, wenn die Menge so groß wird? Wird das Werkzeug durch die schiere Größe verwirrt oder wird es dadurch sogar besser und stabiler? Diese Studie taucht in diese Frage ein und testet, ob unsere statistischen Übersetzer eine Menge bewältigen können, die so groß ist, dass ein normaler Computer explodieren würde.

---

Das große Datensegment: Wenn „Mehr“ nicht mehr „Anders“ ist

Dr. Mike Crowhurst und sein Team beschlossen, die PCA dem ultimativen Test zu unterziehen. Sie betrachteten nicht nur eine kleine Menge; sie simulierten drei massive Szenarien, um zu sehen, wie sich das Werkzeug verhält. Zuerat erstellten sie eine „zufällige“ Menge von 10 Milliarden Beobachtungen (10BillionenRandom). Dann erschufen sie eine noch größere zufällige Menge von 1 Billion Beobachtungen (1BillionenRandom) – das ist 100-mal größer als die erste! Schließlich bauten sie eine „manipulierte“ Menge von 10 Milliarden Beobachtungen (10BillionenEngineered), die heimlich mit drei spezifischen verborgenen Mustern entworfen wurde, wie bei einem Zaubertrick, bei dem der Magier genau weiß, wo die Karten gestapelt sind.

Die „zufällige“ Menge: Wenn die Größe keine Rolle spielt
Die Forscher wollten sehen, ob es das Ergebnis verändert, wenn man die zufällige Menge um das 100-fache vergrößert. Stellen Sie sich vor, Sie versuchen, die durchschnittliche Körpergröße einer Gruppe von Menschen zu erraten. Wenn Sie 10 Menschen messen, erhalten Sie vielleicht einen seltsamen Durchschnitt. Wenn Sie 1.000 messen, kommt es dem wahren Wert näher. Aber was ist, wenn Sie 10 Milliarden messen? Ändert die Messung von 1 Billion die Antwort?

In diesen Simulationen war die Antwort ein entschiedenes „Nein“. Die PCA-Ergebnisse für die 10-Milliarden-Personen-Menge und die 1-Billionen-Personen-Menge waren nahezu identisch. Die Zahlen waren so nah beieinander, dass sie bis auf die fünfte oder sechste Dezimalstelle übereinstimmten. Es war, als hätte das Werkzeug die „Wahrheit“ der Zufallsdaten bereits herausgefunden, als es die 10 Milliarden erreichte. Das Hinzufügen von weiteren 990 Milliarden Beobachtungen enthüllte keine neuen Geheimnisse; die Lösung hatte bereits „konvergiert“, was bedeutet, dass sie sich in ihre endgültige, stabile Form gefügt hatte. Die Studie legt nahe, dass man bei dieser Art von Zufallsdaten nicht warten muss, bis man Billionen von Punkten hat, um eine zuverlässige Antwort zu erhalten; 10 Milliarden waren bereits ausreichend, um die Ziellinie zu erreichen.

Die „manipulierte“ Menge: Den verborgenen Schatz finden
Als Nächstes testete das Team, ob die PCA eine verborgene Struktur in einem massiven Datensatz finden kann. Sie bauten den „konstruierten“ (Engineered) Datensatz mit drei geheimen Zutaten (latenten Faktoren), die dazu bestimmt waren, das Verhalten der Variablen zu steuern. Es war, als würde man drei verschiedene Melodien in einer Sinfonie aus einer Milliarde Instrumente verstecken.

Das Ergebnis? Die PCA fand sie perfekt. Das Werkzeug identifizierte drei Hauptkomponenten, die ganze 99,996 % der gesamten Variation in den Daten erklärten. Die verbleibenden sieben Komponenten waren so winzig, dass sie im Grunde Rauschen waren. Die von der PCA gefundenen Muster entsprachen fast exakt dem geheimen Rezept, das die Forscher zum Aufbau der Daten verwendet hatten. Dies beweist, dass die PCA selbst dann nicht im Rauschen verloren geht, wenn der Datensatz so groß wie 10 Milliarden ist; sie wird sogar schärfer beim Finden des Signals, weil sich die zufälligen Fehler so effektiv gegenseitig aufheben.

Die knifflige „Cross-Loading“-Variable
Es gab einen kleinen Twist in der Geschichte. Die Forscher fügten eine spezielle Variable „K“ ein, die so konzipiert war, dass sie gleichzeitig von zwei der verborgenen Muster beeinflusst wird (eine „Cross-Loading“-Variable). Sie erwarteten, dass sie ihre Zeit gleichmäßig zwischen den beiden aufteilt. Die PCA entschied jedoch, sie hauptsächlich der stärksten Komponente zuzuordnen, mit einer Ladung von etwa 0,944 auf die erste Komponente. Obwohl dies nicht die perfekt ausgewogene Aufteilung war, die die Forscher vielleicht erhofft hatten, zeigte es, dass die PCA sehr gut darin ist, das stärkste Signal zu priorisieren. Sie ignorierte die Variable nicht; sie entschied lediglich, dass die stärkere verborgene Melodie die wichtigere für dieses Puzzleteil war.

Wie sie es machten: Die Magie des „Streaming“
Sie fragen sich vielleicht, wie sie die Zahlen für 1 Billion Elemente berechnen konnten, ohne einen Supercomputer von der Größe einer Stadt zu besitzen. Das Geheimnis war, dass sie die Daten gar nicht erst gespeichert haben. Anstatt eine Liste jeder einzelnen Beobachtung zu führen (was unmögliche Mengen an Speicherplatz erfordern würde), nutzten sie eine „Streaming“-Methode.

Stellen Sie sich das wie einen Kassierer im Supermarkt vor, der sich nicht an jedes einzelne Produkt erinnert, das Sie gekauft haben, sondern nur eine laufende Summe des Preises und eine Liste der Anzahl der jeweils gekauften Artikel führt. Während die Daten einflossen, hielt der Computer nur die „hinreichenden Statistiken“ fest – die Summen und die Kreuzprodukte. Sobald der Stream beendet war, nutzte er diese Summen, um die Mittelwerte und Muster zu berechnen. Dies ermöglichte es ihnen, einen Datensatz von 1 Billion Beobachtungen auf einer einzigen Workstation mit fünf Grafikkarten zu analysieren, was beweist, dass man nicht jedes einzelne Stück der Daten horten muss, um das große Ganze zu verstehen.

Was das bedeutet
Die Studie legt nahe, dass es für viele Arten von Daten einen Punkt der „praktischen Konvergenz“ gibt. Sobald man genug Daten hat (in diesem Fall etwa 10 Milliarden), ändert das Erhalten von mehr Daten die Antwort nicht wirklich. Es ist wie der Versuch, die Durchschnittstemperatur einer Stadt zu finden: Die Messung von 10.000 Sensoren liefert eine großartige Antwort; die Messung von 100.000 Sensoren liefert dieselbe Antwort, nur mit ein wenig mehr Aufwand.

Dies ist eine gute Nachricht für Bereiche wie Fernerkundung, Umweltmodellierung und digitale Kartierung, in denen Datensätze routinemäßig Milliarden von Beobachtungen enthalten. Es deutet darauf hin, dass Wissenschaftler und Ingenieure nicht unbedingt jeden einzelnen Tropfen der Daten verarbeiten müssen, um ein zuverlässiges Modell zu erhalten. Sie können früher aufhören, massive Mengen an Rechenleistung sparen und dennoch ein Ergebnis erzielen, das praktisch identisch mit dem wäre, das sie mit einer Billion Punkten erhalten hätten. Das Werkzeug funktioniert, es ist stabil und es ist bereit für die größten Mengen, die wir ihm entgegenwerfen können.