Handling Missingness and Censoring in Dirichlet Mixture Models

Stellen Sie sich vor, Sie versuchen, einen Smoothie zu beschreiben, aber Sie können nur ein paar der Früchte darin schmecken. Vielleicht wissen Sie, dass Erdbeere und Banane enthalten sind, aber der Mixer hat die Mango und die Kiwi versteckt. In der Welt der Datenwissenschaft wird dies als „zusammengesetzte Daten“ (compositional data) bezeichnet. Es handelt sich um Informationen, die beschreiben, wie Teile ein Ganzes bilden, wie etwa die Zutaten in einem Rezept oder die chemischen Bestandteile eines Gesteins. Der knifflige Teil ist, dass diese Teile aneinander gebunden sind: Wenn Sie von einer Zutat mehr haben, haben Sie automatisch von den anderen weniger, da sie immer 100 % ergeben müssen. Wissenschaftler nutzen diese Daten, um alles Mögliche zu verstehen, von der Entstehung von Bergen bis hin zur Frage, warum die Luft immer smogartiger wird. Aber es gibt ein großes Problem: Reale Daten sind unordentlich. Manchmal gehen Sensoren kaputt, manchmal sind Chemikalien zu winzig, um gesehen zu werden, und manchmal fehlen Daten einfach ganz. Wenn das passiert, geraten die üblichen mathematischen Werkzeuge in Verwirrung, weil sie nicht mit den „fehlenden“ Teilen umgehen können, ohne den ganzen Smoothie wegzuwerfen oder das Rezept so zu verändern, dass es unerkennbar wird.

Dieses Paper widmet sich genau diesem Kopfschmerz. Die Autoren, Jason Pillay und sein Team, haben einen neuen Weg entwickelt, Mathematik zu betreiben, der die fehlenden Teile nicht einfach wegwirft. Anstatt die Daten in eine Form zu pressen, in die sie nicht passen, haben sie einen speziellen „Detektiv“-Algorithmus entwickelt, der erraten kann, was die fehlenden Teile sein könnten, während er die Daten in Gruppen sortiert. Denken Sie an ein Puzzle, bei dem einige Teile fehlen; anstatt aufzugeben, nutzt der Detektiv die Form der umliegenden Teile, um genau zu bestimmen, wohin die fehlenden Teile gehören, während er gleichzeitig das Bild des Puzzles dem Original treu hält. Sie haben diesen Detektiv an künstlichen Daten mit fehlenden Teilen und an realen Daten über Gesteine und Luftverschmutzung getestet. Sie fanden heraus, dass ihre Methode viel besser darin ist, die richtigen Gruppen zu finden und die richtige Anzahl an Kategorien auszuwählen, als die alte Methode, bei der man die unordentlichen Daten einfach löscht. Es ist ein Weg, aus unvollständigen Geschichten Sinn zu machen, ohne den roten Faden zu verlieren.

Das Problem: Das „Fehlendes-Teile“-Puzzle

In der Wissenschaft haben wir es oft mit Daten zu tun, die ein Ganzes durch seine Teile beschreiben. Stellen Sie sich einen Stein vor, der aus verschiedenen Mineralien besteht, oder einen Luftzug, der aus verschiedenen Chemikalien besteht. Die Regel ist einfach: Alle Teile müssen zusammen 100 % ergeben. Wenn der Stein zu 50 % aus Quarz besteht, kann er nur zu 50 % aus allem anderen zusammen bestehen. Dies nennt man „zusammengesetzte Daten“.

Das Problem entsteht, wenn die Daten unvollständig sind. Vielleicht hat eine Maschine ein bestimmtes Mineral nicht gemessen, oder eine Chemikalie war zu schwach, um gesehen zu werden, sodass die Zahl verborgen bleibt. In der Vergangenheit hatten Wissenschaftler zwei schlechte Optionen:

1. Wegwerfen: Die ganze Probe löschen, weil ein Teil fehlt. Das verschwendet eine Menge an Informationen.
2. Fälschen: Die fehlende Zahl erraten und sie einfügen, bevor man die Mathematik anwendet. Das kann die Ergebnisse täuschen und die Gruppen falsch aussehen lassen.

Die Autoren dieses Papers wollten einen dritten Weg finden: eine Methode, die auf dem „Simplex“ bleibt (der mathematische Name für diese 100-%-Regel) und die fehlenden Teile direkt behandelt, ohne sie zu löschen oder zu fälschen.

Die Lösung: Ein intelligenter Detektiv-Algorithmus

Die Autoren entwickelten eine neue Version eines berühmten mathematischen Werkzeugs namens Expectation-Maximization (EM)-Algorithmus. Sie können diesen Algorithmus als einen superintelligenten Detektiv betrachten, der versucht, einen unordentlichen Haufen von Hinweisen in verschiedene Gruppen zu sortieren.

So arbeitet der Detektiv in dieser neuen Methode:

• Das Setup: Der Detektiv weiß, dass es verschiedene „Typen“ von Gesteinen oder Luftproben (genannt Cluster) gibt, aber er weiß noch nicht, welche Probe zu welchem Typ gehört.
• Die Vermutung (E-Schritt): Wenn der Detektiv eine Probe mit fehlenden Teilen sieht, gerät er nicht in Panik. Er schaut sich die Teile an, die er doch sieht, und fragt: „Wenn diese Probe zu Gruppe A gehört, was wären dann die wahrscheinlichsten fehlenden Teile?“ Er berechnet die Wahrscheinlichkeit der fehlenden Teile basierend auf den Regeln der Gruppe.
• Die Aktualisierung (M-Schritt): Unter Verwendung dieser Vermutungen aktualisiert der Detektiv sein Verständnis davon, wie Gruppe A und Gruppe B tatsächlich aussehen.
• Die Schleife: Er wiederholt diesen Prozess immer und immer wieder. Mit jeder Schleife werden die Vermutungen besser und die Gruppen werden klarer.

Die Magie liegt darin, dass dies alles gleichzeitig geschieht. Der Algorithtus findet die fehlenden Werte und sortiert die Proben in Gruppen ein – und das alles gleichzeitig, während er die Regel respektiert, dass alles 100 % ergeben muss.

Der Test: Simulationen und reale Rätsel

Um zu sehen, ob ihr Detektiv gut war, führten die Autoren zwei Arten von Tests durch.

1. Das Simulationslabor (Die künstlichen Daten)
Sie erstellten 1.000 künstliche Datensätze, bei denen sie die wahren Gruppen kannten, aber dann unterschiedliche Mengen an Daten verborgen (von 0 % bis 90 % fehlend).

• Das Ergebnis: Selbst als 90 % der Daten fehlten, konnte ihre Methode die Proben mit überraschender Genauigkeit sortieren.
• Der Vergleich: Sie verglichen dies mit der alten Methode, die unvollständige Proben einfach zu löschen. Wenn Daten fehlten, scheiterte die alte Methode daran, die richtige Anzahl an Gruppen zu finden. Die neue Methode hingegen fand viel häufiger die richtige Anzahl an Gruppen (vier, in ihrem Test), selbst wenn die Daten sehr spärlich waren.
• Zensierung: Sie testeten auch „zensierte“ Daten, bei denen ein Wert verborgen ist, weil er zu klein ist, um gemessen zu werden (wie eine Chemikalie unter der Nachweisgrenze). Die neue Methode handelte hier genauso gut wie bei den fehlenden Daten.

2. Die realen Rätsel
Sie wandten ihre Methode auf zwei reale Datensätze an, um zu sehen, ob sie echte wissenschaftliche Rätsel lösen kann.

• Rätsel 1: Der Erdmantel (Xenolithe)
  Sie analysierten 1.256 Proben von Gesteinen aus dem tiefen Inneren der Erde. Bei diesen Gesteinen fehlten 33 % der Messungen, da sie von verschiedenen Orten mit unterschiedlichen Werkzeugen gesammelt wurden.

• Die Erkenntnis: Der Algorithmus sortierte die Gesteine in vier deutliche Gruppen. Diese Gruppen entsprachen perfekt den realen geologischen Typen. Zum Beispiel war eine Gruppe reich an Magnesium und Silizium (Peridotite) aus alten, stabilen Teilen der Erdkruste, während eine andere mehr Eisen und Chrom enthielt. Die Methode identifizierte diese Gesteinstypen erfolgreich, ohne die unordentlichen Proben wegwerfen zu müssen.

• Rätsel 2: Die Luft, die wir atmen (PM2,5)
  Sie untersuchten Daten aus dem US Air Quality System, das kleinste Partikel in der Luft verfolgt. Diese Daten enthielten sowohl fehlende Werte als auch „zensierte“ Werte (Chemikalien, die zu klein sind, um gemessen zu werden).

• Die Erkenntnis: Der Algorithmus fand vier klare Arten von Luftverschmutzung.

  • Gruppe 1: Kalte Luft mit viel Sulfat und Nitrat (oft aus industriellen Emissionen).
  • Gruppe 2: Eine Mischung aus Kohlenstoff und Nitraten.
  • Gruppe 3: Warme Luft, bei der ein riesiger Teil der Verschmutzung unbekannt war (der „Residualwert“ war groß), was auf unsichtbare Partikel hindeutet, die Licht nicht gut absorbieren.
  • Gruppe 4: Warme Luft, die von organischem Kohlenstoff dominiert wird (wie Rauch oder Abgase), was in Städten häufig vorkommt.

• Die Einsicht: Die Methode zeigte, dass sich die Zusammensetzung der Luftverschmutzung bei warmem Wetter verändert und dass ein großer Teil aus Dingen besteht, die die Sensoren gar nicht sehen konnten. Dies liefert Wissenschaftlern einen neuen Hinweis darauf, wonach sie in der Luft suchen müssen.

Warum das wichtig ist

Das Paper legt nahe, dass wir uns nicht zwischen dem Wegwerfen schlechter Daten oder dem Fälschen von Zahlen entscheiden müssen. Indem wir ein Modell bauen, das die Regeln des Spiels versteht (die 100-%-Summe) und mit fehlenden Teilen umgehen kann, können Wissenschaftler klarere Antworten aus unordentlichen Daten gewinnen.

Die Autoren fanden heraus, dass ihre Methode besser darin ist, die richtige Anzahl an Gruppen zu finden und Proben korrekt zu sortieren, als der alte „Lösche die schlechten Daten“-Ansatz. Obwohl das Paper nicht behauptet, dass dies alle Probleme der Welt löst, zeigt es, dass dieser neue Detektiv für Gesteine und die Luftqualität ein mächtiges Werkzeug ist. Er ermöglicht es Forschern, das volle Bild zu sehen, selbst wenn einige Teile im Dunkeln verborgen bleiben.