Probabilistic Block Term Decomposition for the Modelling of Higher-Order Arrays

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen, aber anstatt eines einzelnen Tatorts haben Sie eine riesige, vielschichtige Bibliothek voller Hinweise. Einige Hinweise sind nur einfache Listen (wie eine Einkaufsliste), andere sind Tabellenkalkulationen (wie ein Budget), aber die interessantesten sind 3D-Würfel oder sogar höherdimensionale „Hyperwürfel“ aus Daten. In der Welt der Wissenschaft werden diese als Tensoren bezeichnet. Man findet sie überall: in der Chemie, wo sie verfolgen, wie Chemikalien unter verschiedenen Lichtern leuchten; in der Biologie, wo sie kartieren, wie sich Gene über die Zeit und unter verschiedenen Bedingungen verändern; oder in der Psychologie, um zu verfolgen, wie Menschen auf Fragen zu verschiedenen Objekten antworten.

Um diese riesigen, chaotischen Datenwürfel begreifbar zu machen, nutzen Wissenschaftler eine Technik namens Tensorzerlegung. Stellen Sie sich das wie das Auseinandernehmen einer komplexen Lego-Burg vor, um die einzelnen Steine und die Art und Weise, wie sie zusammengesetzt wurden, zu sehen. Das Ziel ist es, die Daten in einfachere, verständlichere Muster zu zerlegen. Lange Zeit haben Wissenschaftler zwei Hauptwege zur Lösung dieser Rätsel genutzt: einen, der jedes Muster als ein völlig separates, unabhängiges Element behandelt (wie einen Stapel einzelner Lego-Steine), und einen anderen, der die Muster als ein großes, miteinander verbundenes Netz betrachtet, in dem alles mit allem zusammenhängt. Aber was, wenn die Wahrheit irgendwo dazwischen liegt? Was, wenn Ihre Daten aus mehreren distinkten „Blöcken“ bestehen, wobei jeder Block ein kleines, miteinander verbundenes Netz ist, die Blöcke selbst aber nicht miteinander kommunizieren? Dies ist die „Block-Term-Zerlegung“ (BTD), eine Methode, die versucht, genau diesen perfekten Mittelweg zu finden.

Es gibt jedoch einen Haken. Traditionelle Wege, solche Rätsel zu lösen, verlassen sich darauf, nur eine einzige „beste Schätzung“ zu finden. Wenn die Daten verrauscht oder chaotisch sind (wie ein Foto, das bei Dunkelheit aufgenommen wurde), kann diese einzelne Schätzung leicht getäuscht werden, was zu einem falschen Schluss führt. Hier kommt das neue Paper ins Spiel. Anstatt nur eine einzige Antwort zu suchen, schlagen die Autoren einen intelligenteren, „probabilistischen“ Ansatz vor. Stellen Sie sich vor, anstatt zu fragen: „Was ist die eine wahre Form dieser Lego-Burg?“, fragen Sie stattdend: „Welches sind alle möglichen Formen, die diese Burg haben könnte, und wie wahrscheinlich ist jede einzelne davon?“ Durch die Verwendung einer Methode namens Bayes’scher Inferenz suchen sie nicht nur nach einer einzigen Antwort, sondern bilden eine Landschaft der Möglichkeiten ab, die es ihnen ermöglicht, die Unsicherheit zu erkennen und die Teile der Daten, die nur zufälliges Rauschen sind, automatisch zu ignorieren.

Das neue Werkzeug des Papers: Der „smarte“ Lego-Baumeister

In diesem Paper führen Jesper Løve Hinrich und Morten Mørup eine neue, hocheffiziente Version dieser probabilistischen Methode vor, die speziell für die Block-Term-Zerlegung (BTD) entwickelt wurde. Sie nennen sie pBTD (probabilistic Block Term Decomposition). Ihre große Idee ist es, ein Modell zu bauen, das die chaotische Realität realer Daten bewältigen kann, indem es die unbekannten Teile des Puzzles als Verteilungen (Bereiche von Möglichkeiten) statt als feste Zahlen behandelt.

Um dies zu ermöglichen, mussten sie ein kniffliges mathematisches Problem lösen: wie man die verschiedenen „Blöcke“ der Daten unterscheidbar hält und verhindert, dass sie ineinander verschwimmen. Dies erreichten sie durch die Verwendung einer speziellen mathematischen Regel (der von-Mises-Fisher-Verteilung), die erzwingt, dass die Bausteine „orthogonal“ bleiben. In Alltagssprache ausgedrückt: Denken Sie an Orthogonalität als die Sicherstellung, dass Ihre Lego-Steine perfekt rechtwinklig zueinander stehen, wie die Ecke eines Raumes. Dies verhindert, dass sich die verschiedenen Muster ineinander verstricken, was ein häufiges Problem bei anderen Methoden ist.

Was sie herausgefunden haben: Schlaueres Raten und Rauschfilterung

Die Autoren testeten ihr neues pBTD-Werkzeug auf zwei Arten: erstens mit computergenerierten „falschen“ Daten, bei denen sie die exakte Antwort kannten, und zweitens mit zwei realen Datensätzen: einem aus einem industriellen chemischen Prozess und einem aus Gehirnwellen-Aufzeichnungen (EEG).

Als sie das Werkzeug mit den künstlichen Daten testeten, fanden sie etwas Faszinierendes heraus. Als die Daten sehr verrauscht waren (wie der Versuch, ein Flüstern in einem Hurrikan zu hören), versuchten die traditionellen Methoden (die als Maximum-Likelihood-Schätzung oder MLE bezeichnet werden) ständig, das Rauschen in ihre Muster einzupassen, was im Wesentlichen zu einem „Overfitting“ führte und ein chaotisches, falsches Modell erzeugte. Im Gegensatz dazu war das neue pBTD-Werkzeug klug genug, um zu erkennen: „Hey, dieser Teil ist nur Rauschen“, und es schaltete die Teile des Modells, die keinen Sinn ergaben, effektiv ab. Es fand nicht nur die Antwort, sondern es wusste auch, wann es keine Antwort finden sollte.

Sie verwendeten das Werkzeug auch, um die „richtige“ Struktur der Daten zu ermitteln. Stellen Sie sich vor, Sie haben eine Kiste mit Legos und wissen nicht, ob Sie einen großen Turm, ein paar kleine Türme oder eine flache Wand bauen sollten. Das pBTD-Werkzeug nutzt einen Score namens Evidence Lower Bound (ELBO), der wie ein Richter fungiert und ihnen sagt, welche Struktur am besten zu den Daten passt. In ihren Simulationen konnte das Werkzeug in den meisten Fällen die korrekte Anzahl der Blöcke und deren Größe erfolgreich identifizieren. Es war in der Lage, die überflüssigen Teile zu „beschneiden“, indem es sie auf eine Größe nahe Null schrumpfte – ganz ähnlich wie ein Gärtner, der tote Äste stutzt, um den gesunden Baum freizulegen.

Reale Ergebnisse: Von Chemikalien bis zum Gehirn

Als sie pBTD auf reale Daten anwandten, waren die Ergebnisse ebenso vielversprechend.

• Die chemischen Daten: In einem Datensatz aus einem industriellen Spritzgussverfahren deutete das Werkzeug darauf hin, dass ein vollständiges „Tucker“-Modell (bei dem alles miteinander vernetzt ist) die beste Anpassung darstellt. Es zeigte jedoch auch, dass viele der Verbindungen in diesem Modell sehr schwach oder unsicher waren, wodurch sie effektiv weggeschnitten wurden, um die Kernstruktur aufzuzeigen.
• Die Gehirndaten: Im EEG-Datensatz, der die Gehirnaktivität während einer Handstimulation maß, bevorzugte das Werkzeug ebenfalls das vollständige, vernetzte Modell. Hierbei merkten die Autoren jedoch eine Abwägung an. Obwohl das vollständige Modell statistisch gesehen die „beste“ Anpassung war, waren die einfacheren, stärker getrennten Modelle (wie das CPD-Modell) tatsächlich leichter für Menschen zu interpretieren. Beispielsweise zeigte das einfachere Modell deutlich, dass ein spezifisches Muster der Gehirnaktivität auftrat, wenn die linke Hand stimuliert wurde, und ein anderes, wenn die rechte Hand stimuliert wurde. Das komplexe, voll vernetzte Modell war schwieriger zu interpretieren, obwohl es mathematisch robust war.

Das Fazit

Das Paper kommt zu dem Schluss, dass dieser neue probabilistische Ansatz eine einheitliche Methode bietet, um alle Arten von Tensorzerlegungen zu behandeln, von den einfachsten bis zu den komplexesten. Er bietet ein „Sicherheitsnetz“ gegen Overfitting und ermöglicht es Wissenschaftlern, selbst dann vertrauensvoller in ihre Ergebnisse zu sein, wenn die Daten verrauscht sind. Obwohl die Mathematik dahinter schwerwiegend ist, ist das Ergebnis ein Werkzeug, das nicht nur Zahlen berechnet, sondern den Unterschied zwischen einem Signal und einem Fehler versteht. Die Autoren legen nahe, dass diese Methode genauso schnell ist wie die alten Wege, Ihnen aber ein viel reicheres und zuverlässigeres Bild dessen liefert, was Ihre Daten Ihnen tatsächlich mitteilen. Sie merken auch an, dass sie zwar einen speziellen mathematischen Trick namens „Variational Inference“ verwendet haben, um es schnell zu machen, der Rahmen jedoch flexibel genug ist, um in Zukunft mit anderen, noch detaillierteren Methoden genutzt zu werden. Letztendlich haben sie den Wissenschaftlern eine bessere Möglichkeit gegeben, die mehrdimensionale Welt zu betrachten, um die Muster zu erkennen, ohne im Rauschen verloren zu gehen.