Entangling power of neural networks

Stellen Sie sich vor, Sie versuchen, einem Freund ein riesiges, komplexes Puzzle zu beschreiben, aber Sie können ihm nur zwei separate, winzige Umschläge schicken. Ein Umschlag enthält die Teile für die linke Seite des Puzzles, der andere die Teile für die rechte. Die große Frage in der Wissenschaft lautet: Wie viele Informationen müssen Sie in diese beiden winzigen Umschläge stopfen, damit Ihr Freund sie, wenn er sie zusammenfügt, das gesamte Bild perfekt rekonstruieren kann? In der Welt der Quantenphysik ist dies vergleichbar mit dem Versuch zu verstehen, wie zwei entfernte Teilchen „verschränkt“ sind – eine unheimliche Verbindung, bei der der Zustand des einen sofort den Zustand des anderen beeinflusst, egal wie weit sie voneinander entfernt sind. Wissenschaftler wissen schon lange, dass für einige dieser Quanten-Puzzles die „Umschläge“ unmöglich groß sein müssen, um alle notwendigen Details zu beherbergen. Aber was wäre, wenn die Art und Weise, wie man die Teile wieder zusammensetzt, nicht nur ein einfaches Stapeln ist? Was wäre, wenn die Person, die das Puzzle zusammensetzt, ein superintelligentes, nicht-lineares Gehirn besitzt, das in der Lage ist, aus den zwei kleinen Umschlägen magisch das ganze Bild zu erkennen? Dies ist das Rätsel, das ein Team von Physikern von MIT, Harvard und Caltech lösen wollte. Sie wollten wissen, ob die Verwendung einer speziellen Art von mathematischem „Gehirn“ – eines neuronalen Netzes – es möglich wäre, diese riesigen Umschläge auf etwas Handhabbares zu schrumpfen, selbst für die kompliziertesten Quantenverbindungen.

Das Papier mit dem Titel „Entangling power of neural networks“ führt eine neue Methode ein, um zu messen, wie gut ein neuronales Netz diesen „Zusammensetzungs-Trick“ beherrscht. Die Autoren Taige Wang, Nisarga Paul und Liang Fu schlagen ein Konzept vor, das sie „Verschränkungskapazität“ (entangling power) nennen. Betrachten Sie ein neuronales Netz als einen zweistufigen Prozess: Zuerst nehmen zwei „Encoder“ die Daten von der linken und rechten Seite und komprimieren sie in einen kleinen, gemeinsamen „latenten Raum“ (wie das Quetschen eines großen Koffers in einen winzigen Rucksack). Dann nimmt ein „Decoder“ diese beiden Rucksäcke und versucht, die ursprüngliche Funktion oder Wellenfunktion wieder aufzubauen. In der Vergangenheit haben Wissenschaftler hauptsächlich darauf geschaut, wie viele Elemente in den Rucksäcken enthalten waren (die „Schmidt-Rangzahl“), um die Komplexität der Verbindung zu erraten. Aber dieses Paper argumenttiert, dass die Art des Decoders ebenso wichtig ist wie die Menge der Teile. Wenn der Decoder nur ein einfaches, lineares Werkzeug ist (wie ein einfacher Taschenrechner), kann er nicht viel Magie bewirken. Wenn der Decoder jedoch ein „nicht-lineares“ Polynom ist – eine ausgeklügelte mathematische Funktion, die die Daten verbiegen und drehen kann – kann er eine massive Menge an Verschränkung aus einem überraschend kleinen Rucksack generieren.

Die Forscher haben genau berechnet, wie leistungsfähig diese polynomischen Decoder sind. Sie fanden heraus, dass die Fähigkeit, Verschränkung zu erzeugen, von zwei Dingen abhängt: der Größe des latenten Raums (nennen wir ihn $K$, die Breite des Rucksacks) und der Komplexität des Decoders (nennen wir ihn $p$, den Grad des Polynoms). Ihr Hauptergebnis ist eine Formel, die zeigt, dass die Verschränkungskapazität, $E_p(K)$, gleich $\binom{K+p}{p}$ ist. Das mag wie eine beängstigende mathematische Gleichung aussehen, aber das Ergebnis ist atemberaubend: Selbst mit einem sehr bescheidenen Rucksack (ein kleines $K$), wenn man einen Decoder mit einer ordentlichen Komplexität verwendet (ein höheres $p$), kann das Netzwerk eine astronomische Anzahl von Verbindungen verarbeiten.

Um dies zu beweisen, untersuchten die Autoren einen „maximal verschränkten“ Zustand, der wie das komplizierteste vorstellbare Puzzle ist (speziell $n$ Bell-Paare, wobei die Anzahl der Konfigurationen $D = 2^n$ beträgt). Normalerweise erfordert die Darstellung dieses Zustands einen Rucksack, dessen Größe exponentiell mit der Anzahl der Teilchen wächst. Aber das Paper zeigt, dass man mit einem polynomischen Decoder diesen Rucksack drastisch verkleinern kann. Wenn man zum Beispiel einen Decoder mit dem Grad $p = n$ (wobei $n$ die Anzahl der Teilchen ist) verwendet, benötigt man nur eine Breite des latenten Raums von etwa $0,29n$. Noch erstaunlicher ist: Wenn man den Decoder sehr komplex werden lässt (Grad $p \ge 2n - 1$), kann man den gesamten maximal verschränkten Zustand in eine einzige Variable ($K=1$) pressen. Das Paper liefert dafür einen strengen mathematischen Beweis und zeigt, dass jede Funktion exakt dargestellt werden kann, solange die Anzahl der möglichen polynomischen Kombinationen größer ist als die Anzahl der Konfigurationen, die beschrieben werden müssen.

Die Autoren klären auch darüber auf, was dies nicht bedeutet. Sie weisen darauf hin, dass man zwar theoretisch jede Funktion in einen winzigen Raum komprimieren kann, wenn der Decoder komplex genug ist, dieser Decoder selbst aber möglicherweise unmöglich komplex zu bauen sein könnte. In ihrem Beispiel des „maximal verschränkten“ Zustands zeigen sie, dass die Komprimierung des Zustands auf $K=1$ einen Decoder des Grades $D-1$ (was riesig ist) erfordert. Es gibt also einen Kompromiss: Man kann den Rucksack winzig machen, aber die „Zusammensetzungsanweisungen“ (der Decoder) werden umso länger und komplexer. Das Paper etabliert, dass neuronale Netze mit ihren nicht-linearen Decodern eine „exponentielle Verschränkungskapazität“ mit moderaten Ressourcen besitzen, was bedeutet, dass sie weitaus effizienter darin sind, komplexe Quantenkorrelationen zu erfassen, als bisher angenommen, sofern man bereit ist, einen ausreichend komplexen Decoder zu verwenden. Diese Arbeit findet nicht nur Anwendung in der Quantenphysik; sie bietet einen neuen Rahmen für das Verständnis, wie Machine-Learning-Modelle Korrelationen im Allgemeinen handhaben, und legt nahe, dass die „Nicht-Linearität“ in unseren KI-Modellen eine Superkraft für die Komprimierung von Informationen ist, der lineare Methoden einfach nicht gewachsen sind.