Reinforcement learning for Quantum Tiq-Taq-Toe

Stellen Sie sich eine Welt vor, in der die Regeln der Logik etwas anders sind, in der ein einzelnes Objekt an mehreren Orten gleichzeitig existieren kann, bis jemand es ansieht. Dies ist das Reich der Quantenmechanik, eines Zweigs der Physik, der das Verhalten der kleinsten Teilchen im Universum regelt. Während diese Prinzipien oft komplexen Theorien über das Gefüge der Realität vorbehalten sind, werden sie nun in der vertrautesten aller Umgebungen getestet: dem einfachen Gitter eines Tic-Tac-Toe-Bretts. In dieser Quantenversion wird das Spiel nicht mit statischen Markierungen von X und O gespielt, sondern mit Wahrscheinlichkeiten und Verbindungen, die die Stücke auf eine Weise miteinander verknüpfen, die der gewöhnlichen Erfahrung trotzt. Die Herausforderung für Computer besteht darin zu lernen, wie man dieses Spiel spielt – nicht durch das Befolgen einer festen Anweisung, sondern indem man aus Erfahrung lernt, ganz ähnlich wie ein Mensch. Dies ist das Gebiet des bestärkenden Lernens (Reinforcement Learning), einer Methode, bei der eine künstliche Intelligenz ihre Strategie verbessert, indem sie Züge ausprobiert, die Ergebnisse sieht und ihren Ansatz im Laufe der Zeit anpasst. Forscher sind an diesem Schnittpunkt interessiert, denn wenn ein Computer lernen kann, die verwirrende, sich ständig verändernde Landschaft eines Quantenspiels zu navigieren, kann er uns letztlich helfen, viel schwierigere Probleme in der Quantencomputerkraft zu lösen, wie etwa die Fehlerkorrektur in empfindlichen Quantenmaschinen.

In einer kürzlich durchgeführten Studie beschlossen Forscher der Universität Leiden in den Niederlanden zu prüfen, ob diese lernenden Maschinen eine spezifische Quantenadaption von Tic-Tac-Toe meistern können. Sie wählten eine Version des Spiels, die drei-zuständige Quanteneinheiten verwendet, was eine reichhaltigere Vielfalt an Zügen ermöglicht als die oft in der Theorie verwendeten zwei-zuständigen Systeme. Das Spiel selbst ist knifflig, da das Brett für den Spieler nie vollständig klar ist. Anstatt ein definitives X oder O in einem Quadrat zu sehen, sieht ein Spieler eine Wahrscheinlichkeitskarte, die zeigt, wo eine Markierung sein könnte, und ein Protokoll darüber, wie die verschiedenen Quadrate miteinander verknüpft sind. Jedes Mal, wenn ein Spieler einen Zug macht, können diese Verbindungen kollabieren und plötzlich einen definitiven Zustand offenbaren, wo zuvor nur Unsicherheit herrschte. Um ihre Theorien zu testen, richtete das Team eine digitale Arena ein, in der künstliche Intelligenz-Agenten gegeneinander spielten. Sie erstellten zwei verschiedene Versionen der Spielregeln. Die erste Version war etwas restriktiver und erforderte, dass jeder komplexe Quantenzug mindestens ein leeres Feld auf dem Brett beinhalten musste. Die zweite Version war offener und erlaubte ein breiteres Spektrum an Interaktionen und komplexere Verschränkungen zwischen den Quadraten.

Die Forscher trainierten ihre Agenten mit einer Methode, bei der sie tausende Spiele gegeneinander austrugen und aus jedem Sieg, jeder Niederlage oder jedem Unentschieden lernten. Sie wollten sehen, welche Art von Information die Agenten benötigen, um gut zu spielen. Sie testeten drei Arten von Spielern: einen, der nur die Wahrscheinlichkeitskarte sehen konnte, einen, der nur die Historie der Verknüpfung der Teile sehen konnte, und einen dritten, der Zugriff auf beides hatte. In der restriktiveren Version des Spiels zeigten die Simulationen ein klares Muster: Der Spieler, der zuerst zog, hatte einen deutlichen Vorteil. Obwohl das Spiel ein gewisses Maß an Zufälligkeit beinhaltet, das einen garantierten Sieg verhindert, konnte der erstziehende Spieler häufiger einen Weg zum Sieg finden als der zweite. Dies deutet darauf an, dass selbst in einem Spiel mit sich ändernden Regeln unterscheidbare Strategien existieren, die eine lernende Maschine entdecken kann. Die Ergebnisse wurden dadurch visualisiert, dass die am besten trainierten Agenten gegeneinander antraten, was zeigte, dass der erste Spieler konsequent mehr Siege errang.

Als die Forscher zur komplexeren Version des Spiels übergingen, in der die Regeln mehr vielfältige Quantenzustände und Interaktionen zuließen, änderten sich die Dynamiken. In diesem Szenario reichte es nicht aus, nur über eine Art von Information zu verfügen. Die Agenten spielten nur dann am besten, wenn sie sowohl die aktuelle Wahrscheinlichkeitskarte als auch die Historie der Verschränkung der Teile sehen konnten. Diese Kombination ermöglichte es der künstlichen Intelligenz, den Echtzeit-Zustand des Bretts zu verstehen und gleichzeitig die komplexen Beziehungen zu berücksichtigen, die in vorangegangenen Zügen entstanden waren. Das Ergebnis war ein ausgewogeneres Spiel, bei dem die Ausgänge zwischen den Spielern gerechter wurden. Dieser Befund unterstreicht, dass in Umgebungen, in denen Informationen verborgen oder nur teilweise sichtbar sind, das Verfügen über ein vollständiges Bild sowohl der Gegenwart als auch der Vergangenheit entscheidend für gute Entscheidungen ist.

Die Studie kommt zu dem Schluss, dass diese Quantenversion von Tic-Tac-Toe als nützliches Testfeld für die Entwicklung besserer künstlicher Intelligenz für Quantensysteme dient. Die Forscher stellen fest, dass die inhärente Schwierigkeit des Spiels, verursacht durch die teilweise Sichtbarkeit des Bretts, die Herausforderungen widerspiegelt, denen in der realen Quantencomputerkraft begegnet wird, wo die Kontrolle und das Verständnis dieser verborgenen Zustände essenziell sind. Während sich die aktuelle Arbeit auf das Training von Agenten zum Spielen konzentrierte, schlagen die Autoren vor, dass zukünftige Bemühungen andere Wege erforschen könnten, um Maschinen beim Umgang mit dieser Unsicherheit zu helfen, wie etwa durch Gedächtnissysteme, die vergangene Sequenzen speichern, oder fortgeschrittenere Verarbeitungsmodelle. Vorerst zeigt die Arbeit, dass bestärkendes Lernen erfolgreich die seltsame Logik von Quantenspielen navigieren kann und einen klaren Weg für die Integration von maschinellem Lernen mit der Zukunft der Quantentechnologie bietet.