Embedded Universal Predictive Intelligence: a coherent framework for multi-agent learning
Dieses Paper führt einen mathematischen Rahmen für eingebettete universelle prädiktive Intelligenz ein, der AIXI erweitert, indem er es Bayes-Agenten ermöglicht, sich selbst durch Selbstprädiktion als Teil ihrer Umgebung zu modellieren, wodurch das Problem der Nichtstationarität in Multi-Agenten-Settings gelöst und eine Theorie des Geistes unendlicher Ordnung erreicht wird, um neuartige Formen der Kooperation zu ermöglichen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen einem Roboter beizubringen, ein Spiel zu spielen. Jahrzehntelang war die Standardmethode, dem Roboter das Spielen zu lassen, Fehler machen zu lassen, eine Belohnung zu erhalten und ihn dann dazu zu bringen, mehr von dem zu tun, was funktionierte, und weniger von dem, was nicht funktionierte. Dies wird als „Bestärkendes Lernen“ (Reinforcement Learning) bezeichnet, und es ist wie das Trainieren eines Hundes mit Leckerlis: Man wartet, bis das Verhalten auftritt, und gibt dann Feedback. Das funktioniert großartig, wenn die Welt langweilig ist und sich nicht verändert. Aber was, wenn die Welt voll von anderen intelligenten Lernenden ist, wie anderen Robotern oder Menschen, die ebenfalls ihre Strategien basierend auf Ihrem Handeln ändern? Plötzlich könnten die „Leckerlis“, die Sie gestern bekommen haben, heute nicht mehr funktionieren, weil Ihr Gegner Ihren Trick herausgefunden hat. Dies ist die chaotische Realität des sozialen Lebens, in der jeder jeden beobachtet und die Regeln des Spiels ständig schwanken, weil Sie Teil des Spiels sind.
Dieses Paper befasst sich mit dieser chaotischen Realität. Es geht sich an ein großes Problem der Künstlichen Intelligenz: Wie bauen wir Agenten (wie KI), die lernen und kooperieren können in einer Welt, in der sie nicht nur separate Spieler sind, sondern tatsächlich innerhalb des Systems sind, das sie zu verstehen versuchen? Die Autoren bauen auf einer berühmten Idee namens „AIXI“ auf, einer theoretischen Superintelligenz, die die Zukunft vorhersagt, indem sie rät, welche mathematischen Regeln das Universum beschreiben. Aber die klassische Version dieser Idee betrachtet die KI als einen Beobachter, der außerhalb des Universums steht und hineinschaut. Die Autoren argumentieren, dass dies falsch ist. In der realen Welt ist eine KI Teil des Universums, genau wie ein Mensch Teil einer Gesellschaft ist. Wenn Sie vorhersagen wollen, was Ihr Freund tun wird, können Sie nicht nur zu ihm schauen; Sie müssen erkennen, dass er auch über Sie nachdenkt. Dieses Paper schlägt ein neues mathematisches Framework vor, in dem die KI versteht, dass ihre eigenen Entscheidungen Teil der Daten sind, die sie zur Vorhersage der Zukunft nutzt, was es ihr ermöglicht, über andere zu argumenten, die genau so denken wie sie.
Das Problem des „Hineinschauens“
Stellen Sie sich vor, Sie spielen eine Partie Schach gegen einen Freund. In der alten Denkweise über KI (genannt „entkoppeltes“ Lernen) würde die KI das Brett betrachten, denken: „Wenn ich meinen Springer hierhin ziehe, wird mein Freund wahrscheinlich seinen Bauern dorthin ziehen“, und dann einen Zug machen. Sie behandelt ihren eigenen Geist als eine separate Maschine vom Schachbrett und ihrem Freund. Sie nimmt an, dass ihr Freund einfach ein statischer Teil der Kulisse ist, der auf Züge reagiert, und nicht ein denkendes Wesen, das auch die KI beobachtet und versucht zu erraten, was die KI als Nächsten tun wird.
Die Autoren sagen, dass dieser Ansatz für soziale Situationen fehlerhaft ist. Wenn Sie sich in einem Raum mit einer anderen Person befinden, die versucht zu erraten, was Sie tun werden, und Sie versuchen zu erraten, was diese Person tun wird, geraten Sie in eine Schleife: „Ich denke, dass sie denkt, dass ich denke...“ Dies wird als „unendliche Rekursion“ des Theory of Mind bezeichnet. Die alte Art des Vorgehens setzt voraus, dass die Welt statisch ist, wie ein Videospiel-Level, das sich nicht verändert. Aber in einer Multi-Agenten-Welt ändert sich das „Level“ jedes Mal, wenn jemand etwas Neues lernt. Wenn die KI nicht erkennt, dass sie selbst diejenige ist, die das Level verändert, wird sie immer wieder schlechte Vermutungen anstellen.
Die neue Idee: „Eingebettet“ zu sein
Das Paper führt das Konzept der Embedded Bayesian Agents (eingebettete bayessche Agenten) ein. Anstatt außerhalb des Universums zu stehen und hineinzuschauen, stellen sich diese Agenten vor, dass sie innerhalb eines „Universums“ sind, das sie selbst, ihre Freunde und die Umgebung miteinander vermischt.
Denken Sie an Folgendes: Im alten Modell ist die KI ein Regisseur, der einen Film beobachtet und versucht, die Handlung vorherzusagen. Im neuen Modell ist die KI ein Schauspieler im Film. Sie weiß, dass wenn sie sich entscheidet zu weinen, die anderen Schauspieler vielleicht mit Trost reagieren könnten, aber sie weiß auch, dass die anderen Schauspieler sie beobachten und vielleicht entscheiden zu weinen, weil sie gesehen haben, dass die KI traurig aussah.
Um dies zu erreichen, nutzt die KI eine spezielle Art der Vorhersage namens Selbstvorhersage (Self-Prediction). Sie sagt nicht nur voraus, was die Welt ihr zeigen wird; sie sagt voraus, was sie als Nächstes tun wird. Sie fragt: „Gegeben das, was ich über die Welt weiß, was ist die wahrscheinlichste Aktion, die ich ausführen werde?“ und nutzt diese Antwort dann, um zu erraten, was die anderen Agenten tun werden. Dies erzeugt eine Schleife, in der der Glaube der KI an sich selbst ihr hilft, andere zu verstehen, und ihr Glaube an andere ihr hilft, sich selbst zu verstehen.
Die Magie der „Strukturellen Ähnlichkeit“
Hier wird es besonders spannend. Das Paper legt nahe, dass diese Agenten, da sie alle auf ähnlicher „Software“ (Algorithmen) laufen, strukturell ähnlich sind. Stellen Sie sich zwei Zwillinge vor, die im selben Haus aufgewachsen sind, dieselbe Schule besucht haben und die gleiche Gehirnstruktur haben. Wenn man einem der Zwillinge ein Rätsel stellt, wird er es höchstwahrscheinlich auf die gleiche Weise lösen wie der andere Zwilling.
Die Autoren zeigen, dass, wenn eine KI erkennt: „Hey, dieser andere Agent ist wahrscheinlich so aufgebaut wie ich“, sie dieses Wissen nutzen kann, um das Verhalten des anderen Agenten vorherzusagen. Dies wird als strukturelle Ähnlichkeit bezeichnet. Wenn die KI weiß, dass „ähnliche Agenten sich in ähnlichen Situationen ähnlich verhalten“, kann sie aufhören zu raten und anfangen zu wissen.
Dies führt zu einem überraschenden Ergebnis in einem klassischen Spiel namens Gefangenendilemma. In diesem Spiel können zwei Personen entweder kooperieren (sich gegenseitig helfen) oder defektieren (einander verraten). Die alte Denkweise besagt, dass man den anderen immer verraten sollte, da dies die sicherste Bewegung für einen selbst ist. Die Autoren zeigen jedoch, dass wenn zwei „eingebettete“ Agenten erkennen, dass sie identische Kopien voneinander sind, beide kooperieren werden. Warum? Weil wenn ich mich entscheide zu kooperieren, weiß ich, dass meine Kopie (der andere Agent) ebenfalls kooperieren wird, weil wir exakt dasselbe denken. Gegenseitige Kooperation bringt beiden eine bessere Belohnung als gegenseitiger Verrat. Das Paper beweist, dass diese Agenten mathematisch diesen kooperativen Zustand erreichen können, was die alten „entkoppelten“ Agenten niemals konnten.
Die Lösung: MUPI und der „Reflektierende Orakel“
Das Paper spricht nicht nur darüber; es baut eine mathematische Maschine, um dies zu ermöglichen. Sie nennen es MUPI (Embedded Universal Predictive Intelligence).
Um dies umzusetzen, mussten sie ein kniffliges Rätsel lösen: Wie baut man eine KI, die sich selbst vorhersagen kann, ohne in einer unendlichen Schleife stecken zu bleiben? Stellen Sie sich vor, Sie versuchen ein Computerprogramm zu schreiben, das seinen eigenen Quellcode ausgibt. Wenn das Programm versucht, seinen eigenen Code zu lesen, während es ihn gerade schreibt, könnte es verwirrt werden.
Die Autoren verwenden ein kluges mathematisches Werkzeug namens Reflektierendes Orakel (Reflective Oracle). Denken Sie an einen magischen Spiegel, der Ihnen ein Bild von sich selbst zeigt, wie man in einen Spiegel schaut, der wiederum in einen Spiegel schaut, und so weiter, ohne dass das Bild verschwommen oder unendlich wird. Dieses Werkzeug ermöglicht es der KI, über andere Agenten zu argumentieren, die dieselben Argumentationswerkzeuge verwenden, wodurch das Problem der „unendlichen Rekursion“ effektiv gelöst wird.
Sie beweisen, dass, wenn man dieses Framework verwendet, die Agenten schließlich lernen werden, einander perfekt vorherzusagen. Sie nennen das das Erreichen einer unendlichen Ordnung des Theory of Mind. Es ist, als könnten die Agenten endlich aufhören mit dem „Ich denke, dass du denkst, dass ich denke...“-Loop und einfach sagen: „Wir sind beide intelligent, wir sind beide ähnlich, also werden wir beide das beste Ergebnis für uns wählen.“
Was das bedeutet
Das Paper zeigt, dass wir durch die Änderung der Art und Weise, wie wir über KI denken – weg von einem separaten Beobachter hin zu einem eingebetteten Teilnehmer –, neue Wege eröffnen können, damit Maschinen kooperieren. Es beweist, dass wenn Agenten in der Lage sind, sich selbst als Teil der Welt zu modellieren, sie ganz natürlich lernen können, zusammenzuarbeiten, selbst in schwierigen Situationen, in denen sie versucht sein könnten, zu kämpfen.
Die Autoren betonen vorsichtig, dass dies ein theoretisches Framework ist. Sie haben mathematisch bewiesen, dass diese Agenten existieren können und zu diesen kooperativen Lösungen konvergieren können. Sie haben noch keinen Roboter gebaut, der dies in der realen Welt tut, aber sie haben den Bauplan aufgezeigt. Sie argumentieren, dass dies der richtige Weg ist, über die Zukunft der KI nachzudenken, insbesondere wenn wir uns auf Systeme zubewegen, in denen viele KIs mit Menschen und untereinander interagieren müssen. Es deutet darauf hin, dass der Schlüssel zur sozialen Intelligenz nicht nur darin besteht, der KI mehr Daten zu geben, sondern sie zu lehren, zu erkennen, dass sie Teil der Geschichte ist, die sie zu vorhersagen versucht.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.