World models of environment, agent and joint agent-environment systems
Dieses Paper schlägt ein Framework vor, das die computergestützte Mechanik nutzt, um kanonische prädiktive Modelle für die Umgebung, den Agenten und deren gemeinsame Interaktion zu unterscheiden und zu definieren, wobei demonstriert wird, wie geschlossene Kopplung und Support-Restriktion die Struktur und Komplexität dieser Weltmodelle grundlegend verändern können.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der modernen Ära der künstlichen Intelligenz besteht eine zentrale Herausforderung darin, Maschinen beizubringen, die Welt um sie herum zu verstehen. Um Entscheidungen zu treffen, benötigt ein intelligenter Agent – sei es ein Roboter, ein Softwareprogramm oder ein digitales Gehirn – ein „Weltmodell“. Dies ist kein physischer Globus, sondern eine interne Karte oder ein Satz von Regeln, der es dem System ermöglicht, vorherzusagen, was als Nächstes passieren wird. Wenn ein Roboter weiß, dass das Drücken eines Knopfes normalerweise eine Tür öffnet, besitzt er ein einfaches Modell dieser Interaktion. Jahrzehntelang haben Forscher sich darauf konzentriert, wie diese Modelle die Zukunft basierend auf dem vorhersagen, was der Agent tut. Sie fragen: „Wenn ich diese Aktion ausführe, was werde ich sehen?“ Dieser Ansatz war äußerst erfolgreich und ermöglichte es Maschinen, komplexe Aufgaben zu erlernen, indem sie Ergebnisse simulieren, bevor sie handeln. Diese traditionelle Sichtweise geht jedoch davon aus, dass das Modell ausschließlich dazu aufgebaut ist, die Umgebung als eine passive Bühne zu verstehen, die auf die Züge des Agenten wartet. Sie behandelt das eigene Verhalten des Agenten als festen Input statt als dynamischen Teil der Geschichte.
Ein Team von Forschern hat nun einen nuancierteren Weg vorgeschlagen, um diese Modelle zu betrachten. Sie argumentieren, dass wir, um wirklich zu verstehen, wie eine künstliche Intelligenz denkt, nicht nur unterscheiden müssen, was sie vorhersagt, sondern welchen Kanal von Informationen sie modelliert. In jeder Interaktion zwischen einem Agenten und seiner Umgebung gibt es drei verschiedene Arten, den Fluss von Ursache und Wirkung zu betrachten. Erstens gibt es die Sichtweise der Umgebung, die vorhersagt, was gesehen wird, gegeben eine spezifische Aktion. Zweitens gibt es die Sichtweise des Agenten selbst, die vorhersagt, welche Aktion es als Nächstes ausführen wird, gegeben das, was es sieht. Drittens gibt es die Sichtweise des gesamten Systems, das zusammenarbeitet und die tatsächliche Sequenz von Aktionen und Beobachtungen vorhersagt, die sich entfaltet, wenn beide in einer Schleife miteinander gekoppelt sind. Die Forscher verwendeten einen mathematischen Rahmen, der als Computational Mechanics bekannt ist, um die effizientesten, minimalen Modelle für jede dieser drei Perspektiven zu definieren. Ihre Arbeit zeigt, dass diese Modelle grundlegend unterschiedliche Strukturen sind und nicht bloß Variationen desselben Dings.
Die überraschendste Erkenntnis dieser Forschung betrifft das, was passiert, wenn ein Agent tatsächlich in einer geschlossenen Schleife mit seiner Umgebung läuft. Theoretisch könnte sich ein Agent jede mögliche Aktion vorstellen, die er jemals ausführen könnte, selbst jene, die er niemals wählen würde. Ein Modell, das auf dieser „unbeschränkten“ Sichtweise basiert, muss jede kontrafaktische Möglichkeit berücksichtigen. Die Forsser fanden heraus, dass ein solches unbeschränktes Modell für viele Systeme unglaublich komplex ist und manchmal eine unendliche Anzahl interner Zustände erfordert, um alle Möglichkeiten zu verfolgen. Als sie jedoch das Modell betrachteten, das nur die Aktionen berücksichtigt, die der Agent tatsächlich ausführt – die „gestützten“ (supported) Aktionen –, änderte sich das Bild dramatisch. Sie bewiesen, dass das Modell des tatsächlichen Verhaltens eines Agenten immer durch das Modell des gemeinsamen Systems bestimmt wird. Mit anderen Worten: Die komplexen, unendlichen Möglichkeiten der Umgebung kollabieren in eine viel einfachere, endliche Struktur, wenn man sie durch die Linse der tatsächlichen Entscheidungen des Agenten betrachtet.
Um dies zu illustrieren, konstruierten die Forscher ein spezifisches Beispiel mit einer einfachen binären Umgebung und einem Controller mit begrenztem Speicher. In diesem Szenario hat die Umgebung einen verborgenen Zustand, der entweder Null oder Eins sein kann. Bestimmte Aktionen setzen diesen Zustand zufällig zurück, während andere ihn unverändert lassen. Wenn man versucht, ein Modell zu erstellen, das das Verhalten der Umgebung für jede mögliche Sequenz von Aktionen vorhersagt, wird das Modell unendlich groß. Dies liegt daran, dass ein Agent theoretisch einen Zustand über eine beliebig lange Zeit hinweg fixieren könnte, was eine endlose Anzahl einzigartiger Glaubenszustände (belief states) erzeugt. Doch als die Forscher einen spezifischen Controller einführten, der nur eine begrenzte Menge an Aktionen ausführt – den Zustand gelegentlich zurücksetzt und ihn für eine kurze, feste Anzahl von Schritten hält, bevor er ihn wieder zurücksetzt –, verschwand die Komplexität. Das Modell der Umgebung, das auf die tatsächlich vom Controller ausgeführten Aktionen beschränkt ist, wurde endlich und handhabbar. Die „unendlichen“ Möglichkeiten wurden in der tatsächlichen Interaktion schlichtweg nie realisiert.
Diese Unterscheidung ist entscheidend für das Verständnis dessen, was eine KI tatsächlich lernt. Die Forscher zeigten, dass der interne Zustand, den eine KI zur Entscheidungsfindung nutzt, nicht notwendigerweise eine Karte der gesamten möglichen Welt ist. Stattdessen ist es oft eine Karte der spezifischen Interaktionen, die sie erfahren hat. Das Modell der Umgebung ist, wenn es auf das tatsächliche Verhalten des Agenten beschränkt ist, eine vereinfachte Version des gesamten gemeinsamen Prozesses. Die Forscher demonstrierten, dass die Zustände dieses vereinfachten Modells direkt aus den Zuständen des gemeinsamen Systems abgeleitet werden. Dies bedeutet, dass die Komplexität des Weltmodells eines Agenten keine inhärente Eigenschaft der Umgebung allein ist, sondern das Ergebnis der spezifischen Kopplung zwischen dem Agenten und der Welt. Wenn der Agent in seinen Möglichkeiten begrenzt ist, ist auch sein Weltmodell entsprechend begrenzt und einfacher.
Die Implikationen dieser Arbeit erstrecken sich darauf, wie wir künstliche Intelligenz interpretieren und ihr vertrauen. Wenn wir wissen wollen, was eine KI über ihre Welt glaubt, können wir nicht einfach nur ihre Vorhersagen im Vakuum betrachten. Wir müssen fragen: Sagt sie die Umgebung unter allen möglichen Aktionen voraus oder sagt sie die Umgebung basierend auf der spezifischen Policy voraus, die sie befolgt? Die Forscher argumentieren, dass dies zwei verschiedene Fragen sind, die zwei verschiedene Modelle erfordern. Eine KI kann eine sehr einfache interne Repräsentation der Welt haben, weil sie nur einen kleinen Ausschnitt der Realität erlebt. Das bedeutet nicht, dass die KI „dumm“ oder die Welt einfach ist; es bedeutet, dass das Weltmodell der KI auf ihre spezifische Rolle im System zugeschnitten ist. Indem sie das Modell der Umgebung, das Modell des Agenten und das Modell des gemeinsamen Prozesses präzise voneinander trennen, liefern die Forscher eine klarere Sprache, um zu beschreiben, was diese Systeme tatsächlich tun.
Dieser Ansatz klärt auch den Unterschied zwischen Planung und Lernen. Wenn ein Agent aus Daten lernt, lernt er oft aus einem spezifischen Satz von Interaktionen, nicht aus jeder möglichen Interaktion. Der Rahmen der Forscher ermöglicht es uns zu sehen, dass das aus diesen Daten gelernte Modell ein „unterstützungsbeschränktes“ (support-restricted) Modell ist. Es ist gültig und genau für die Situationen, denen der Agent tatsächlich begegnen wird, selbst wenn es die gesamte theoretische Landschaft der Umgebung nicht beschreiben kann. Dies hilft zu erklären, warum einige KI-Systeme in der Praxis gut funktionieren, obwohl sie Modelle besitzen, die aus theoretischer Sicht unvollständig oder vereinfacht erscheinen. Sie versuchen nicht, das Unmögliche zu modellieren, sondern das Reale.
Die Studie kommt zu dem Schluss, dass die Struktur eines Weltmodells nicht feststehend ist, sondern durch die Interaktion selbst geformt wird. Die Art und Weise, wie ein Agent und seine Umgebung gekoppelt sind, bestimmt die Komplexität des Modells, das erforderlich ist, um deren Zukunft vorherzusagen. Dies stellt die Idee infrage, dass es ein einziges, perfektes Weltmodell gibt, das ein Agent anzustreben hat. Stattdessen hängt das „beste“ Modell von der gestellten Frage ab. Wenn die Frage lautet: „Was passiert, wenn ich X tue?“, kann die Antwort ein komplexes Modell erfordern. Aber wenn die Frage lautet: „Was passiert als Nächstes, gegeben dass ich Y tue?“, kann die Antwort in einer viel einfacheren Struktur zu finden sein. Durch die präzise Definition dieser Modelle haben die Forscher ein Werkzeug bereitgestellt, um die Mechanismen der Intelligenz besser zu verstehen, indem sie zeigen, dass die Komplexität des Geistes einer Maschine oft ein Spiegelbild der Beschränkungen ihres Körpers und ihrer Welt ist.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.