Towards Zero-Shot Task Transfer with Neurosymbolic World Models

Stellen Sie sich einen künstlichen Intelligenz-Agenten vor, der lernt, eine komplexe Welt zu navigieren, ganz ähnlich wie ein Kind, das laufen lernt. Im Bereich des maschinellen Lernens verlassen sich diese Agenten oft auf „Weltmodelle“ – interne mentale Landkarten, die vorhersagen können, was als Nächstches passieren wird, wenn sie eine bestimmte Aktion ausführen. Indem sie solche zukünftigen Szenarien in ihrem Geist simulieren, können die Agenten ihre Züge planen, ohne jede Möglichkeit physisch in der realen Welt ausprobieren zu müssen. Dieser Ansatz hat sich als unglaublich leistungsfähig erwiesen und ermöglicht es Computern, Spiele zu meistern und Roboter zu steuern, indem sie aus hochdimensionalen Sensordaten, wie etwa Videoströmen, lernen. Eine erhebliche Hürde bleibt jedoch: Diese mentalen Landkarten sind meist für eine einzige, spezifische Aufgabe gebaut. Wenn sich das Ziel ändert – zum Beispiel von der Erreichung einer roten Tür zur Erreichung einer blauen Tür – muss der Agent oft sein gesamtes Verständnis der Welt neu erlernen, da seine interne Landkarte eng mit der spezifischen Belohnung verwoben ist, der er während des Trainings nachjagte.

Forscher der KU Leuven in Belgien haben einen neuen Ansatz entwickelt, um diese Starrheit zu lösen, und ein System geschaffen, das sich augenblicklich an neue Ziele anpassen kann, ohne erneut mit der Umgebung interagieren zu müssen. Ihre Arbeit führt eine Art „neurosymbolisches“ Weltmodell ein, ein Hybridsystem, das die Stärke der Mustererkennung neuronaler Netze mit der klaren, logischen Struktur symbolischer Argumentation kombiniert. Anstatt eine einzige, verstrickte Repräsentation der Welt zu lernen, lernen diese Modelle, die rohen sensorischen Details einer Umgebung von den spezifischen, hochgradig abstrakten Fakten zu trennen, die über den Erfolg entscheiden. Diese Trennung ermöglicht es dem Agenten, sein Verständnis darüber, wie sich die Welt bewegt und verändert, beizubehalten, während er lediglich die Regel austauscht, was als „Sieg“ zählt. Das Ergebnis ist ein Agent, der eine komplexe Umgebung einmal lernen und dieses Wissen dann auf völlig neue Aufgaben übertragen kann – eine Fähigkeit, die als Zero-Shot-Transfer bekannt ist, indem das Ziel einfach in Bezug auf dieselben zugrunde liegenden Fakten neu definiert wird.

Die Kerninnovation liegt darin, wie das Modell Informationen verarbeitet. Traditionelle Weltmodelle lernen eine komprimierte, abstrakte Version der Welt, die für Menschen schwer zu interpretieren und schwer wiederverwendbar ist. Im Gegensatz dazu zwingen diese neuen neurosymbolischen Modelle das System dazu, spezifische, strukturierte Eigenschaften des Zustands zu identifizieren und vorherzusagen, wie etwa die Koordinaten eines Agenten oder den Standort eines Objekts. Diese Eigenschaften fungieren als Brücke. Das Modell nutzt sein neuronales Netz, um die unstrukturierte, visuelle Welt zu verstehen und sie in diese klaren, symbolischen Fakten zu übersetzen. Sobald das Modell diese Fakten besitzt, nutzt es eine separate, logische Komponente, um Belohnungen vorherzusagen. Da die Vorhersage der Belohnung nur von diesen klaren Fakten abhängt, können die Forscher die Belohnungsfunktion einfach durch eine neue ersetzen, die ein anderes Ziel anvisiert, und das Modell versteht sofort, wie es dafür planen kann. Der Agent muss das neue Ziel nicht sehen oder ausprobieren; er führt einfach seine mentalen Simulationen mit der neuen Regel erneut aus, wobei er dieselbe interne Landkarte verwendet, die beschreibt, wie die Welt funktioniert.

Um diese Idee zu testen, trainierten die Forscher ihre Modelle in mehreren unterschiedlichen Umgebungen, darunter eine gitterbasierte Navigationsaufgabe, bei der ein Agent ein Ziel finden muss, eine 3D-Version derselben Aufgabe mit kontinuierlicher Bewegung sowie ein Puzzlespiel namens Sokoban, bei dem Boxen an bestimmte Stellen geschoben werden müssen. In diesen Trainingsphasen lernten die Agenten, zu navigieren und ein bestimmtes Ziel zu erreichen, wie etwa das Erreichen eines festen Zielstandorts. Die Forscher forderten die Modelle dann mit neuen Aufgaben heraus, bei denen die Bewegungsregeln der Umgebung exakt gleich blieben, aber die Ziele sich änderten. In einem Szenario könnte das Ziel in ein anderes Zimmer rücken; in einem anderen könnte der Agent eine bestimmte Konfiguration von Objekten erreichen, statt eines einzelnen Punktes. Die Modelle waren in der Lage, sich an diese neuen Ziele anzupassen, ohne weitere Interaktion mit der realen Umgebung. Dies erreichten sie durch zwei Methoden: Entweder durch das Planen neuer Pfade mittels eines Suchalgorithmus, der die Möglichkeiten in ihrem Geist explorierte, oder durch die vollständige Verfeinerung ihrer Entscheidungsstrategie innerhalb ihrer internen Simulationen.

Die Ergebnisse zeigten, dass dieser Ansatz nicht nur funktionierte, sondern dies auch effizienter als Standardmethoden tat. Die neurosymbolischen Modelle lernten die Trainingsaufgaben mit weniger Beispielen, was darauf hindeutet, dass die strukturierte Art und Weise, wie sie Informationen verarbeiten, ihnen hilft, die Umgebung schneller zu erfassen. Viel wichtiger ist, dass sie sich gegenüber neuen Aufgaben sofort anpassten. Während traditionelle Modelle eine Phase des erneuten Trainings oder eine enorme Menge an neuen Daten benötigen würden, um das neue Ziel zu begreifen, wandten die neurosymbolischen Agenten einfach ihr bestehendes Weltwissen auf das neue Ziel an. Dies galt selbst dann, wenn die Forscher während des Trainings nur unvollständige Informationen über die symbolischen Fakten bereitstellten oder wenn sie gar keine direkte Überwachung für diese Fakten vorgaben und sich stattdertdessen auf die Struktur des Modells selbst verließen, um das Lernen zu leiten.

Diese Arbeit stellt einen bedeutenden Schritt in Richtung flexiblerer und wiederverwendbarer künstlicher Intelligenz dar. Durch die Entkopplung des Verständnisses darüber, wie die Welt funktioniert, von den spezifischen Zielen, die ein Agent verfolgt, haben die Forscher ein System geschaffen, das sich eher wie ein allgemeiner Lerner als wie ein spezialisiertes Werkzeug verhält. Der Agent lernt nicht nur einen Pfad zu einem Ziel auswendig; er lernt das Gelände und die Bewegungsregeln kennen, was es ihm ermöglicht, zu jedem Ziel innerhalb dieses Geländes zu navigieren. Zwar setzt das System voraus, dass die neuen Ziele mit demselben Satz an hochgradigen Fakten beschreibbar sind, die während des Trainings gelernt wurden, doch es macht ein kostspieliges erneutes Training, sobald sich eine Aufgabe ändert, überflüssig. Dies deutet auf eine Zukunft hin, in der intelligente Systeme in dynamischen Umgebungen eingesetzt werden können, bereit, neue Herausforderungen in dem Moment anzunehmen, in dem sie entstehen, indem man ihnen einfach sagt, wonach sie suchen sollen, anstatt dass sie jedes Mal neu lernen müssen, wie man alles sieht.