Contextual encoding of states and indices for episodic memories make goal-directed action selection flexible, transparent, and efficient

Wenn wir vor einem neuen Problem stehen, rechnen unsere Gehirne nicht einfach Zahlen aus, um die beste Lösung zu finden. Stattdessen greifen sie auf unsere Vergangenheit zurück und rufen spezifische Erinnerungen an ähnliche Situationen ab, um unseren nächsten Schritt zu leiten. Diese Fähigkeit, relevante Erfahrungen abzurufen und unsere Entscheidungen auf Basis dieser Erfahrungen zu erklären, ist ein Kennzeichen menschlicher Intelligenz. Jahrzehntelang haben Wissenschaftler versucht, künstliche Systeme zu bauen, die diese Flexibilität nachahmen, doch die meisten erfolgreichen Methoden beruhen darauf, riesige Mengen an Daten in komplexen mathematischen Formen zu speichern, die schwer zu interpretieren sind und enorme Rechenleistung erfordern. Diese Systeme haben oft Schwierigkeiten, wenn sich die Regeln des Spiels ändern oder ein neues Ziel erscheint, was sie dazu zwingt, von Grund auf neu zu lernen. Die Herausforderung für die Forscher bestand darin, ein System zu schaffen, das schnell lernt, sich augenblicklich an neue Einschränkungen anpasst und seine Entscheidungen in klarer Sprache erklären kann – und das alles auf kleinen, energieeffizienten Geräten.

Ein Forschungsteam der Technischen Universität Graz hat einen neuen Ansatz namens Episodic Cognitive Map (ECM) entwickelt, der einen anderen Weg einschlägt. Anstatt zu versuchen, alles Wissen in abstrakte Zahlen zu komprimieren, arbeitet dieses System wie ein menschlicher Geist, der ein detailliertes Tagebuch seiner Erfahrungen führt. Der Algorithmus erkundet eine Umgebung durch Zufallswanderungen und zeichnet jeden Schritt, den er unternimmt, als eine eigenständige Erinnerung auf. Was dieses System einzigartig macht, ist die Art und Weise, wie es diese Erinnerungen speichert und nutzt. Es erinnert sich nicht nur daran, wohin es gegangen ist; es verknüpft jeden besuchten Ort mit der spezifischen Reise, zu der er gehörte. Wenn das System von Punkt A nach Punkt B gelangen muss, berechnet es nicht die Distanz oder den Wert jedes möglichen Pfades. Stattdessen durchsucht es seine Bibliothek vergangener Reisen und fragt: „Welche meiner früheren Reisen beinhalteten sowohl den Ort, an dem ich mich jetzt befinde, als auch den Ort, zu dem ich gelangen möchte?“ Die Antwort auf diese Frage weist direkt auf den besten nächsten Schritt hin.

Die Forscher testeten diese Idee in simulierten Umgebungen, die komplexe Entscheidungsprozesse nachahmen, einschließlich Karten mit hunderten von Standorten und Situationen, in denen Handlungen unsichere Ergebnisse haben. In diesen Tests erwies sich der ECM-Algorithmus als bemerkenswert effizient. Er lernte, von jedem Startpunkt zu jedem Ziel zu navigieren, mit einer Geschwindigkeit und Genauigkeit, die viel komplizierteren Methoden der künstlichen Intelligenz ebenbürtig war. Entscheidend war, dass dies nur durch einfache, binäre Verbindungen zwischen seinen Gedächtniszellen und seinen Entscheidungsneuronen erreicht wurde. Das bedeutet, dass das System keine schweren mathematischen Berechnungen durchführen oder hochpräzise Zahlen speichern muss. Es kann eine neue Umgebung erlernen, ein Navigationsproblem lösen und seine Wahl erklären, indem es auf die spezifischen vergangenen Erfahrungen verweist, die diese Entscheidung stützten – und das, ohne etwas neu lernen zu müssen, wenn sich das Ziel ändert.

Die Stärke dieses Systems liegt in seiner Fähigkeit zur sofortigen Anpassung. In vielen Modellen der künstlichen Intelligenz erfordert die Änderung eines Ziels oder das Hinzufügen einer neuen Sicherheitsregel das gesamte System neu zu trainieren, ein Prozess, der Stunden oder Tage dauern kann. Der ECM-Algorithmus hingegen kann sein Verhalten in einem Bruchteil einer Sekunde anpassen. Wenn ein Pfad blockiert ist oder eine neue Sicherheitsbeschränkung eingeführt wird, filtert das System einfach seine Gedächtnisbibliothek, um die Erinnerungen zu ignorieren, die den blockierten Pfad oder den unsicheren Bereich betreffen. Es wählt dann eine neue Route basierend auf den verbleibenden gültigen Erinnerungen aus. Diese Flexibilität ermöglicht es ihm, komplexe Szenarien zu bewältigen, wie etwa die Navigation durch eine Stadt, in der bestimmte Straßen gesperrt sind oder Gebiete mit hohen Risiken vermieden werden müssen, ohne jemals die Karte neu lernen zu müssen.

Um zu verstehen, wie dies funktioniert, stellen Sie sich vor, das System erstellt eine mentale Karte, nicht von Distanzen, sondern von Verbindungen. Wenn das System ein neues Gebiet erkundet, erstellt es ein Protokoll jeder Reise, die es unternimmt. Jeder Ort in diesem Gebiet wird mit den spezifischen Reisen markiert, in denen er vorkam. Wenn das System sich auf ein Ziel zubewegen muss, aktiviert es die Erinnerungen, die mit diesem Ziel verknüpft sind. Diese Erinnerungen lassen dann die Orte aufleuchten, die in der Vergangenheit häufig zusammen mit dem Ziel auftauchten. Das System wählt einfach die Aktion, die zu dem Ort führt, der die stärkste Verbindung zum Ziel aufweist. Dieser Prozess ist so direkt, dass er die Notwendigkeit komplexer Berechnungen umgeht. Das System muss nicht den Wert jedes möglichen zukünftigen Zustands kennen; es muss nur wissen, welche vergangenen Erfahrungen die Gegenwart mit der gewünschten Zukunft verbinden.

Die Forscher untersuchten auch, wie sich dieses System im Laufe der Zeit selbst verbessern kann. Sie fanden heraus, dass das System, indem es gelegentlich alte, weniger nützliche Erinnerungen durch neue ersetzt, die aus erfolgreichen Planungsversuchen gewonnen wurden, seine interne Karte verfeinern kann, ohne die Größe seines Gedächtnisses zu erhöhen. Dieser Prozess, bekannt als rekursive Selbstverbesserung, ermöglichte es dem Algorithmus, mit zunehmender Erfahrung effizienter beim Finden kurzer Pfade zu werden. Selbst wenn die Umgebung unvorhersehbar war und Handlungen manchmal zu unerwarteten Ergebnissen führten, behielt das System seine Fähigkeit bei, zuverlässige Routen zu finden. Dies gelang ihm, indem es seine Erinnerungen danach gewichtete, wie oft sie zum Erfolg führten, wodurch es eine Strategie erlernte, die Risiko und Ertrag abwog.

Eine der bedeutendsten Erkenntnisse dieser Arbeit ist, dass das System seine Entscheidungen mit vollständiger Transparenz erklären kann. Da jede Wahl auf einer spezifischen Menge vergangener Erfahrungen basiert, kann das System genau aufzeigen, welche Erinnerungen zu einer bestimmten Handlung geführt haben. Wenn ein Mensch fragt, warum das System einen bestimmten Pfad gewählt hat, kann es auf die spezifischen Reisen in seiner Historie hinweisen, die diesen Pfad vielversprechend erscheinen ließen. Dies steht in starkem Kont contrast zu vielen modernen Systemen der künstlichen Intelligenz, die oft als „Black Boxes“ agieren, bei denen die Begründung für eine Entscheidung in Schichten komplexer Mathematik verborgen bleibt. Der ECM-Algorithmus bietet einen Weg, intelligente Maschinen zu bauen, die nicht nur effektiv, sondern auch verständlich und vertrauenswürdig sind.

Die Implikationen dieser Forschung reichen über die Navigation hinaus. Die Prinzipien hinter dem ECM-Algorithmus legen einen neuen Weg nahe, künstliche Intelligenz zu bauen, die leichtgewichtig, energieeffizient und in der Lage ist, auf kleinen Geräten wie Sensoren oder Robotern zu operieren. Da das System auf einfachen, binären Verbindungen statt auf komplexen Gleitkomma-Berechnungen basiert, könnte es auf Hardware implementiert werden, die sehr wenig Strom verbraucht. Dies macht es zu einem idealen Kandidaten für das Edge Computing, wo Geräte schnelle, intelligente Entscheidungen treffen müssen, ohne eine Verbindung zu einem leistungsstarken zentralen Computer zu benötigen. Die Fähigkeit, sich an neue Kontexte anzupassen und die eigene Logik zu erklären, macht es besonders wertvoll für Anwendungen, bei denen Sicherheit und Zuverlässigkeit oberste Priorität haben.

Die Forscher räumen ein, dass sich ihre derzeitige Arbeit auf Umgebungen konzentriert, in denen Zustände klar definiert und beschriftet sind. Sie planen, diesen Ansatz auf komplexere Situationen auszuweiten, in denen das System rohe Sensordaten, wie Bilder oder Töne, interpretieren muss, um seine Umgebung zu verstehen. Sie wollen auch untersuchen, wie das System mit Situationen umgeht, in denen die aktuelle Ansicht nicht genügend Informationen liefert, um genau zu wissen, wo es sich befindet. Trotz dieser zukünftigen Herausforderungen zeigen die aktuellen Ergebnisse, dass ein einfacher, gedächtnisbasierter Ansatz Leistungsniveaus erreichen kann, die mit viel anspruchsvolleren Methoden konkurrieren. Indem sie sich von der Art und Weise inspirieren lassen, wie das menschliche Gehirn episodische Erinnerungen nutzt, haben die Forscher gezeigt, dass die kraftvollsten Lösungen manchmal diejenigen sind, die auf den einfachsten, direktesten Verbindungen zwischen Vergangenheit und Gegenwart beruhen.