Stellen Sie sich einen Roboterarm vor, der lernt, eine Reihe von Aufgaben nacheinander auszuführen. In der realen Welt sind diese Aufgaben selten isoliert; sie sehen oft sehr ähnlich aus, erfordern aber unterschiedliche, manchmal gegensätzliche Bewegungen. Ein Roboter muss vielleicht ein Glas öffnen, indem er es im Uhrzeigersinn dreht, und später lernen, ein anderes Glas zu öffnen, indem er es gegen den Uhrzeigersinn dreht. Die Herausforderung für die künstliche Intelligenz besteht darin, dass sie beim Erlernen der neuen Fertigkeit oft das Gedächtnis der alten überschreibt – ein Phänomen, das Wissenschaftler als katastrophales Vergessen bezeichnen. Um dies zu verhindern, nutzen Forscher typischerweise eine Methode namens Experience Replay, bei der der Roboter mit einer Mischung aus alten und neuen Daten übt, ganz ähnlich wie ein Schüler, der alte Notizen wiederholt, während er für eine neue Prüfung lernt. Jahrelang war der Standardansatz, diese alten Notizen zufällig auszuwählen, unter der Annahme, dass jede Probe aus der Vergangenheit gleichermaßen hilfreich ist.

Ein neuer Bericht von Forschern der Stanford University und des Toyota Research Institute deutet jedoch darauf an, dass nicht alle Erinnerungen gleich wertvoll sind. Sie entdeckten, dass innerhalb der riesigen Geschichte der Erfahrungen eines Roboters eine winzige, kritische Teilmenge von Daten existiert, die als lebenswichtiger Anker fungiert und das Wissen des Roboters über frühere Aufgaben an seinem Platz hält. Die Forscher bezeichnen diese spezifischen Erinnerungen als „Memory Anchors“ (Gedächtnisanker). Ihre Arbeit zeigt, dass der Roboter seine alten Fähigkeiten viel schneller vergisst, wenn die Trainingsdaten selbst einen kleinen Bruchteil dieser Anker vermissen lassen. Umgekehrt kann der Roboter, wenn die Trainingsdaten gezielt mit diesen spezifischen Erinnerungen angereichert werden, neue, widersprüchliche Aufgaben erlernen, ohne die alten zu verlieren. Dieser Befund verlagert den Fokus von der bloßen Sammlung von mehr Daten hin zur sorgfältigen Auswahl der wichtigsten Momente aus der Vergangenheit, um die wachsende Intelligenz des Roboters zu schützen.

Die Forscher begannen mit der Beobachtung, dass Roboter, selbst wenn sie Experience Replay verwenden, überraschend sensibel darauf reagieren, welche alten Daten sie genau für das Training auswählen. In ihren Experimenten fanden sie heraus, dass einige zufällige Auswahlen alter Daten es dem Roboter ermöglichten, seine Fähigkeiten perfekt zu behalten, während andere zufällige Auswahlen dazu führten, dass der Roboter dieselben Fähigkeiten fast vollständig vergaß. Diese Inkonsistenz deutete auf ein verborgenes Muster hin: Bestimmte Aufgaben waren sequenziell viel schwieriger zu lernen, weil sie eine visuelle Ähnlichkeit mit vorherigen Aufgaben teilten, aber eine völlig andere physische Aktion erforderten. Zum Beispiel könnte ein Roboter eine Schüssel und ein Glas sehen, die sich ähnlich sehen, aber eines erfordert Heben und das andere Drehen. Wenn der Roboter die neue Aufgabe lernt, kann sein internes Verständnis des Objekts Aussehen in dieselbe mentale Kategorie wie die alte Aufgabe kollabieren, was zu Verwirrung darüber führt, welche Aktion zu vollziehen ist.

Um dies zu lösen, entwickelte das Team eine Methode, um diese kritischen Momente zu identifizieren und zu isolieren. Sie suchten nach den spezifischen Punkten in der neuen Aufgabe, an denen das aktuelle Verständnis des Roboters der Situation am heftigsten mit dem kollidierte, was er zuvor gelernt hatte. Sie fanden die Momente, in denen die Augen des Roboters etwas Vertrautes sahen, aber sein Gehirn wusste, dass er etwas anderes tun musste. Aus diesen Momenten des Konflikts suchten sie in der Vergangenheit des Roboters zurück und holten die spezifischen alten Erfahrungen hervor, die der verwirrenden neuen Situation am ähnlichsten waren. Diese abgerufenen Erinnerungen sind die Memory Anchors. Sie dienen als Referenzpunkt, der den Roboter daran erinnert, dass das Objekt zwar gleich aussieht, die erforderliche Aktion jedoch anders ist, und verhindern so effektiv, dass das neue Lernen das alte auslöscht.

Das Team testete diese Idee, indem es diese Anker absichtlich aus den Trainingsdaten des Roboters entfernte. Die Ergebnisse waren drastisch: Als sie nur zehn Prozent der besten Anker ausschlossen, stieg das Vergessen vergangener Aufgaben des Roboters um mehr als das Viereinhalbfache. Dies bewies, dass eine sehr kleine Anzahl spezifischer Erinnerungen die Hauptarbeit leistete, um die Geschichte des Roboters zu bewahren. In einem zweiten Testlauf geschah das Gegenteil: Sie nahmen einen Standard-Trainingsspeicher und füllten ihn mit zusätzlichen Memory Anchors. Diese einfache Anpassung reduzierte das Vergessen schwieriger, widersprüchlicher Aufgaben um dreiundsechzig Prozent. Der Roboter war in der Lage, eine Sequenz von Aufgaben zu lernen, die er andernfalls nicht gemeistert hätte, wobei er die Fähigkeit zur Ausführung der ersten Aufgabe beiblos beibehielt, selbst nachdem er die dritte Aufgabe beherrschte.

Um sicherzustellen, dass dies nicht nur eine Simulation war, brachten die Forscher ihre Methode auf einen echten Roboterarm in einem Labor. Sie stellten eine Reihe von Aufgaben mit identisch aussehenden Gläsern auf, die unterschiedliche Öffnungsstrategien erforderten: eines benötigte eine Drehung gegen den Uhrzeigersinn, ein anderes eine Drehung im Uhrzeigersinn und ein drittes ein direktes Anheben. Ohne ihre spezielle Methode würde der Roboter die erste Aufgabe lernen, dann aber die zweite lernen und dabei die erste komplett vergessen, oder er würde die zweite gar nicht erst lernen können, weil er zu viel Angst hätte, die erste zu vermasseln. Als sie die Memory-Anchor-Strategie anwandten, lernte der Roboter alle drei Aufgaben erfolgreich nacheinander. Er erreichte eine Erfolgsquote, die 1,7-mal höher war als die eines Roboters, der mit einer standardmäßigen, zufälligen Mischung aus alten Daten trainiert wurde. Der Roboter lernte, zwischen den subtilen Unterschieden der Gläser zu unterscheiden und die korrekte Bewegung für jedes auszuführen, was bewies, dass die Anker ihm halfen, das Gleichgewicht zwischen dem Erlernen neuer Dinge und dem Beibehalten der alten zu finden.

Die Studie untersuchte auch, wie dies mit verschiedenen Arten von Robotergehirnen funktioniert, einschließlich großer, vortrainierter Modelle, die bereits recht intelligent sind. Selbst für diese fortgeschrittenen Systeme, die im Allgemeinen besser im Erinnern sind, machte das Vorhandensein von Memory Anchors einen signifikanten Unterschied, wenn die Trainingsdaten begrenzt waren. Die Forscher fanden heraus, dass auch diese Modelle unter dem Vergessen litten, wenn die kritischen Anker fehlten, und sich verbesserten, wenn die Anker hinzugefügt wurden. Dies deutet darauf hin, dass das Prinzip fundamental für die Art und Weise ist, wie Maschinen aus Erfahrung lernen, unabhängig von der Komplexität der Software. Der Schlüssel liegt nicht nur in der Menge der Daten, sondern in den richtigen Daten zum richtigen Zeitpunkt, um als Stabilisator gegen das Chaos des neuen Lernens zu wirken.

Diese Forschung bietet eine neue Art zu denken, wie Maschinen im Laufe der Zeit intelligenter werden können, ohne ihre Vergangenheit zu verlieren. Sie legt nahe, dass der Weg zu einem Roboter, der kontinuierlich in der freien Welt lernen kann, nicht nur darin besteht, ihn mit mehr Informationen zu füttern, sondern ihm beizubringen, die spezifischen Momente zu erkennen und zu schätzen, in denen seine Vergangenheit und Gegenwart aufeinandertreffen. Durch die Identifizierung dieser Memory Anchors können Ingenieure Systeme bauen, die robuster sind und in der Lage sind, die unordentliche, überlappende Realität der physischen Welt zu bewältigen. Die Arbeit treibt das Feld voran, indem sie zeigt, dass es im Prozess des kontinuierlichen Lernens weit mehr auf die Qualität der Erinnerung ankommt als auf deren Quantität, und dass einige gut gewählte Momente aus der Vergangenheit die Zukunft der Intelligenz eines Roboters sichern können.