In Two Minds about Lifelong Learning: Exploring Hemispheric Redundancy and Specialisation in Neural Models

Das menschliche Gehirn ist ein Meister des Lernens. Es kann eine neue Fertigkeit erlernen, wie etwa das Greifen eines Gitarrenakkords, ohne sofort zu vergessen, wie man Fahrrad fährt. Diese Fähigkeit, Wissen über ein ganzes Leben hinweg zu akkumulieren, wird kontinuierliches Lernen genannt. Im Gegensatz dazu haben Systeme der künstlichen Intelligenz, die aus Schichten mathematischer Verbindungen, sogenannten neuronalen Netzen, aufgebaut sind, enorme Schwierigkeiten mit eben dieser Aufgabe. Wenn diese Maschinen einen neuen Satz an Informationen lernen, überschreiben sie oft das Alte und löschen das, was sie zuvor wussten. Dieses Phänomen, bekannt als katastrophales Vergessen, geschieht, weil die internen Einstellungen der Maschine angepasst werden, um die neuen Daten passend zu machen, wobei versehentlich die Muster zerstört werden, die für die alten Daten benötigt wurden. Damit Roboter oder Software wirklich beständig und anpassungsfähig werden können, müssen sie dieses Problem lösen: kontinuierlich lernen, ohne ihre Vergangenheit zu verlieren.

Um zu verstehen, wie man dies behebt, blicken Forscher oft auf die Biologie. Im Säugetiergehirn fungiert eine Struktur namens Hippocampus als temporärer Zwischenspeicher für neue Erinnerungen, während der Neocortex das Langzeitwissen speichert. Während des Schlafs spielt das Gehirn jede Nacht jüngste Erfahrungen wieder ab und überträgt sie vom temporären Zwischenspeicher in den Langzeitspeicher. Darüber hinaus ist das Gehirn in zwei Hemisphären unterteilt, die oft unterschiedlich arbeiten: Eine Seite neigt dazu, neue, neuartige Informationen mit Flexibilität zu verarbeiten, während die andere Seite etablierte Routinen mit Stabilität verwaltet. Ein Team von Forschern der Monash University und CSIRO Robotics hat diese biologischen Prinzipien aufgegriffen und eine neue Computerarchitektur entwickelt, um zu sehen, ob sie die künstliche Intelligenz am Vergessen hindern können.

Die Forscher entwickelten ein System, das sie 4MAS nennen, was für 4 Module Awake/Sleep (4 Module Wach/Schlaf) steht. Anstatt eines einzelnen, monolithischen Gehirns besteht dieses System aus zwei unterschiedlichen Hälften oder Hemisphären, die die linke und rechte Seite eines biologischen Gehirns nachahmen. Jede Hälfte besitzt ihre eigenen Gedächtnissysteme: einen Kurzzeitspeicher, der einige der jüngsten Beispiele dessen hält, was er gesehen hat, und einen Langzeitgenerator, der die allgemeine Form der Daten lernt. Das System arbeitet in einem Zyklus, der zwischen Wachsein und Schlafen wechselt. Während der Wachphase lernt das System eine neue Aufgabe anhand realer Daten und überprüft gleichzeitig Beispiele aus seinem Kurzzeitspeicher. Während der Schlafphase werden keine neuen Daten eingeführt. Stattdessen kommunizieren die beiden Hemisphären miteinander. Sie generieren synthetische Beispiele dessen, was sie gelernt haben, und nutzen diese, um einander feinabzustimmen, wodurch das alte Wissen verstärkt und gleichzeitig das neue integriert wird.

Eine zentrale Innovation in diesem Design ist, dass die beiden Hemisphären nicht identisch sind. Die Forscher programmierten sie mit unterschiedlichen „Persönlichkeiten“. Eine Hemisphäre ist darauf getrimmt, stabil und konservativ zu sein und sich darauf zu konzentrieren, das, was sie bereits weiß, zu bewahren. Die andere ist darauf getrimmt, plastisch und explorativ zu sein, begierig darauf, sich an neue Muster anzupassen. Diese Arbeitsteilung ermöglicht es dem System, das Gleichgewicht zwischen der Notwendigkeit, neue Dinge zu lernen, und der Notwendigkeit, alte Dinge zu behalten, zu wahren. Die Forscher testeten diese Architektur bei mehreren Standard-Bilderkennungsaufgaben, bei denen die Maschine neue Kategorien von Bildern nacheinander lernen musste, ohne die alten jemals wieder zu sehen.

Die Ergebnisse waren beeindruckend. Bei einem einfachen Datensatz handgeschriebener Ziffern erreichte das System eine Genauigkeit von 98,3 Prozent und erreichte damit fast die Leistung eines Modells, das alle Daten auf einmal gesehen hatte. Bei einem komplexeren Datensatz von Kleidungsbildern erreichte es eine Genauigkeit von 84,9 Prozent und übertraf damit signifikant andere Methoden, die versuchen, das Vergessen zu verhindern. Selbst bei einem sehr schwierigen Datensatz mit 100 verschiedenen Objektkategorien gelang es dem System, kontinuierlich zu lernen, wobei es eine Genauigkeit von 29,29 Prozent erreichte, was besser als die bisher besten Methoden war. Die Studie zeigte, dass das System die neuen Daten nicht nur auswendig lernte; es behielt auch die alten Daten mit sehr geringem Verlust bei – ein Maßstab, den die Forscher „repräsentative Drift“ nennen. Die Fähigkeit des Systems, die Vergangenheit festzuhalten, während es die Zukunft lernt, war direkt mit der Schlafphase verknüpft. Als die Forscher den Schlafzyklus entfernten, sank die Leistung des Systems und die beiden Hemisphären arbeiteten nicht mehr effektiv zusammen.

Die Experimente zeigten auch, dass die spezifischen Unterschiede zwischen den beiden Hemisphären entscheidend waren. Wenn beide Seiten identisch gemacht wurden, performte das System schlechter. Erst als eine Seite flexibel und die andere stabil zugelassen wurde, florierte das System. Dies deutet darauf hin, dass es effektiver ist, spezialisierte Teile zu haben, die unterschiedliche Aufgaben erledigen, als einen einzelnen, einheitlichen Teil, der versucht, alles zu tun. Die Forscher fanden heraus, dass das System am besten funktionierte, wenn die Lernrate während des „Schlafs“ sehr niedrig gehalten wurde, was sanfte Anpassungen statt drastischer Änderungen ermöglichte. Sie entdeckten auch, dass das System eine kleine Menge an Speicher benötigte, um jüngste Beispiele zu speichern, aber sobald dieser Speicher eine bestimmte Größe erreichte, half eine weitere Vergrößerung kaum noch.

Diese Arbeit beansprucht nicht, das Problem der künstlichen Intelligenz für immer gelöst zu haben, noch legt sie nahe, dass Maschinen bald wie Menschen träumen werden. Die verwendeten Modelle waren relativ einfach und arbeiteten auf spezifischen, kontrollierten Datensätzen. Dennoch bieten die Ergebnisse einen klaren Weg nach vorn. Indem Ingenieure die biologische Strategie kopieren, die Gedächtnisaufgaben zwischen zwei spezialisierten Seiten aufzuteilen und eine Ruhephase zur Konsolidierung des Wissens zu nutzen, können sie Maschinen bauen, die mehr wie Lebewesen lernen. Die Studie zeigt, dass das Stabilitäts-Plastizitäts-Dilemma, das die künstliche Intelligenz lange Zeit geplagt hat, nicht dadurch bewältigt werden kann, dass man ein einzelnes System zwingt, alles zu tun, sondern indem man ein Team aus spezialisierten Agenten schafft, die einander durch Zyklen von Arbeit und Ruhe unterstützen.