Metaplasticity as adaptive gradient preconditioning for incremental learning

Das menschliche Gehirn besitzt die bemerkenswerte Fähigkeit, kontinuierlich zu lernen. Ein Kind kann lernen, einen Hund zu erkennen, dann lernen, ein Fahrrad zu fahren, und dann eine neue Sprache zu lernen, ohne dabei zu vergessen, wie man einen Hund identifiziert. Dieser nahtlose Fluss neuen Wissens überschreibt keine alten Erinnerungen. Im Gegensatz dazu haben künstliche Intelligenzsysteme, die auf mathematischen Modellen basieren, die dem Gehirn nachempfunden sind, massiv mit derselben Aufgabe zu kämpfen. Wenn diese Computerprogramme eine neue Aufgabe lernen, leiden sie oft unter „katastrophalem Vergessen“ – einem Phänomen, bei dem das neue Lernen das alte gewaltsam auslöscht. Das System wird instabil und unfähig, seine Vergangenheit festzuhalten, während es versucht, seine Gegenwart zu erfassen. Wissenschaftler versuchen schon lange, dieses „Stabilitäts-Plastizitäts-Dilemma“ zu lösen, indem sie nach einem Weg suchen, Maschinen flexibel genug für das Lernen neuer Dinge, aber stabil genug für das Bewahren des bereits Gelernten zu machen.

Über Jahrzehnte hinweg haben Forscher versucht, die Lösung des Gehirns nachzuahmen, indem sie zusätzliche Regeln hinzufügten oder alte Daten speicherten, um sie später erneut zu überprüfen. Diese Ansätze erfordern jedoch oft, dass der Computer genau weiß, wann eine Aufgabe endet und eine andere beginnt, oder sie verlangen enorme Mengen an Speicherplatz, um vergangene Beispiele zu speichern. Diese Anforderungen wirken künstlich und spiegeln nicht wider, wie biologische Intelligenz tatsächlich funktioniert. Eine neue Studie von Forschern der University of Sydney schlägt einen anderen Weg vor. Anstatt den Computer zu zwingen, alte Daten zu behalten oder innezuhalten, um die Wichtigkeit nach Abschluss einer Aufgabe zu berechnen, schlagen sie vor, dass das System seine eigene Lerngeschwindigkeit in Echtzeit anpasst, Moment für Moment, genau wie eine lebende Synapse. Sie nennen diesen Ansatz SynGAP, eine Methode, die den Lernprozess nicht als eine Serie diskreter Schritte betrachtet, sondern als einen kontinuierlichen, fließenden Fluss, in dem die Strömung natürlich die Ufer formt.

Die Kernidee leitet sich von einem biologischen Konzept namens Metaplastizität ab. Im Gehirn ist eine Synapse nicht nur ein einfacher Schalter, der an- oder ausgeschaltet wird; sie hat eine Geschichte. Der Zustand einer Synapse ändert sich basierend darauf, wie stark sie in der Vergangenheit genutzt wurde, was sie entweder wahrscheinlicher oder unwahrscheinlicher für weitere Veränderungen macht. Dies ist die „Plastizität der Plastizität“. Wenn eine Verbindung über einen langen Zeitraum gestärkt wurde, macht das Gehirn es schwieriger, sie zu verändern, um diese Erinnerung zu schützen. Wenn eine Verbindung neu oder ungenutzt ist, bleibt sie flexibel. Die Forscher erkannten, dass künstliche neuronale Netze von demselben Prinzip profitieren könnten. Anstatt darauf zu warten, bis eine Aufgabe abgeschlossen ist, um zu entscheiden, welche Teile des Netzwerks wichtig sind, ermöglicht ihre Methode dem Netzwerk, sein eigenes Verhalten ständig zu überwachen. Es führt einen laufenden Durchschnitt darüber, wie sehr jeder Teil des Netzwerks zum vergangenen Lernen beigetragen hat, und erstellt so effektiv ein Gedächtnis der Wichtigkeit, das sich mit jedem neuen Datensatz aktualisiert.

Um dies in die Praxis umzusetzen, entwickelte das Team ein System, das wie ein dynamisches Ventil für den Lernprozess wirkt. Wenn der Computer versucht, etwas Neues zu lernen, berechnet er die standardmäßigen Anpassungen, die zur Verbesserung seiner Leistung nötig sind. Bevor diese Anpassungen jedoch angewendet werden, passieren sie einen Filter. Dieser Filter prüft die Historie jeder Verbindung. Wenn eine Verbindung entscheidend für vergangene Aufgaben war, verlangsamt der Filter die Änderung sanft und verhindert so, dass das neue Lernen das Alte zerstört. Wenn die Verbindung nicht entscheidend ist, lässt der Filter die Änderung frei zu. Entscheidend ist, dass dies geschieht, ohne dass der Computer wissen muss, welche Aufgabe er gerade ausführt, und ohne dass er eine große Bibliothek alter Beispiele speichern muss, um auf sie zurückzugreifen. Das System fließt einfach vorwärts und passt seine Sensibilität basierend auf dem an, was es bereits gelernt hat.

Die Forscher testeten diesen Ansatz an zwei anspruchsvollen Benchmarks, bei denen ein Computer nacheinander verschiedene Kategorien von Bildern erkennen muss. In einem Test musste das System 100 verschiedene Bildklassen lernen, die in zehn Gruppen unterteilt waren. Standard-Lernmethoden, die lediglich versuchen, Fehler im laufenden Betrieb zu minimieren, vergaßen die ersten Gruppen fast vollständig und behielten weniger als 10 % Genauigkeit bei den alten Aufgaben bei. Methoden, die versuchten, alte Daten zu speichern oder zusätzliche Strafen für den Lernprozess einzuführen, schnitten besser ab, hatten aber dennoch Schwierigkeiten und vergaßen oft mehr als die Hälfte dessen, was sie gelernt hatten. Die neue SynGAP-Methode hingegen erreichte ein signifikant höheres Erfolgsniveau. Sie behielt eine durchschnittliche Genauigkeit von fast 27 % bei den alten Aufgaben bei, was mehr als viermal besser ist als die Standard-Regularisierungsmethode und fast 10 % besser als die Methode, die auf dem Speichern alter Daten basiert. Sie reduzierte zudem das Maß des Vergessens um über 10 % im Vergleich zu diesen etablierten Techniken.

In einem zweiten Test, der einen kontinuierlichen Strom der Objekterkennung beinhaltete, waren die Ergebnisse ähnlich stark. Die neue Methode erreichte eine Genauigkeit von etwa 68 % und übertraf damit die besten Standard-Lernwerkzeuge um etwa 10 Prozentpunkte. Vielleicht am wichtigsten ist, dass das System nicht starr wurde. Einige Methoden, die alte Erinnerungen zu gut schützen, machen es dem Computer unmöglich, etwas Neues zu lernen. Die Forscher fanden heraus, dass ihr Ansatz ein empfindliches Gleichgewicht fand: Er schützte die Vergangenheit, ohne die Zukunft einzufrieren. Das System blieb flexibel genug, um sich an neue Informationen anzupassen, während es die Kernstruktur seines alten Wissens intakt hielt.

Der Erfolg dieses Ansatzes liegt darin, wie er die Natur der Lernaktualisierung verändert. Traditionelle Methoden versuchen oft, das Problem zu lösen, indem sie eine Strafe zum Endziel hinzufügen – im Grunde sagen sie dem Computer: „Bewege dich nicht zu weit von dem weg, wo du warst.“ Dies kann den Lernpfad verzerren und Konflikte erzeugen, wenn die Anzahl der Aufgaben wächst. Die neue Methode hingegen modifiziert den Lernschritt selbst. Sie fungiert als geometischer Wegweiser, der den Computer von Richtungen wegsteuert, die alte Erinnerungen zerstören würden, während sie ihm erlaubt, sich frei in Richtungen zu bewegen, die nicht stören. Dies geschieht kontinuierlich, getrieben durch den Fluss der Daten selbst, statt durch externe Signale oder gespeicherte Erinnerungen. Die Forscher zeigten, dass sie durch die mathematische Formalisierung dieses biologischen Prozesses ein System schaffen konnten, das sowohl robust als auch effizient ist und nur sehr wenig zusätzlichen Speicher benötigt, um zu funktionieren.

Obwohl das System hocheffektiv ist, stellen die Forscher fest, dass es keine perfekte Lösung für jedes mögliche Szenario darstellt. Es stützt sich derzeit auf eine vereinfachte Sichtweise der internen Geometrie des Netzwerks, die in vielen Fällen gut funktioniert, aber für extrem komplexe Probleme verfeinert werden müsste. Es benötigt zudem immer noch eine kleine Menge gespeicherter Daten, um zu funktionieren, wenngleich weit weniger als bisherige Methoden. Trotz dieser Einschränkungen stellt die Arbeit einen bedeutenden Fortschritt dar. Sie zeigt, dass wir, indem wir genau beobachten, wie biologische Systeme das Spannungsfeld zwischen Stabilität und Veränderung bewältigen, und indem wir diese Prinzipien in einen kontinuierlichen Echtzeitprozess übersetzen, eine künstliche Intelligenz bauen können, die mehr wie ein lebender Geist lernt. Die Studie legt nahe, dass der Schlüssel zur Vermeidung von katastrophalem Vergessen nicht darin besteht, das Lernen zu stoppen oder die Vergangenheit zu horten, sondern darin, die Geschichte des Lernens die Art und Weise gestalten zu lassen, wie die Zukunft gelernt wird.