SingularClip: Preventing Spectral Collapse to Maintain Plasticity in Continual and Reinforcement Learning
Das Papier stellt SingularClip vor, eine Methode, die die Singulärwerte von Gewichtmatrizen periodisch beschneidet, um den spektralen Kollaps zu verhindern und die Plastizität in neuronalen Netzen zu erhalten, die auf nichtstationären Aufgaben trainiert werden, wobei eine überlegene Leistung sowohl im kontinuierlichen überwachten Lernen als auch im Deep Reinforcement Learning demonstriert wird.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Deep Learning hat Maschinen die Fähigkeit verliehen, Gesichter zu erkennen, Sprachen zu übersetzen und komplexe Spiele zu spielen, doch diese Systeme haben Schwierigkeiten, wenn sich die Welt um sie herum verändert. In einem statischen Klassenzimmer kann ein Schüler ein Lehrbuch auswendig lernen und für immer nützlich bleiben. In der realen Welt jedoch ändern sich die Regeln ständig. Ein selbstfahrendes Auto muss sich an neue Verkehrsmuster anpassen, und ein Roboter muss eine neue Aufgabe lernen, ohne das Gehen zu vergessen. Wenn neuronale Netze – die mathematischen Gehirne hinter diesen Systemen – versuchen, neue Dinge auf Basis alten Wissens zu lernen, werden sie oft starr. Sie verlieren die Fähigkeit, sich zu biegen und sich an neue Informationen anzupassen, ein Problem, das Wissenschaftler als Verlust der Plastizität bezeichnen. Ohne diese Flexibilität erstarrt die Maschine und ist nicht mehr in der Lage, ihr Verständnis einer sich verändernden Umgebung zu aktualisieren.
Forscher wissen schon lange, dass im Inneren der internen Berechnungen des Netzwerks etwas schiefläuft, während es lernt. Sie vermuteten, dass die Gewichte des Netzwerks, jene Zahlen, die bestimmen, wie Informationen fließen, in einer schlechten Form feststecken. Ein Team von Wissenschaftlern der University of Toronto und der Polytechnique Montréal hat nun genau identifiziert, was diese schlechte Form ist und wie man sie behebt. Sie entdeckten, dass die interne Struktur eines Netzwerks beim Lernen zunehmend unausgewogen wird, sich in einigen Richtungen ausdehnt, während sie in anderen kollabiert. Diese Verzerrung macht es unglaublich schwierig für das Netzwerk, neue Aufgaben zu erlernen. Um dies zu lösen, führten sie ein einfaches, periodisches Verfahren ein, das diese internen Strukturen neu formt und es der Maschine ermöglicht, flexibel zu bleiben und weiter zu lernen.
Der Kern des Problems liegt darin, wie das Netzwerk sein Wissen organisiert. Stellen Sie sich das Netzwerk als eine weite Landschaft aus Hügeln und Tälern vor. Während es lernt, verändert sich die Landschaft. Die Forscher fanden heraus, dass diese Landschaft mit der Zeit dazu neigt, sich in einen langen, dünnen Grat zu strecken. Das meiste Lernen findet entlang dieses einzelnen Grates statt, während der Rest der Landschaft zu einem tiefen, engen Canyon abflacht. In technischer Hinsicht nennen die Forscher dies wachsende Anisotropie. Das bedeutet, dass das Netzwerk gegenüber Veränderungen in einer spezifischen Richtung hochempfindlich wird, aber gegenüber Veränderungen in jede andere Richtung vollkommen taub ist. Wenn eine neue Aufgabe eintrifft, die das Lernen in eine andere Richtung erfordert, kann das Netzwerk nicht reagieren, weil seine interne Struktur in diesen einen, dominanten Grat kollabiert ist. Das Signal, das benötigt wird, um die neue Aufgabe zu lernen, geht in der Flachheit des Canyons verloren.
Um zu beweisen, dass dies die Ursache für die Starrheit war, führten die Forscher Experimente durch, bei denen sie künstlich Netzwerke mit dieser gestreckten Form erzeugten. Sie fanden heraus, dass diese verzerrten Netzwerke viel länger brauchten, um zu lernen, oder gar nicht lernten, im Vergleich zu ausgewogenen Netzwerken. Sie beobachteten auch, dass sich dieses Strecken natürlich in Netzwerken vollzog, die auf realen Aufgaben trainiert wurden, vom Erkennen zufälliger Muster in Bildern bis hin zum Erlernen der Steuerung eines virtuellen Roboters. Das Strecken war nicht nur ein Nebeneffekt, sondern die direkte Ursache für die Verlangsamung. Je mehr sich das Netzwerk streckte, desto schwieriger wurde es für neue Informationen, hindurchzureisen.
Das Team entwickelte daraufhin eine Lösung, die sie SingularClip nennen. Der Name leitet sich von der mathematischen Operation ab, die sie zur Behebung des Problems verwenden. Anstatt das Netzwerk unkontrolliert strecken zu lassen, unterbrechen sie den Trainingsprozess periodisch und überprüfen die Form der internen Strukturen des Netzwerks. Wenn die Struktur zu stark gestreckt ist, „clippen“ (beschneiden) sie die extremen Werte, wodurch die Form gezwungen wird, zu einer ausgewogeneren, runderen Gestalt zurückzukehren. Dies ist kein vollständiger Reset, der alles gelernte Wissen der Maschine löschen würde. Es ist vielmehr eine sanfte Korrektur, die die gesammelten Informationen des Netzwerks bewahrt, während sie verhindert, dass es zu starr wird. Es ist wie ein Gärtner, der eine Pflanze beschneidet, die zu hoch und dünn gewachsen ist, indem er den Überwuchs zurückschneidet, damit die Pflanze wieder in neue Richtungen verzweigen kann.
Die Ergebnisse dieses Ansatzes waren beeindruckend. In Tests, bei denen Maschinen eine Sequenz verschiedener Aufgaben lernen mussten, lernten die mit dieser Clipping-Methode behandelten Netzwerke signifikant schneller und genauer als solche, die andere gängige Techniken verwendeten. Einige bisherige Methoden versuchten, das Problem zu lösen, indem sie lediglich einschränkten, wie groß das Netzwerk in eine Richtung wachsen konnte, aber die Forscher zeigten, dass dies unzureichend war, da das Netzwerk in den anderen Richtungen immer noch kollabieren konnte. Andere Methoden beinhalteten ein vollständiges Zurücksetzen des Netzwerks, was zwar gut funktionierte, um neue Dinge zu lernen, aber dazu führte, dass die Maschine alles bisher Gelernte vergaß. Die neue Methode lag dazwischen: Sie hielt die Maschine flexibel genug, um neue Aufgaben zu lernen, ohne ihr vergangenes Wissen zu löschen.
In der Welt des Reinforcement Learning (bestärkendes Lernen), in der Agenten durch Versuch und Irrtum lernen, war der Unterschied noch dramatischer. In einer schwierigen Umgebung versagte ein Standard-Agent mit periodischen Resets völlig und war nicht in der Lage, überhaupt zu lernen, da er von den harten Resets nicht erholt werden konnte. Der Agent, der die neue Clipping-Methode verwendete, behielt jedoch genügend seines vorherigen Wissens bei, um schließlich erfolgreich zu sein, und übertraf damit sogar den Standard-Agenten, der nie einen Reset durchführte. Dies deutet darauf hin, dass der Schlüssel zu lebenslangem Lernen nicht nur darin besteht, neue Dinge zu lernen, sondern darin, die richtige interne Form zu bewahren, um fähig zu sein, sie zu lernen. Indem die interne Geometrie des Netzwerks ausgewogen gehalten wird, bleibt die Maschine offen für die Zukunft, bereit, sich an alles Kommende anzupassen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.