A Reproducibility Study of Partial Residual Ablations in Pre-LN Transformers

Moderne künstliche Intelligenz, die schreibt, übersetzt und schlussfolgert, stützt sich auf ein spezifisches Architekturdesign, das als Transformer bekannt ist. Das Herzstück dieses Designs sind tiefe Stapel von Verarbeitungsschichten, von denen jede die Informationen, die sie von der vorherigen erhält, verfeinert. Um zu verhindern, dass diese tiefen Netzwerke während des Trainings auseinanderfallen, verwenden Ingenieure sogenannte „Skip Connections“ (Übersprungverbindungen). Stellen Sie sich einen Fluss vor, der durch eine Reihe von Wasserfällen fließt; die Skip Connection ist wie ein Umgehungskanal, der es dem Wasser ermöglicht, um einen Wasserfall herumzufließen und stromabwärts wieder in den Strom einzumünden. Dies stellt sicher, dass das Signal niemals verloren geht oder verwässert wird, egal wie viele Schichten die Daten durchlaufen müssen. Jahrelang war es die Standardpraxis, diese Umgehungen nach jedem einzelnen Verarbeitungsschritt einzubauen. Doch eine kürzlich durchgeführte Untersuchung stellte eine einfache, strukturelle Frage: Was passiert, wenn wir nur eine dieser Umgehungen entfernen? Versagt das System vollständig oder findet es einen Weg zur Anpassung?

Ein Forscher namens Pratik Kumar Babariya machte es sich zur Aufgabe, dies zu beantworten, indem er Modelle künstlicher Intelligenz baute und systematisch diese Sicherheitsnetze entfernte. Er testete zwei spezifische Szenarien: eines, bei dem die Umgehung nach dem Attention-Mechanismus entfernt wurde, und ein anderes, bei dem die Umgehung nach dem Feed-Forward-Netzwerk entfernt wurde. Der Attention-Mechanismus ist der Teil des Modells, der entscheidet, welche Wörter in einem Satz am relevantesten füreinander sind, während das Feed-Forward-Netzwerk der Teil ist, der diese Informationen verarbeitet und transformiert. Das Ziel war zu sehen, ob das Modell ohne diese spezifischen Abkürzungen überleben konnte oder ob die Entfernung den gesamten Lernprozess zum Kollaps bringen würde.

Die ersten Experimente, die an kleineren Modellen durchgeführt wurden, deuteten auf ein düsteres Ergebnis hin. Als der Forscher entweder eine der beiden Umgehungen entfernte, lernten die Modelle nicht und blieben auf demselben schlechten Leistungsniveau wie ein Modell, das gar keine Umgehungen besaß. Es schien, dass beide Abkürzungen gleichermaßen essenziell waren. Dieses frühe Ergebnis war jedoch wahrscheinlich ein Artefakt der Messwerkzeuge. Der Forscher erkannte, dass die Art und Weise, wie er die Modelle evaluierte, zufälliges Rauschen einführte, was es unmöglich machte, subtile Leistungsunterschiede zu erkennen. Er baute das Experiment mit einem strengeren Aufbau neu auf, indem er feste Daten für Tests verwendete und sicherstellte, dass jede Variable kontrolliert wurde.

Als das Experiment mit dieser saubereren Methode erneut durchgeführt wurde, trat eine markante Asymmetrie zutage. Das Entfernen der Umgehung nach dem Feed-Forward-Netzwerk führte dazu, dass das Modell vollständig versagte, genau wie die ersten Tests gezeigt hatten. Das Modell konnte nicht lernen, und seine Leistung blieb auf einer hohen Fehlerrate stehen. Aber als die Umgehung nach dem Attention-Mechanismus entfernt wurde, tat das Modell etwas Unerwartetes: Es lernte. Es erbrachte zwar nicht die Leistung eines Modells mit allen seinen Abkürzungen, aber es lernte erfolgreich, die Sprache zu verarbeiten, und erreichte ein Leistungsniveau, das weit besser war als das des gescheiterten Modells. Dieses Ergebnis war kein Zufall; der Forscher führte die erfolgreiche Konfiguration acht Mal mit unterschiedlichen zufälligen Startpunkten durch, und in jedem einzelnen Fall lernte das Modell effektiv. Das Scheitern der anderen Konfiguration war ebenso konsistent und trat jedes Mal auf, wenn sie getestet wurde.

Der Forscher untersuchte daraufhin, warum dieser Unterschied bestand. Er beobachtete, dass in den scheiternden Modellen der Informationsfluss von den unteren Schichten zu den oberen Schichten vollständig gestoppt hatte, ein Phänomen, das als „Gradient Starvation“ (Gradientenverhungern) bekannt ist. Dies geschah in beiden scheiternden Fällen. In dem Modell, das erfolgreich war, schien der Attention-Mechanismus jedoch einen Umweg gefunden zu haben. Da der Attention-Mechanismus alle Wörter eines Satzes gleichzeitig betrachtet, kann er lernen, Informationen über verschiedene Positionen hinweg zu routen, und so effektiv einen Pfad für den Datenfluss wieder aufzubauen, selbst ohne die physische Abkürzung. Das Feed-Forward-Netzwerk hingegen verarbeitet jedes Wort isoliert und kann keine solche Querverbindung herstellen. Oh ohne seine Umgehung hat es keine Möglichkeit, die verlorenen Informationen wiederherzustellen.

Die Geschichte endet nicht mit einem perfekt gelösten Rätsel. Als der Forscher das Experiment auf ein viel größeres Modell skalierte, wurden die Ergebnisse weniger eindeutig. Während das Modell, bei dem die Feed-Forward-Umgehung entfernt wurde, immer noch versagte, zeigte das Modell, bei dem die Attention-Umgehung entfernt wurde, Anzeichen von Lernen, aber seine Leistung variierte stark je nach den zufälligen Startbedingungen. In einigen Durchläufen lernte es gut; in anderen hatte es Schwierigkeiten. Dies deutet darauf hin, dass die Fähigkeit zur Anpassung zwar real ist, es aber schwieriger wird, sie aufrechtzuerhalten, wenn das Modell größer und komplexer wird. Der Forscher deckte auch einen bedeutenden methodischen Fehler in seiner eigenen frühen Arbeit auf: Er hatte versucht, die scheiternden Modelle zu korrigieren, indem er einen Multiplikator während des Trainingsprozesses anpasste, was sie erfolgreich erscheinen ließ. Er erkannte später, dass der Trainingsalgorithmus diese Änderung automatisch kompensiert hatte, was die Anpassung zu einer Illusion machte. Indem er diesen Fehler korrigierte und das Scheitern transparent berichtete, stellte er sicher, dass die endgültige Schlussfolgerung auf der Realität basierte und nicht auf einem Artefakt der Software.

Die Kernbotschaft ist, dass nicht alle Abkürzungen in einem Gehirn einer künstlichen Intelligenz gleichwertig sind. Das Entfernen des Pfades nach dem Teil des Modells, der Wörter miteinander verbindet, ermöglicht es dem System zu überleben und zu lernen, wahrscheinlich weil dieser Teil des Systems in der Lage ist, sich selbst umzustrukturieren, um zu kompensieren. Das Entfernen des Pfades nach dem Teil, der einzelne Wörter verarbeitet, führt dazu, dass das System vollständig zusammenbricht. Dieser Unterschied gilt für kleinere Modelle und wird für größere Modelle stark nahegelegt, obwohl die größeren Modelle weiterer Studien bedürfen, um die Grenzen dieser Anpassungsfähigkeit zu bestätigen. Die Arbeit dient als Erinnerung daran, dass in komplexen Systemen die spezifische Anordnung von Verbindungen ebenso wichtig ist wie die Verbindungen selbst, und dass selbst wenn ein System zu scheitern scheint, ein genauerer Blick eine verborgene Fähigkeit zur Regeneration offenbaren kann.