Activation-Adjacent Layer Normalization: Effects on Approximation Power

Moderne künstliche Intelligenz stützt sich auf riesige Netzwerke aus einfachen mathematischen Einheiten, die lose nach dem Vorbild von Neuronen gestaltet sind, um Muster zu erkennen, Sprachen zu übersetzen und Bilder zu generieren. Diese Netzwerke funktionieren, indem sie Daten durch Schichten leiten, wobei jede Schicht die Informationen leicht transformiert, bevor sie sie an die nächste weiterreicht. Eine entscheidende Komponente in diesem Prozess ist ein Mechanismus namens Normalisierung, der wie ein Lautstärkeregler wirkt, indem er die Stärke der Signale, die durch das Netzwerk fließen, anpasst, um sie stabil zu halten und zu verhindern, dass sie zu chaotisch oder zu schwach werden. Ohne diese Anpassung wäre das Training dieser komplexen Systeme unglaublich schwierig. Dennoch blieb eine subtile Frage in der Fachwelt bestehen: Verändert dieser Lautstärkeregler die grundlegende Geschichte, die das Netzwerk zu erzählen versucht? Konkret gefragt: Wenn man diesen Normalisierungsschritt in ein Netzwerk einfügt, schränkt dies die Fähigkeit des Netzwerks ein, dieselben Funktionen zu lernen und darzustellen, die es ohne diese Tools hätte lernen können?

Ein Team von Forschern der Beihang-Universität in China hat sich das Ziel gesetzt, diese Frage mit mathematischer Präzision zu beantworten. Sie konzentrierten sich auf zwei spezifische Arten der Normalisierung, die in der modernen KI weit verbreitet sind: eine, die Signale basierend auf ihrem quadratischen Mittelwert skaliert, und eine andere, die sie zusätzlich zentriert, indem sie einen Durchschnittswert subtrahiert. Die Forscher wollten wissen, ob ein Netzwerk, das mit diesen Werkzeugen ausgestattet ist, immer noch in der Lage ist, jede Funktion zu approximieren oder – genauer gesagt – eng nachzubilden, die ein Standard-Netzwerk ohne diese Werkzeuge bewältigen könnte. Ihre Untersuchung zeigt, dass die Antwort „Ja“ lautet, jedoch mit einem spezifischen Preis. Um die volle Ausdruckskraft eines Standard-Netzwerks zu bewahren, muss das normalisierte Netzwerk etwas breiter sein. Es reicht nicht aus, die Komponenten einfach auszutauschen; das Netzwerk muss ein wenig mehr Raum zum Atmen bekommen.

Die Forscher näherten sich diesem Problem, indem sie das Netzwerk als eine Maschine behandelten, die Eingaben in Ausgaben transformiert. Sie stellten sich ein Standard-Netzwerk mit einer bestimmten Breite vor, die durch die Anzahl der parallelen Pfade definiert ist, die es zur Informationsverarbeitung nutzt. Dann fragten sie: Wenn wir einen Normalisierungsschritt entweder vor oder nach der Hauptaktivierungsfunktion des Netzwerks einfügen, wie viel breiter muss das Netzwerk werden, um die ursprüngliche Funktion perfekt wiederherzustellen? Ihre Ergebnisse zeigen, dass die Antwort von der Art der Normalisierung und ihrer Platzierung abhängt. Bei der Methode, die nur skaliert, reicht es aus, wenn die Aktivierungsfunktion des Netzwerks sehr große Zahlen erzeugen kann, lediglich einen zusätzlichen Pfad hinzuzufügen, um die ursprüngliche Funktion mit hoher Präzision wiederherzustellen. Wenn die Aktivierungsfunktion stärker eingeschränkt ist, muss das Netzwerk einige zusätzliche Pfade hinzufügen, wobei der Fehler sinkt, je mehr Pfade hinzugefügt werden.

Die Situation wird etwas komplexer, wenn die Normalisierung die Daten zusätzlich zentriert, indem sie einen Durchschnittswert subtrahiert. Dieser zusätzliche Schritt führt eine zweite Art der Verzerrung ein, die das Netzwerk korrigieren muss. In diesem Fall fanden die Forscher heraus, dass das Netzwerk zwei Pfade breiter sein muss als das Original, um das gleiche Maß an Präzision zu erreichen. Diese zusätzliche Breite ermöglicht es dem Netzwerk, den Zentrierungseffekt aufzunehmen, ohne die Fähigkeit zu verlieren, die Zielfunktion darzustellen. Die Studie beweist, dass diese zusätzlichen Pfade nicht nur ein hilfreicher Trick sind, sondern mathematisch notwendig in den Unglücksfall-Szenarien (Worst-Case-Szenarien). Wenn das Netzwerk schmaler als diese spezifischen Grenzen ist, gibt es bestimmte Funktionen, die es einfach nicht lernen kann, egal wie es trainiert wird.

Um diese theoretischen Grenzen zu verifizieren, führten die Forscher eine Reihe von Computerexperimenten durch. Sie nahmen Standard-Netzwerke und konstruierten normalisierte Versionen unter Verwendung der exakten mathematischen Rezepte, die sie in ihren Beweisen hergeleitet hatten, ohne diese mit Daten zu trainieren. Sie maßen dann, wie genau diese normalisierten Netzwerke das Verhalten der ursprünglichen Netzwerke nachbilden konnten. Die Ergebnisse stimmten perfekt mit ihren Vorhersagen überein. Wenn sie die Breite oder die Magnitude der hinzugefügten Komponenten erhöhten, sank der Fehler exakt in den Raten, die ihre Formeln vorhergesagt hatten. Sie testeten auch ein spezifisches Szenario, in dem die Aktivierungsfunktion des Netzwerks verschoben wurde, was eine Situation schuf, in der ein schmales, normalisiertes Netzwerk völlig versagen würde. Die Experimente bestätigten, dass ohne die zusätzliche Breite der Ausgang des Netzwerks flach und nutzlos wurde, aber sobald die Breite erhöht wurde, das Netzwerk seine Fähigkeit zum Lernen zurückgewann.

Die Arbeit liefert eine klare Landkarte für das Verständnis der Kompromisse im Design moderner neuronaler Netze. Sie zeigt, dass Normalisierung nicht die Fähigkeit eines Netzwerks zerstört, komplexe Funktionen zu lernen, aber dass sie eine kleine, vorhersehbare Vergrößerung der Größe des Netzwerks erfordert, um die Änderungen zu kompensieren, die die Normalisierung einführt. Diese Erkenntnis hilft zu erklären, warum erfolgreiche Modelle oft über etwas mehr Kapazität verfügen, als das absolute Minimum, das für ihre Aufgaben erforderlich ist. Die Forscher zeigten, dass ein Netzwerk durch das Hinzufügen von nur wenigen zusätzlichen Dimensionen seine volle Kraft behalten kann, selbst wenn es die stabilisierenden Werkzeuge nutzt, die Deep Learning erst möglich machen. Ihre Ergebnisse bestätigen, dass die Architektur dieser Netzwerke robust ist, vorausgesetzt, die Designer berücksichtigen die spezifischen geometrischen Kosten der Normalisierungsschritte, die sie verwenden.