MKOR: Momentum-Enabled Kronecker-Factor-Based Optimizer Using Rank-1 Updates

In der weiten Landschaft der modernen künstlichen Intelligenz basieren die leistungsfähigsten Systeme auf tiefen neuronalen Netzen, komplexen mathematischen Strukturen, die lernen, Muster zu erkennen, Sprachen zu übersetzen und Texte zu generieren. Um diese Systeme zu lehren, müssen Forscher ein massives Optimierungsproblem lösen: das Finden der perfekten Menge an internen Zahlen, oder Gewichten, die es dem Netzwerk ermöglichen, präzise Vorhersagen zu treffen. Seit Jahrzehnten besteht der Standardansatz darin, diese Gewichte in die Richtung zu lenken, die den Fehler am schnellsten reduziert – eine Methode, die der eines Wanderers gleicht, der sich seinen Weg einen nebligen Berg hinunter tastet, indem er die Neigung unter seinen Füßen prüft. Diese Methode erster Ordnung ist zuverlässig und weit verbreitet, kann aber langsam sein und oft tausende Schritte benötigen, um den Boden des Tals zu erreichen.

Eine ehrgeizigere Strategie, bekannt als Optimierung zweiter Ordnung, versucht, dem Wanderer eine Karte des gesamten Geländes zu geben, einschließlich der Krümmung des Bodens, was wesentlich schnellere Abstiege ermöglicht. Durch das Verständnis, wie sich die Neigung verändert, können diese Methoden theoretisch die optimale Lösung in weit weniger Schritten erreichen. Historisch gesehen war dieser Ansatz jedoch zu rechenintensiv, um für die massiven Modelle, die heute verwendet werden, praktikabel zu sein. Die Berechnung der notwendigen Krümmungsinformationen für ein großes Netzwerk erfordert enorme Rechenleistung und Speicher, was die Methode oft langsamer macht als den einfacheren Ansatz, den sie zu ersetzen versucht. Die Herausforderung bestand darin, die Geschwindigkeit des kartenlesenden Wanderers einzufangen, ohne die schwere Last, die Karte mit sich zu führen.

Ein Team von Forschern der University of Toronto, der Rutgers University und des Texas Advanced Computing Center hat ein neues Werkzeug namens MKOR entwickelt, das dieses Dilemma löst. Sie haben einen momentumfähigen Optimierer geschaffen, der eine spezifische mathematische Abkürzung nutzt, um die Form des Geländes zu approximieren, ohne jedes Detail berechnen zu müssen. Anstatt zu versuchen, die vollständige, komplexe Krümmung der Verlustlandschaft zu berechnen, nutzt MKOR eine Technik namens Rank-1-Updates. Dieser Ansatz vereinfacht die Berechnung, indem er sich auf die bedeutendste Änderungsrichtung konzentriert, wodurch die Rechenkosten effektiv von einer kubischen auf eine quadratische Beziehung reduziert werden. In praktischen Begriffen bedeutet dies, dass die Methode viel besser skaliert, wenn die Modelle größer werden, und so die Engpässe vermeidet, die zuvor die Verwendung von Methoden zweiter Ordnung in großen Sprachmodellen verhindert haben.

Die Forscher testeten diesen neuen Optimierer an einem großen Sprachmodell namens BERT-Large-Uncased und führten Experimente auf 64 Hochleistungs-Grafikprozessoren durch. Sie verglichen MKOR mit den besten existierenden Methoden erster Ordnung und den fortschrittlichsten verfügbaren Implementierungen zweiter Ordnung. Die Ergebnisse waren beeindruckend. Bei einer Aufgabe im Bereich des Beantwortens von Fragen benötigte die Standardmethode erster Ordnung 1.536 Schritte, um ein bestimmtes Genauigkeitsniveau zu erreichen. Die neue MKOR-Methode erreichte die gleiche oder eine bessere Genauigkeit in nur 600 Schritten. Bei der Messung der für den Abschluss des Trainings benötigten Gesamtzeit schloss MKOR die Aufgabe in etwas mehr als drei Stunden ab, während die Standardmethode fast acht Stunden dauerte. Dies entspricht einer Beschleunigung um das 2,57-fache und reduziert die Trainingszeit effektiv um mehr als die Hälfte.

Über die reine Geschwindigkeit hinaus befasste sich die Studie mit einem kritischen Stabilitätsproblem, das Methoden zweiter Ordnung oft plagt. Da diese Methoden den Lernprozess basierend auf komplexen mathematischen Faktoren anpassen, sind sie anfällig für „explodierende Gradienten“ – ein Phänomen, bei dem die Anpassungen so groß werden, dass der Trainingsprozess abstürzt oder divergiert. Frühere Lösungen erforderten oft eine signifikante Verlangsamung der Lernrate, um die Sicherheit zu gewährleisten, was die Geschwindigkeitsvorteile zunichtemachte. MKOR enthält einen integrierten Stabilisator, der die Größe dieser Anpassungen überwacht. Wenn die Werte zu groß werden, skaliert das System sie automatisch um, was verhindert, dass das Training „explodiert“, während das aggressive Tempo des Ansatzes zweiter Ordnung beibehalten wird. Dies ermöglicht es dem Optimierer, sich schnell zu bewegen, ohne das Risiko der Instabilität.

Die Forscher beobachteten auch, dass der Vorteil von Methoden zweiter Ordnung in den frühen Phasen des Trainings am ausgeprägtesten ist, wenn das Modell die breiten Konturen der Daten lernt. Wenn sich das Modell der optimalen Lösung nähert, nehmen die Vorteile der komplexen Krümmungsberechnungen ab. Um dies zu adressieren, führten sie eine hybride Version des Optimierers namens MKOR-H ein. Diese Version beginnt mit der leistungsstarken Methode zweiter Ordnung, um die initiale Lernphase zu beschleunigen, wechselt aber automatisch zu einer einfacheren Methode erster Ordnung, sobald der Trainingsverlust nicht mehr rapide abnimmt. Dieser hybride Ansatz ermöglichte es dem System, in noch weniger Schritten zu konvergieren und die gleiche Endgenauigkeit wie die Standardmethode in weniger als der Hälfte der Zeit zu erreichen.

Die Studie untersuchte auch, warum diese spezifische mathematische Abkürzung so gut funktioniert. Die Forscher analysierten die Datenstrukturen innerhalb des neuronalen Netzes und fanden heraus, dass die Kovarianzmatrizen, die beschreiben, wie verschiedene Teile des Netzwerks interagieren, oft einen niedrigen Rang (low-rank) haben. Das bedeutet, dass die Informationen trotz der hohen Dimensionalität der Daten in wenigen Schlüsselrichtungen konzentriert sind. Durch die Approximation dieser Matrizen mittels Rank-1-Updates erfasst MKOR die wesentlichen Informationen, die für die Optimierung benötigt werden, ohne den Overhead vollständiger Matrizenberechnungen. Das Team verifizierte durch umfangreiche Tests, dass diese Approximation nur sehr wenig Fehler einführt, was bestätigt, dass die Vereinfachung nicht zu Lasten der Genauigkeit geht.

Zusätzlich zu Geschwindigkeit und Stabilität reduziert die neue Methode signifikant die Menge der Daten, die während des Trainings zwischen verschiedenen Prozessoren übertragen werden müssen. Im verteilten Rechnen, wo tausende Prozessoren zusammenarbeiten, kann die Kommunikation zu einem großen Engpass werden. MKOR reduziert diese Kommunikationskomplexität von einer quadratischen auf eine lineare Beziehung, was bedeutet, dass das System effizient skaliert, wenn mehr Prozessoren hinzugefügt werden, ohne durch Verzögerungen beim Datentransfer ausgebremst zu werden. Diese Effizienz ermöglicht es der Methode, die massiven Batch-Größen zu handhaben, die von modernen großen Sprachmodellen gefordert werden, was für bisherige Ansätze zweiter Ordnung eine Einschränkung darstellte.

Die Auswirkungen dieser Arbeit erstrecken sich über das Training eines einzelnen spezifischen Modells hinaus. Indem MKOR die Optimierung zweiter Ordnung für groß angelegte Systeme praktikabel macht, bietet es einen Weg zu einem effizienteren Training künstlicher Intelligenz. Die Forscher merkten an, dass ihre Methode dazu beitragen kann, signifikante Mengen an Energie und Zeit für Praktiker des maschinellen Lernens einzusparen. Während die Technologie selbst ein neutrales Werkzeug ist, könnte ihre Anwendung in Bereichen von der medizinischen Diagnostik bis zur Klimamodellierung wissenschaftliche Entdeckungen beschleunigen. Die Autoren erkannten jedoch auch an, dass effiziente Optimierungsalgorithmen auf jedes Modell angewendet werden können, einschließlich solcher mit negativen gesellschaftlichen Auswirkungen, und betonten, dass der verantwortungsvolle Umgang mit einer solchen Technologie von den Entscheidungen der Menschen abhängt, die sie einsetzen.

Letztlich präsentiert die Arbeit eine konkrete Lösung für ein langjähriges Problem im Deep Learning. Durch die Kombination von Momentum, Rank-1-Approximationen und einem hybriden Schaltmechanismus haben die Forscher einen Optimierer geschaffen, der schneller, stabiler und skalierbarer ist als seine Vorgänger. Die Experimente zeigen, dass es möglich ist, die Kraft von Methoden zweiter Ordnung zu nutzen, ohne die prohibitiven Rechenkosten, die sie bisher an den Rand gedrängt haben. Während das Feld der künstlichen Intelligenz weiterhin auf immer größere und komplexere Modelle zusteuert, bieten Werkzeuge wie MKOR einen Weg, diese Systeme effizienter zu trainieren und so, was einst ein theoretischer Vorteil war, in eine praktische Realität zu verwandeln.