Moderne künstliche Intelligenz beruht auf einem empfindlichen Balanceakt. Um einem Computer beizubringen, eine Katze auf einem Foto zu erkennen oder eine kohärente Geschichte zu schreiben, müssen Forscher ein massives mathematisches System durch eine Landschaft von Fehlern führen und dabei ständig seine internen Einstellungen anpassen, um den tiefsten Punkt zu finden. Dieser Prozess wird Training genannt, und das Werkzeug, das zur Navigation durch dieses Gelände verwendet wird, ist ein Optimierer. Jahrelang war der Industriestandard ein Algorithmus namens Adam. Er ist der Standardmotor für die leistungsfähigsten Sprachmodelle – jene, die Code schreiben, Sprachen übersetzen und Gespräche führen können. Doch trotz seiner Allgegenwart war das mathematische Fundament von Adam wackelig. Fast ein Jahrzehnt lang deutete ein berühmtes theoretisches Ergebnis darauf hin, dass Adam katastrophal versagen könnte, indem er selbst bei einfachen Problemen außer Kontrolle gerät. Dies erzeugte ein Paradoxon: Das Werkzeug, das die fortschrittlichste KI antreibt, war theoretisch defekt, funktionierte aber in der Praxis perfekt. Forscher fragten sich, warum die Theorie nicht mit der Realität übereinstimmte und ob das Werkzeug, auf das sie sich verließen, wirklich sicher war.

Eine neue Doktorarbeit von Yushun Zhang an der Chinesischen Universität von Hongkong, Shenzhen, löst dieses Paradoxon, indem sie das Problem aus einem neuen Blickwinkel betrachtet. Die Arbeit repariert nicht nur die Theorie; sie untersucht die Natur der Probleme, die diese Modelle lösen, grundlegend neu. Der Forscher entdeckte, dass die Angst vor dem Versagen von Adam auf einem spezifischen, künstlichen Setup basierte, das nicht widerspiegelt, wie das Training in der realen Welt tatsächlich abläuft. Durch die Änderung der Perspektive auf die Größe der beim Training verwendeten Datenpakete (Data Chunks) beweist die Studie, dass Adam tatsächlich sicher ist, sofern seine Einstellungen korrekt auf die spezifische Aufgabe abgestimmt sind. Wichtiger noch: Die Dissertation enthüllt eine verborgene geometrische Struktur innerhalb der Daten moderner neuronaler Netze. Diese Struktur erklärt, warum Adam seine Rivalen bei komplexen Aufgaben wie dem Training großer Sprachmodelle übertrifft, während er bei einfacheren Aufgaben scheitert. Es stellt sich heraus, dass die interne Landschaft dieser Modelle kein chaotisches Durcheinander ist, sondern eine Sammlung distinkter, organisierter Blöcke. Das Erkennen dieses Musters ermöglichte es dem Forscher, einen neuen, effizienteren Optimierer namens Adam-mini zu entwickeln, der den Speicherbedarf beim Training dieser massiven Modelle um die Hälfte reduziert, ohne die Leistung zu beeinträchtigen.

Die Geschichte beginnt mit der langjährigen Debatte darüber, ob Adam zuverlässig ist. Jahrelang behauptete eine viel zitierte Arbeit, dass Adam divergieren könne, was bedeutet, dass der Trainingsprozess gegen Unendlich laufen würde, anstatt sich zu stabilisieren. Diese Behauptung basierte auf einem spezifischen mathematischen Beispiel, bei dem der Algorithmus an einem Problem getestet wurde, das seine Regeln je nach den Einstellungen des Algorithmus änderte. In der realen Welt jedoch ändern Forscher nicht das Problem, um es an das Werkzeug anzupassen; sie fixieren das Problem und stimmen das Werkzeug auf das Problem ab. Zhangs Arbeit zeigt, dass Adam nicht divergiert, wenn das Problem fixiert ist, wie es im tatsächlichen Training der Fall ist. Stattdessen zeigt er einen klaren Phasenübergang: Wenn die Einstellungen schlecht gewählt sind, kann er scheitern, aber wenn sie korrekt gewählt sind, konvergiert er sicher. Der Schlüssel zu dieser Sicherheit liegt in einer spezifischen Einstellung, die kontrolliert, wie viel Gewicht der Algorithmus vergangenen Informationen beimisst. Die Studie beweist, dass für größere Datensätze diese Einstellung höher sein muss, um Stabilität zu gewährleisten. Dieses Ergebnis deckt sich mit dem, was Ingenieure in der Praxis beobachtet haben: Wenn man große Sprachmodelle mit kleinen Batches von Daten trainiert, verhindert die Erhöhung dieser Einstellung, dass das Training abstürzt. Die Dissertation liefert den ersten strengen mathematischen Beweis, dass die Standardversion von Adam, ohne jegliche Modifikationen, bei korrekter Abstimmung sicher anzuwenden ist.

Nachdem festgestellt wurde, dass Adam sicher ist, widmet sich die Forschung einer noch rätselhafteren Frage: Warum funktioniert er bei komplexen Modellen wie Transformern so viel besser als sein Hauptkonkurrent SGD, während er bei einfacheren Modellen schlechter abschneidet? Um dies zu beantworten, untersuchte der Forscher die Form der Fehlerlandschaft, insbesondere ein mathematisches Objekt namens Hesse-Matrix (Hessian), das beschreibt, wie sich der Fehler in jede Richtung verändert. In einfachen Problemen ist diese Landschaft dicht und verworren, wie ein dichter Wald, in dem jeder Pfad mit jedem anderen verbunden ist. In solchen Umgebungen ist die Strategie von Adam, jede Einstellung individuell anzupassen, ineffizient. Als der Forscher jedoch die Hesse-Matrix von tiefen neuronalen Netzen und Transformern untersuchte, zeichnete sich ein überraschendes Muster ab. Während des Trainings vereinfachte sich die komplexe, verworrene Landschaft zu einer Struktur aus distinkten, separaten Blöcken. Stellen Sie sich eine riesige Tabellenkalkulation vor, in der, anstatt dass jede Zelle jede andere beeinflusst, der Einfluss auf spezifische Zeilen und Spalten beschränkt ist. In diesen Netzwerken bilden die Parameter, die eine spezifische Ausgabeneuron oder einen spezifischen Attention-Head steuern, ihre eigene isolierte Gruppe.

Diese blockartige Struktur ist das Geheimnis von Adams Erfolg. Da die Landschaft in unabhängige Blöcke unterteilt ist, wird Adams Methode, jeder Variable eine eindeutige Lernrate zuzuweisen, hocheffektiv. Er kann die Einstellungen für einen Block anpassen, ohne versehentlich die Einstellungen eines anderen Blocks zu stören. Im Gegensatz dazu wenden einfachere Optimierer wie SGD eine einzige Lernrate auf das gesamte System an, was Schwierigkeiten hat, die unterschiedlichen Geschwindigkeiten und Skalen dieser verschiedenen Blöcke zu handhaben. Die Studie zeigte zudem, dass diese Blockstruktur kein Zufall ist; sie entsteht natürlich aus der Art und Weise, wie diese Netzwerke aufgebaut sind, insbesondere durch die aufeinanderfolgende Multiplikation großer Matrizen während des Berechnungsprozesses. Während das Netzwerk trainiert, verblassen die Verbindungen zwischen fernen Teilen des Systems, wodurch diese sauberen, separaten Blöcke zurückbleiben. Diese Erkenntnis erklärt, warum Adam der bevorzugte Motor für moderne KI ist: Die Probleme, die er löst, besitzen eine verborgene Geometrie, die perfekt zum Design des Optimierers passt.

Bewaffnet mit diesem Verständnis der verborgenen Blockstruktur entwickelte der Forscher einen neuen Optimierer namens Adam-mini. Der Standard-Adam-Algorithmus ist speicherhungrig, weil er für jeden einzelnen Parameter des Modells eine eindeutige Lernrate im Speicher behält. Für ein massives Sprachmodell erfordert dies die Speicherung von doppelt so vielen Daten wie das Modell selbst, was einen Engpass schafft, der das Training verlangsamt und die Größe der Modelle begrenzt, die auf der verfügbaren Hardware ausgeführt werden können. Die neue Erkenntnis war, dass wir, da die Parameter in Blöcken organisiert sind, nicht für jeden einzelnen eine eindeutige Lernrate benötigen. Stattdessen können wir jedem gesamten Block eine einzige Lernrate zuweisen. Diese einfache Änderung reduziert den Speicherbedarf um 50 Prozent. Der neue Optimierer, Adam-mini, gruppiert die Parameter nach ihrer natürlichen Blockstruktur – durch Gruppierung nach Zeilen für die meisten Schichten und nach Attention-Heads für spezifische Teile des Netzwerks – und wendet auf jede Gruppe eine einzige Lernrate an.

Die Ergebnisse dieser Neugestaltung sind unmittelbar und praktisch. In Tests beim Training von Modellen mit einer Größe von 39 Millionen bis zu einer Milliarde Parametern erreichte Adam-mini die Leistung des Standard-Adam-Optimierers bei gleichzeitig halbiertem Speicherverbrauch. Diese Effizienz ermöglicht es Forschern, größere Modelle auf derselben Hardware zu trainieren oder bestehende Modelle schneller zu trainieren. Der Ansatz wurde bereits von großen KI-Laboren übernommen, darunter DeepSeek und das Team hinter dem Kimi K3-Modell, die eine Variation dieser Methode verwenden, um ihre Next-Generation-Systeme zu trainieren. Die Dissertation zeigte auch, dass dieses Prinzip der blockweisen Lernraten auf andere fortgeschrittene Optimierer angewendet werden kann, um deren Effizienz zu verbessern, ohne deren Kernlogik zu verändern. Durch die Offenlegung der verborgenen Geometrie des Trainings neuronaler Netze hat diese Arbeit das Feld von einem Ort der Ungewissheit und des Ausprobierens zu einem Ort des fundierten Designs geführt. Sie zeigt, dass die effektivsten Werkzeuge für künstliche Intelligenz nicht bloß glückliche Vermutungen sind, sondern Algorithmen, die perfekt auf die spezifische mathematische Struktur der Probleme abgestimmt sind, die sie lösen.