🤖 machine learning

Scaling the Memory of Balanced Adam

Dieser Beitrag schlägt vor, den Momentum-Parameter $\beta$ im balancierten Adam als eine Speicher-Skalenvariable und nicht als feste Konstante zu behandeln, wobei eine Aktualisierungsregel ( $R_\beta \approx 1000$ ) eingeführt wird, die die Trainingsrobustheit über 11 Vision- und Sprachexperimente hinweg erheblich verbessert, indem der statistische Speicherhorizont des Optimierers mit dem effektiven Lernhorizont in Einklang gebracht wird.

Ursprüngliche Autoren: Alberto Fernández-Hernández, Cristian Pérez-Corral, Jose I. Mestre, Manuel F. Dolz, Enrique S. Quintana-Ortí

Veröffentlicht 2026-05-12

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Alberto Fernández-Hernández, Cristian Pérez-Corral, Jose I. Mestre, Manuel F. Dolz, Enrique S. Quintana-Ortí

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Die „Erinnerung" eines lernenden Roboters justieren

Stellen Sie sich vor, Sie lehren einen Roboter, Katzen zu erkennen, Gedichte zu schreiben oder Matheaufgaben zu lösen. Um dies zu tun, verwendet der Roboter ein Werkzeug namens Adam (ein „Optimierer"). Denken Sie an Adam als den internen Trainer des Roboters. Jedes Mal, wenn der Roboter einen Fehler macht, betrachtet der Trainer die Geschichte vergangener Fehler, um zu entscheiden, wie das Gehirn des Roboters für den nächsten Versuch angepasst werden soll.

Lange Zeit hatte dieser Trainer zwei verschiedene „Erinnerungseinstellungen" (genannt $\beta_1$ und $\beta_2$ ). Eine Einstellung erinnerte sich an die Richtung der Fehler, die andere an die Größe der Fehler.

Die Entdeckung:
Neueste Forschung (einschließlich dieses Papiers) hat ergeben, dass Sie tatsächlich keine zwei verschiedenen Einstellungen benötigen. Wenn Sie sie genau gleich setzen ( $\beta_1 = \beta_2$ ), lernt der Roboter genauso gut, aber das System wird viel einfacher. Jetzt hat der Trainer nur noch einen Erinnerungs-Knopf zu drehen.

Das Problem:
Die große Frage lautet: Auf welche Zahl sollten wir diesen Knopf stellen?
Die meisten Leute wählen einfach eine Standardzahl (wie 0,9) und bleiben dabei, egal was passiert. Die Autoren dieses Papiers argumentieren, dass dies so ist, als würde man dasselbe Paar Schuhe für einen 5-Meilen-Weg und einen 100-Meilen-Marathon verwenden. Es ergibt keinen Sinn, weil sich die „Distanz" des Trainings ändert.

Die Kernidee: Die „Aktualisierungszahl"

Die Autoren schlagen eine neue Art vor, über diesen Erinnerungs-Knopf nachzudenken. Anstatt ihn als feste Zahl zu betrachten, sagen sie, er sollte als Erinnerungshorizont verstanden werden.

Die Analogie: Stellen Sie sich vor, der Roboter liest ein Buch, um eine Sprache zu lernen.
- Wenn der Roboter ein kurzes Gedächtnis hat, erinnert er sich nur an die letzten paar Sätze.
- Wenn der Roboter ein langes Gedächtnis hat, erinnert er sich an das ganze Kapitel.

Das Papier führt ein Konzept namens Aktualisierungszahl ( $R_\beta$ ) ein. Dies beantwortet die Frage: „Wie oft aktualisiert der Roboter sein Gedächtnis der Vergangenheit vollständig während der gesamten Trainingssitzung?"

Die Autoren stellten fest, dass der Roboter am besten lernt, wenn diese „Aktualisierungszahl" ungeachtet der Länge der Trainingssitzung etwa gleich bleibt.

Kurze Trainingssitzung: Der Roboter benötigt ein kurzes Gedächtnis (eine niedrigere Zahl), damit er sein Gedächtnis etwa 1.000 Mal aktualisieren kann.
Lange Trainingssitzung: Der Roboter benötigt ein langes Gedächtnis (eine höhere Zahl), damit er sein Gedächtnis immer noch etwa 1.000 Mal aktualisiert.

Die Lösung: Eine einfache Regel

Das Papier testete diese Idee bei 11 verschiedenen Aufgaben, vom Lehren eines Roboters, Bilder zu erkennen (wie Katzen und Autos), bis hin zum Lehren, Text zu schreiben (wie LLMs).

Sie entdeckten eine einfache „Goldene Regel":
Stellen Sie den Erinnerungs-Knopf so ein, dass der Roboter während des nützlichen Teils des Trainings sein Gedächtnis genau 1.000 Mal aktualisiert.

Wenn das Training kurz ist (z. B. 6.000 Schritte), wählt die Regel eine niedrigere Zahl (wie 0,82).
Wenn das Training lang ist (z. B. 40.000 Schritte), wählt die Regel eine höhere Zahl (wie 0,97).

Warum ist das wichtig? (Die Ergebnisse)

Die Autoren verglichen ihre „Aktualisierungsregel" mit der Standard-„Festen Regel" (bei der jeder einfach 0,944 verwendet).

Durchschnittliche Leistung: Beide Methoden waren in Bezug auf den durchschnittlichen Erfolg sehr nah beieinander. Die Standard-Festzahl ist tatsächlich ziemlich gut.
Das „Sicherheitsnetz" (Robustheit): Hier glänzt die neue Regel.
- Stellen Sie sich vor, Sie fahren ein Auto. Die „Feste Regel" ist wie das Fahren mit einer Geschwindigkeit, die auf den meisten Straßen gut funktioniert, aber manchmal könnten Sie auf eine Schlagloch fahren und einen Unfall haben.
- Die „Aktualisierungsregel" ist wie ein intelligentes Federungssystem. Es passt sich der Straßenlänge an.
- Das Ergebnis: Die neue Regel reduzierte die „Schlimmstfall"-Ausfälle um 33 %. Mit anderen Worten: Sie machte das Training viel zuverlässiger. Sie stellte sicher, dass jedes einzelne Experiment (alle 11) fast perfekt performte, wohingegen die alte Methode bei einigen Experimenten erhebliche Schwierigkeiten hatte.

Das Fazit

Das Papier argumentiert, dass wir die Erinnerungseinstellung im KI-Training nicht als statische, unveränderliche Konstante behandeln sollten. Stattdessen sollten wir sie als Skala betrachten.

Genau wie Sie keinen Maßstab für eine Stadt und einen ganzen Land verwenden würden, sollten Sie keine gleiche Erinnerungseinstellung für einen kurzen Trainingslauf und einen langen verwenden. Indem wir das Gedächtnis basierend auf der Dauer des Trainings anpassen (wobei die „Aktualisierungszahl" bei 1.000 gehalten wird), machen wir den KI-Trainingsprozess robuster und weniger anfällig für unerwartete Ausfälle.

Kurz gesagt: Wählen Sie nicht einfach eine Zahl und hoffen Sie auf das Beste. Passen Sie das Gedächtnis des Roboters basierend auf der Länge der Reise an, und Sie erhalten eine viel sanftere Fahrt.

Technische Zusammenfassung: Skalierung des Speichers von Balanced Adam

Problemstellung

Während neuere Erkenntnisse darauf hindeuten, dass der Adam-Optimierer robust funktioniert, wenn seine Momentum-Parameter gekoppelt sind ( $\beta_1 = \beta_2 = \beta$ ), wodurch er zu einem Ein-Parameter-Optimierer reduziert wird, bleibt der optimale Wert für diesen verbleibenden Parameter schlecht verstanden. Die Behandlung von $\beta$ als feste, dimensionslose Konstante (z. B. die Standardwerte 0,9 oder 0,99) ist unzureichend, da derselbe Wert je nach Gesamtdauer des Trainings völlig unterschiedliche dynamische Regime repräsentiert. Ein für einen kurzen Trainingslauf angemessener $\beta$ -Wert kann für einen langen Lauf unwirksam sein. Das Kernproblem besteht darin, wie die einzelne Speicher-Skala von Balanced Adam so gewählt werden kann, dass sie die Trainings-Skala berücksichtigt.

Methodik

Die Autoren schlagen vor, $\beta$ nicht als statische Konstante, sondern als Variable zu betrachten, die einen „statistischen Speicherhorizont" steuert.

Definitionen:
- Speicherhorizont ( $H_\beta$ ): Definiert als $H_\beta = (1-\beta)^{-1}$ , repräsentiert die ungefähre Anzahl der jüngsten Optimierungsschritte, die die internen Schätzungen des Optimierers dominieren.
- Effektiver Lernhorizont ( $T_{ES}$ ): Eine Schätzung der nützlichen Trainingsdauer, abgeleitet aus Early-Stopping-Zeiten auf Validierungspfaden.
- Aktualisierungsanzahl ( $R_\beta$ ): Eine dimensionslose Größe, definiert als $R_\beta = T_{ES} / H_\beta = (1-\beta)T_{ES}$ . Dies misst, wie oft Adam seine internen Statistiken während der nützlichen Phase des Trainings „aktualisiert".
Die Aktualisierungsregel:
Die zentrale Hypothese besagt, dass Balanced Adam robust verhält, wenn die Aktualisierungsanzahl unabhängig von der Trainings-Skala annähernd konstant gehalten wird. Die vorgeschlagene Regel lautet:
$R_\beta \approx R_0 \implies \beta = 1 - \frac{R_0}{T_{ES}}$
wobei $R_0$ eine Zielkonstante ist.
Experimenteller Aufbau:
- Umfang: 11 Experimente, die Vision-Modelle (ResNet50, ViT-B/16, EfficientNet-B0, Swin-T) und Sprachmodelle (Llama60M, NanoGPT, T5-small) umfassen, die auf diversen Datensätzen (z. B. ImageNet, CIFAR-100, C4, BookCorpus) trainiert wurden.
- Protokoll: Alle Durchläufe erzwingen die Diagonal-Bedingung $\beta_1 = \beta_2 = \beta$ . Ein Gitter aus 13 $\beta$ -Werten (im Bereich von 0 bis 0,999) wurde durchsucht.
- Kalibrierung: 8 Experimente dienten als Entwicklungssatz zur Kalibrierung von $R_0$ , während 3 zurückgehaltene Experimente zur Validierung verwendet wurden.
- Metrik: Die Leistung wurde durch die relative Lücke im Validierungsverlust im Vergleich zum „Orakel"- $\beta^*$ (dem besten $\beta$ , das im Gitter für dieses spezifische Experiment gefunden wurde) gemessen. Zu den Metriken gehörten die mittlere Lücke, die maximale Lücke und der Conditional Value at Risk (CVaR) über die schlechtesten 25 % der Fälle.

Wichtige Ergebnisse

Die Studie ergab, dass die Auswahl von $\beta$ zur Aufrechterhaltung einer konstanten Aktualisierungsanzahl die Robustheit im Vergleich zu festen Baselines erheblich verbessert.

Optimales Ziel: Die Kalibrierung am Entwicklungssatz identifizierte $R_0 = 1000$ als das Ziel, das die maximale Lücke minimiert. Diese Regel wählt je nach $T_{ES}$ unterschiedliche $\beta$ -Werte aus (im Bereich von 0,822 bis 0,968 über die Experimente hinweg).
Robustheit vs. Durchschnittsleistung:
- Die feste Baseline $\beta = 0,944$ (die stärkste feste Wahl im Gitter) erzielte die beste mittlere globale Lücke (0,290 %).
- Die Aktualisierungsregel ( $R_0 = 1000$ ) verbesserte jedoch die Robustheit im Worst-Case erheblich. Sie reduzierte die globale maximale Validierungslücke um 33,4 % (von 1,328 % auf 0,885 %) und senkte den globalen CVaR um 32,7 % (von 1,059 % auf 0,713 %).
- Entscheidend brachte die Aktualisierungsregel alle 11 Experimente innerhalb von 1 % ihrer jeweiligen Validierungsorakel, wohingegen die feste Baseline dies nur für 9 von 11 erreichte.
Stabilität: Die Methode erwies sich als robust gegenüber moderaten Fehlern bei der Schätzung von $T_{ES}$ . Selbst bei multiplikativer Rauschkomponente bis zu $\sigma=0,20$ in der Horizontschätzung behielt die Aktualisierungsregel einen niedrigeren globalen CVaR als die feste Baseline bei.

Bedeutung und Behauptungen

Die Arbeit argumentiert, dass der verbleibende Hyperparameter von Balanced Adam besser als Speicher-Skalen-Variable und nicht als feste Konstante verstanden wird.

Skalenbewusste Perspektive: Die Arbeit bietet eine „budgetbewusste Perspektive auf die Skalierung von Optimierern". Sie geht davon aus, dass $\beta$ als Steuerung für die statistische Speicheruhr des Optimierers betrachtet werden sollte, die an den effektiven Lernhorizont angepasst werden muss.
Dynamik statt Defaults: Die Ergebnisse legen nahe, dass die Behandlung des Adam-Momente als Teil der Lern-Dynamik (insbesondere die Anzahl der statistischen Aktualisierungen) der Behandlung als statischer Default überlegen ist.
Praktische Implikation: Während ein fester $\beta$ -Wert (wie 0,944) ein starker praktischer Default ist, bietet die Aktualisierungsregel einen prinzipiellen Mechanismus, um $\beta$ anzupassen, wenn sich der Trainingshorizont ändert. Dies stellt sicher, dass der interne Speicher des Optimierers weder zu kurz (was zu Instabilität führt) noch zu lang (was zu langsamer Anpassung führt) ist, relativ zur Trainingsdauer.

Die Autoren erkennen Einschränkungen an und weisen darauf hin, dass $T_{ES}$ geschätzt werden muss (was die Regel skalen-kalibriert statt zero-shot macht) und dass der spezifische Wert $R_0=1000$ ein empirisches Ergebnis für die getestete Suite ist, nicht notwendigerweise eine universelle Konstante. Als zukünftige Arbeit wird vorgeschlagen, architekturspezifische Effekte zu entwirren und die Interaktion zwischen der Speicheruhr und Lernratenplänen zu untersuchen.