Gefen: Optimized Stochastic Optimizer
Das Papier stellt Gefen vor, einen speichereffizienten Optimierer, der den Speicherbedarf von AdamW durch automatisches Teilen des zweiten Moments und gelernte Quantisierung des ersten Moments um etwa das 8-fache reduziert und dadurch größere Batch-Größen sowie einen verbesserten Durchsatz ermöglicht, während eine äquivalente Leistung beibehalten wird.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie trainieren einen riesigen Roboter (ein Deep-Learning-Modell), um eine neue Fähigkeit zu erlernen. Um dies zu tun, benötigt der Roboter einen „Coach“ (einen Optimierer), der ihm sagt, wie er seine internen Einstellungen nach jeder Übungseinheit anpassen muss. Der derzeit populärste Coach heißt AdamW.
AdamW ist ein großartiger Coach, aber er trägt einen schweren Rucksack. Für jede einzelne Einstellung des Roboters trägt AdamW zwei zusätzliche Notizbücher (genannt „First- und Second-Moment-Zustände“) mit sich, um sich an vergangene Fehler und die Geschwindigkeit von Veränderungen zu erinnern. Wenn Ihr Roboter 1 Milliarde Einstellungen hat, fügt der Rucksack von AdamW das Gewicht von weiteren 2 Milliarden Einstellungen hinzu. Das macht den Rucksack so schwer, dass Sie keinen großen Roboter auf einen Standard-Trainingscomputer passen bekommen oder den Roboter in winzigen, langsamen Schritten üben lassen müssen.
Das Paper stellt einen neuen Coach namens Gefen vor. Gefen ist ein „speichereffizienter“ Optimierer, der diesen schweren Rucksack um das 8-fache verkleinert, während er die Lerngeschwindigkeit und Qualität des Roboters exakt auf dem Niveau von AdamW hält.
So funktioniert Gefen, unter Verwendung einiger einfacher Analogien:
1. Die „Gruppenumarmungs“-Strategie (Notizen teilen)
Das Problem: AdamW schreibt eine separate Notiz für jede einzelne Zahl im Gehirn des Roboters.
Gefens Lösung: Gefen erkennt, dass viele dieser Zahlen eigentlich „beste Freunde“ sind. Sie reagieren auf die Welt in einer sehr ähnlichen Weise. Anstatt für jeden einzelnen Freund eine eigene Notiz zu schreiben, gruppiert Gefen sie in Teams (Blöcke) und gibt dem gesamten Team ein gemeinsames Notizbuch.
- Wie weiß es, wen es gruppieren soll? Normalerweise bräuchte man eine superkomplexe Karte (eine sogenannte Hessian-Matrix), um zu sehen, wer mit wem befreundet ist, aber diese Karte ist zu groß, um sie für riesige Roboter zu zeichnen.
- Gefens Trick: Gefen beobachtet die allererste Übungseinheit des Roboters. Es sieht, welche Zahlen sich in einem ähnlichen Muster gemeinsam bewegt haben. Es nimmt an: „Wenn ihr euch am Anfang gemeinsam bewegt habt, werdet ihr euch wahrscheinlich auch später gemeinsam bewegen.“ Es gruppiert diese Zahlen dann automatisch. Kein Mensch muss ihm sagen, welche Gruppen es bilden soll; es findet es selbst heraus.
2. Die „Skizzzeichner“-Strategie (Quantisierung)
Das Problem: Selbst mit geteilten Notizbüchern sind die Zahlen darin immer noch mit hoher Präzision geschrieben (wie z. B. 10 Dezimalstellen), was Platz beansprucht.
Gefens Lösung: Gefen nutzt einen „Skizzzeichner“-Ansatz. Anstatt die exakte Zahl aufzuschreiben (z. B. 0,123456789), rundet es sie auf den nächstgelegenen „Standardwert“ aus einer vorgefertigten Liste (einem Codebuch).
- Die intelligente Liste: Die meisten Optimierer verwenden eine generische, feste Liste von Werten (wie ein Lineal mit festen Markierungen). Gefen hingegen schaut sich den spezifischen Roboter an, den es coacht, und lernt die perfekte Liste von Markierungen genau für diesen Roben. Es verwendet eine kluge mathematische Methode (Dynamische Programmierung), um ein maßgeschneidertes Lineal zu erstellen, das perfekt zu den Daten passt und Fehler minimiert.
- Stabilität: Sob: Nachdem es diese Liste am Anfang gelernt hat, verwendet es die gleiche Liste die ganze Zeit über. Es muss das Lineal nicht jeden Tag neu zeichnen, was Zeit spart und die Dinge stabil hält.
Die Ergebnisse: Ein leichterer Rucksack, dieselbe Leistung
Die Autoren testeten Gefen an verschiedenen Modellen, von kleinen Bildklassifizierern bis hin zu großen Sprachmodellen (wie Llama 3).
- Speicher: Gefen reduzierte den für den Optimierer benötigten Speicher um etwa das 8-fache im Vergleich zu AdamW. Für ein Modell mit 13 Milliarden Parametern spart dies etwa 97 GB Speicherplatz auf nur 1,5 GB herunter.
- Geschwindigkeit: Da der Rucksack leichter ist, kann der Roboter eine größere „Mikro-Batch“ (Übungsgruppe) auf einmal tragen. In Tests mit mehreren Computern (FSDP und DDP) ermöglichte dies, dass das Training 56 % schneller lief, da die Computer nicht darauf warten mussten, dass der Speicher frei wird.
- Qualität: Trotz der starken Komprimierung und des Teilens lernte der Roboter genauso gut wie mit dem schweren AdamW-Rucksack. Die endgültige Leistung (Genauigkeit oder Loss) war identisch.
Warum das wichtig ist
Denken Sie an das Packen für eine Reise. AdamW ist wie ein Koffer, in dem jeder einzelne Socken seinen eigenen individuellen Karton bekommt. Gefen ist wie die Erkenntnis, dass man alle Socken zu einem engen Bündel rollen und in einen einzigen kleinen Beutel stecken kann. Man spart massiv Platz, hat aber trotzdem alle seine Socken und kommt genauso schnell an sein Ziel.
Das Paper behauptet, dass Gefen ein „Drop-in-Replacement“ ist, was bedeutet, dass Sie es in Ihren bestehenden Trainingscode einbauen können, ohne irgendwelche Einstellungen zu ändern, und es sofort Speicher spart und potenziell Ihr Training beschleunigt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.