🤖 machine learning

LionVote: Per-Layer Learning Rate Adaptation for Lion

Dieses Paper führt LionVote ein, einen Mechanismus zur Anpassung der Lernrate pro Schicht, der Gradientenstabilität und Momentum-Diagnostik nutzt, um Lernraten dynamisch anzupassen und dadurch statistisch signifikante Genauigkeitsverbesserungen gegenüber Standard-Lion und AdamW auf ViT-Tiny/CIFAR-100 zu erreichen, indem es die inhärenten Unterschiede in den Lernraten zwischen den Schichten in Transformer-Architekturen adressiert.

Ursprüngliche Autoren: Kris Atallah (New York University, New York, USA)

Veröffentlicht 2026-07-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC0 1.0

Ursprüngliche Autoren: Kris Atallah (New York University, New York, USA)

Originalarbeit unter CC0 1.0 der Gemeinfreiheit gewidmet (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie trainieren ein riesiges digitales Gehirn, um Katzen, Hunde und Autos zu erkennen. Dieses Gehirn besteht aus vielen verschiedenen Schichten, wie ein mehrstöckiges Gebäude. Normalerweise lehren wir dieses Gehirn, indem wir jeder einzelnen Etage die exakt gleiche Menge an „Lernzeit“ (eine Lernrate) und die gleiche Geschwindigkeit geben. Es ist, als würde ein Lehrer der Mathestunde, der Kunststunde und der Sportstunde sagen, sie sollen alle im exakt gleichen Tempo laufen, ungeachtet dessen, was sie gerade tun.

Aber was wäre, wenn die Mathematiker sprinten müssten, während die Kunststudenten eher schlendern sollten?

Das ist das Problem, das LionVote löst. Es ist eine neue Art, ein spezielles Typus von digitalem Gehirn namens „Lion“ zu trainieren. Die Forscher fanden heraus, dass, wenn man jeden Teil des Gehirns gleich behandelt, einige Teile überfordert werden und andere sich langweilen.

Die große Entdeckung: Die „effektive Skala“ des Gehirns ist daneben

Die Autoren untersuchten, wie das Lion-Gehirn lernt, und fanden etwas Überraschendes heraus. In einem spezifischen Test (unter Verwendung eines Modells namens ViT-Tiny auf dem CIFAR-100-Datensatz) war die „effektive Skala“ des Gehirns für die Teile, die Aufmerksamkeit und komplexes Denken steuern (MLP-Parameter), 2,6- bis 2,8-mal zu hoch. Für die Teile, die alles organisiert halten (Normalisierungsschichten), war sie etwa 2-mal zu hoch.

Stellen Sie sich das so vor: Die Aufmerksamkeits-Teile des Gehirns versuchen, aus einem Feuerwehrschlauch zu trinken, während die Organisations-Teile aus einem Gartenschlauch trinken. Die Aufmerksamkeits- und MLP-Teile erhalten tatsächlich eine um 32 % höhere effektive Skala als die Normalisierungsschichten, obwohl der Lehrer (die globale Lernrate) den Wasserhahn auf die gleiche Einstellung gedreht hat. Diese Diskrepanz macht es dem Gehirn schwer, effizient zu lernen.

Die Lösung: Ein Wahlsystem für jede Schicht

Um dies zu beheben, erfanden die Forscher LionVote. Anstatt dass ein einzelner Lehrer Anweisungen an das gesamte Gebäude schreit, gaben sie jeder einzelnen Schicht des Gehirns seinen eigenen winzigen, beständigen „Level-Zähler“.

So funktioniert die Abstimmung:

Die zusammengesetzte Ebene (Compound Level): Jede Schicht hat einen Wert (eine ganze Zahl), der bei Null beginnt. Dieser Wert fungiert wie ein Lautstärkeregler, der die Lernrate hoch- oder runterdreht.
Die zwei Stimmen: Alle paar Epochen (Trainingszyklen) überprüft die Schicht ihre eigene Gesundheit anhand zweier spezifischer Tests:
- Stimme 1 (Richtungsprüfung): Bewegt sich die Schicht in eine stetige Richtung oder schwankt sie auf und ab? Wenn der Gradient (die Lernrichtung) stabil ist, erhält sie ein „Daumen hoch“. Wenn sie wild hin und her springt, erhält sie ein „Daumen runter“.
- Stimme 2 (Momentum-Gesundheit): Ist das Momentum (die Geschwindigkeit und Trägheit) der Schicht zu stark im Vergleich zu ihrem aktuellen Fortschritt? Wenn sie außer Kontrolle gerät, erhält sie ein „Daumen runter“.
Der Tiebreaker (Entscheidungsfindung): Manchmal stimmen die beiden Stimmen nicht überein (eine sagt „schneller“, die andere „langsamer“). Wenn dies geschieht, schaut das System auf den Validation Loss (einen Wert dafür, wie gut das Gehirn bei einem Übungstest abschneidet). Wenn der Wert beim Übungstest besser wurde, wird für „weitermachen“ gestimmt; wenn er schlechter wurde, wird für „langsamer werden“ gestimmt.

Basierend auf diesen Stimmen dreht die Schicht ihren „Lautstärkeregler“ (den zusammengesetzten Level) hoch oder runter. Wenn eine Schicht stabil ist, kann sie einen Schub erhalten. Wenn sie chaotisch ist, bekommt sie eine Auszeit.

Die Ergebnisse: Ein kleiner, aber echter Sieg

Als sie dies an dem ViT-Tiny-Modell testeten:

Erreichte LionVote eine Genauigkeit von 69,71 %.
Der Standard-Lion-Optimizer erreichte 68,95 %.
Der populäre AdamW-Optimizer erreichte 68,75 %.

Der Unterschied zwischen LionVote und dem Standard-Lion ist statistisch signifikant (das heißt, es ist wahrscheinlich eine echte Verbesserung und kein bloßer Zufall), mit einer Wahrscheinlichkeit von weniger als 2 %, dass dies durch Zufall geschah. Auf dem ViT-Tiny/CIFAR-100-Test schlug LionVote auch AdamW, obwohl LionVote auf dem ViT-Tiny/CIFAR-10-Test mit AdamW gleichzog, anstatt es zu schlagen.

Was dies NICHT bedeutet

Es ist wichtig zu wissen, was diese Methode nicht tut, denn das Paper ist sich darüber sehr im Klaren:

Es ist kein Allheilmittel für alles. Bei einfacheren, gleichmäßigen Netzwerken (wie WideResNet) gewinnt die alte Methode, die Lernrate manuell anzupassen (unter Verwendung von SGD mit Cosine Annealing). LionVote half hier nicht; tatsächlich machte es die Dinge in einigen Tests sogar etwas schlechter.
Es ist keine dauerhafte Lösung für alle Aufgaben. Der Nutzen hängt stark davon ab, wie unterschiedlich die Schichten sind. Je „heterogener“ (unterschiedlicher) die Architektur ist, desto mehr hilft LionVote. Bei dem gleichmäßigen WideResNet waren die Schichten zu ähnlich, als dass das Wahlsystem viel zu korrigieren gehabt hätte.
Es ist kein „Einstellen und Vergessen“ für alle Optimierer. Die spezifischen Regeln für die „Momentum-Gesundheits“-Stimme wurden speziell für den Lion-Optimierer abgeleitet. Wenn man versuchte, genau diese Regeln auf einen anderen Optimierer wie Adam anzuwenden, würden sie möglicherweise nicht funktionieren, da die Mathematik hinter dem Momentum unterschiedlich ist.

Das Fazate

Das Paper legt nahe, dass die Anpassung pro Schicht (per-layer adaptation) ein mächtiges Werkzeug ist, aber nur dann, wenn die Architektur des Gehirns komplex genug ist, um unterschiedliche Bedürfnisse zu haben. LionVote beweist, dass wir, indem wir jede Schicht über ihre eigene Lerngeschwindigkeit abstimmen lassen, ein wenig zusätzliche Leistung herauspressen können (etwa 0,7 Prozentpunkte in diesem speziellen Test), ohne die perfekten Einstellungen von Hand erraten zu müssen.

Es ist, als würde man erkennen, dass in einer belebten Schule der Mathelehrer, der Kunstlehrer und der Sportlehrer nicht alle die gleichen Anweisungen mit derselben Lautstärke brüllen sollten. Manchmal muss die Mathestunde flüstern, und die Sportstunde braucht ein Megafon. LionVote ist das System, das jeder Klasse ermöglicht, selbst zu entscheiden.

Technisches Resümee: LionVote: Per-Layer Learning Rate Adaptation für Lion

Problemstellung

Tiefe neuronale Netze sind nicht monolithisch; verschiedene Schichtungstypen (z. B. Attention, MLP, Normalisierung) weisen unterschiedliche Optimierungseigenschaften auf. Standard-Optimizer wie Lion wenden eine einzige globale Lernrate (LR) auf alle Parameter an, was potenziell zu einer Fehlkalibrierung führt. Speziell das Signum-basierte Update-Regelwerk des Lion-Optimizers verwirft die Gradientenamplitude, wodurch richtungsinstabile Schichten nicht in der Lage sind, durch größere Updates zu kompensieren. Dies macht Lion im Vergleich zu Second-Moment-Methoden wie Adam besonders anfällig für eine per-layer Lernraten-Fehlkalibrierung.

Vorarbeiten haben gezeigt, dass per-layer adaptive Vorkonditionierung die Vorteile adaptiver Methoden wiederherstellen kann, aber bestehende Ansätze operieren entweder zustandslos (z. B. LARS, LAMB), wenden per-Koordinate-Adaption ohne Layer-Level-Historie an oder verlassen sich auf hartkodierte Layer-Zuweisungen (z. B. Muon). Es besteht eine Lücke bei Methoden, die zustandsbehaftete Per-Layer-Adaption mit datengesteuerter Ratenanpassung kombinieren, die keine manuelle Abstimmung von Divergenz-Magnituden erfordert.

Methodik: LionVote

LionVote ist ein Per-Layer-Lernraten-Mechanismus, der für den Lion-Optimizer entwickelt wurde. Er führt ein persistentes ganzzahliges „Compound Level“ ( $s_i$ ) für jeden Parameter-Tensor ein, welches die Basis-Lernrate exponentiell moduliert. Das System arbeitet, ohne die Kern-Update-Regel von Lion zu verändern, und fügt einen Voting-Mechanismus hinzu, der alle $c$ Epochen ausgeführt wird.

Kernkomponenten

Compound Level ( $s_i$ ):
Jeder Parameter $i$ unterhält ein Level $s_i \in \{-L, \dots, +L\}$ (Standard $L=4$ ). Die effektive Lernrate ist:
$\alpha_i = \text{lr} \cdot \exp(s_i \cdot \beta_1/2)$
wobei $\text{lr}$ die globale Basisrate und $\beta_1$ der Momentum-Interpolationskoeffizient von Lion ist. Bei $\beta_1=0,9$ entspricht ein Schritt in $s_i$ einem Multiplikator von $\times 1,57$ .
Voting-Diagnostik:
Alle $c$ Epochen stimmen zwei Diagnosen darüber ab, ob die Rate für jeden Layer erhöht, verringert oder beibehalten werden soll:
- Vote 1 (Gradienten-Richtungsstabilität): Berechnet die Kosinus-Ähnlichkeit zwischen dem aktuellen und dem vorherigen Epochen-Mittelwert der Gradienten.
  - Schwellenwerte: $+1$ , wenn die Ausrichtung $> 0,5$ ist (stabil), $-1$, wenn $< 0$ (invertiert), $0$ andernfalls.
  - Ableitung: Der Schwellenwert von $0,5$ entspricht einer $2/3$ -Supermajority von übereinstimmenden Koordinaten-Signalpaaren unter Annahme von Koordinaten-Isotropie (Sheppards Formel).
- Vote 2 (Momentum-Gesundheit): Berechnet das Verhältnis der EMA-Norm des Momentums zur Gradienten-Norm ( $r = \|m\| / \|\bar{g}\|$ $r = ∥ m ∥/∥ \overset{g}{ˉ} ∥$ ).
  - Schwellenwerte: $-1$, wenn $r > e$ , $+1$ , wenn $r < 1/e$ , $0$ andernfalls.
  - Ableitung: Abgeleitet aus der intrinsischen Zeitkonstante der $\beta_2$ -EMA ( $\beta_2^\tau = e^{-1}$ ).
Tiebreaker (Validierungsverlust):
Wenn die beiden Votes im Konflikt stehen oder beide absehen, löst ein globaler Tiebreaker die Entscheidung basierend auf der relativen Änderung des Validierungsverlusts ( $\delta$ ) auf.
- Schwellenwert: $\pm 1\,\%$ , gewählt um der Rauschschwelle der Cross-Entropy-Verlustschätzung für typische Validierungsset-Größen zu entsprechen.
- Anmerkung: Auf ViT-Tiny/CIFAR-100 ist dieser Tiebreaker der dominante Signalpfad und feuert für $\sim 59\,\%$ der Entscheidungen.
Update-Regel:
Das Compound Level $s_i$ wird über eine asymmetrische Regel aktualisiert: Ein $+1$ -Vote setzt negative Levels auf 0 zurück und inkrementiert positive; ein $-1$-Vote setzt positive Levels auf 0 zurück und dekrementiert negative. Ein Vote von $0$ lässt das Level gegen Null zerfallen.

Hauptbeiträge

Ein stateful Per-Layer-Mechanismus für Lion: Die Arbeit schlägt ein Voting-System vor, dessen Schwellenwerte aus geometrischen Identitäten und EMA-Zeitkonstanten abgeleitet wurden, statt manuell abgestimmt zu sein. Die Methodik zur Ableitung dieser Schwellenwerte (z. B. die $2/3$ -Supermajority-Konvention und der $e$ -Faktor für Momentum) wird als wiederverwendbar für andere Optimizer präsentiert.
Quantifizierte Fehlkalibrierung in Lion: Durch die Verläufe der Compound Levels zeigt die Arbeit, dass die effektive Skala von Lion auf ViT-Tiny/CIFAR-100 systematisch zu hoch ist:
- $2,6\times$ bis $2,8\times$ zu hoch für Attention- und MLP-Parameter.
- $\sim 2\times$ zu hoch für Normalisierungsschichten.
- Normalisierungsschichten erhalten eine um $32\,\%$ höhere effektive Skala als Attention-Schichten. Diese Disparität kann nicht durch eine einzige globale Reduktion der Rate reproduziert werden.
Abhängigkeit von Architektur und Aufgabe: Die Bedeutung der per-layer Adaption zeigt sich abhängig von der architektonischen Heterogenität und der spezifischen Aufgabe.
- ViT-Tiny: Zeigt signifikante Gewinne auf CIFAR-100 ( $69,7\,\%$ gegenüber Lions $69,0\,\%$ ) aufgrund der großen Streuung der Layer-Typen.
- WideResNet: Auf uniformen CNN-Architekturen bleibt abgestimmtes SGD mit Cosine Annealing dominant, und LionVote bietet keinen konsistenten Vorteil.
- Aufgabensensitivität: Auf ViT-Tiny verbessert LionVote die Performance auf CIFAR-100, verschlechtert sie jedoch signifikant auf CIFAR-10 ($-0,88$ Prozentpunkte), was zeigt, dass architektonische Heterogenität allein nicht ausreicht; auch aufgabenbezogene Faktoren bestimmen die Nützlichkeit der Adaption.

Experimentelle Ergebnisse

Die Experimente wurden mit WideResNet und ViT-Tiny über CIFAR-10 und CIFAR-100 mit 8 Random Seeds durchgeführt.

ViT-Tiny / CIFAR-100: LionVote (Cadence 8) erreicht 69,71 % Top-1 Genauigkeit und übertrifft damit Lion (68,95 %, $p < 0,02$ ) und AdamW (68,75 %). Es erreicht die 68 %-Genauigkeitsgrenze $\sim 80$ Epochen schneller als Lion.
ViT-Tiny / CIFAR-10: LionVote (Cadence 8) erreicht 91,52 %, was statistisch signifikant niedriger ist als das Standard-Lion (92,40 %, $p < 0,001$ ).
WideResNet: Abgestimmtes SGD mit Cosine Annealing dominiert alle Konfigurationen (z. B. 96,08 % auf WRN-28-10/CIFAR-10). LionVote übertrifft Lion oder SGD auf diesen uniformen CNNs nicht konsistent.
Ablation:
- Der Tiebreaker ist entscheidend für die Gewinne auf CIFAR-100; das Entfernen reduziert die Performance unter das Niveau von Lion.
- Vote 1 (Gradientenstabilität) ist der primäre Treiber für die per-layer Differenzierung.
- Vote 2 (Momentum-Gesundheit) feuert in diesem Workload selten und fungt als dormanter Diagnostik-Mechanismus.
- Eine Variante mit einer symmetrischen Update-Regel erreichte die höchste Einzelergebnisse der Studie (70,54 % auf ViT/CIFAR-100), jedoch mit höherer Varianz.

Bedeutung und Ansprüche

Die Arbeit behauptet, dass LionVote einen prinzipienbasierten, nicht-abgestimmten Mechanismus für die per-layer Adaption in signum-basierten Optimierern bereitstellt. Ihre Bedeutung liegt in drei Bereichen:

Methodische Wiederverwendbarkeit: Die Ableitung der Voting-Schwellenwerte aus mathematischen Strukturen (geometrische Identitäten, EMA-Zeitkonstanten) bietet eine Blaupause für das Design von Per-Layer-Mechanismen für andere Optimizer, ohne auf Meta-Learning oder umfangreiches Hyperparameter-Tuning angewiesen zu sein.
Diagnose von Lion: Sie quantifiziert eine spezifische Fehlkalibrierung in der effektiven Skala von Lion über verschiedene Layertypen hinweg, was darauf hindeutet, dass zukünftige Arbeiten zu Lion eine Layer-Typ-bewusste Skalierung in Betracht ziehen sollten, selbst ohne den vollen Voting-Mechanismus.
Kontextueller Wert: Sie stellt fest, dass per-layer Adaption kein universelles Allheilmittel ist. Ihr Wert hängt von der architektonischen Heterogenität (z. B. ViTs vs. uniforme CNNs) und der Aufgabenschwierigkeit ab. Die Arbeit schließt bescheiden, dass während der Mechanismus gut für heterogene Architekturen wie ViTs auf komplexen Aufgaben (CIFAR-100) funktioniert, er keinen konsistenten Vorteil auf uniformen CNNs oder einfacheren Aufgaben bietet, bei denen Lion bereits nahe seinem Leistungsmaximum operiert.

Die Autoren weisen auf Limitationen hin, einschließlich der Abhängigkeit des Tiebreakers vom Validierungsverlust (der idealerweise auf einem separaten Split basieren sollte), der höheren Cross-Seed-Varianz im Vergleich zu Standard-Lion und der Tatsache, dass der Umfang auf CIFAR-Datensätze und spezifische Modellgrößen beschränkt ist. Sie lassen offene Fragen hinsichtlich der Generalisierbarkeit auf andere Optimierer und die Möglichkeit einer adaptiven Cadence.