🤖 machine learning

LionVote: Per-Layer Learning Rate Adaptation for Lion

Dit artikel introduceert LionVote, een mechanisme voor per-laag aanpassing van de leersnelheid dat gebruikmaakt van gradiëntstabiliteit en momentumdiagnostiek om leersnelheden dynamisch aan te passen, waarmee statistisch significante nauwkeurigheidsverbeteringen ten opzichte van standaard Lion en AdamW op ViT-Tiny/CIFAR-100 worden bereikt door de inherente cross-layer leersnelheidsverschillen in Transformer-architecturen aan te pakken.

Oorspronkelijke auteurs: Kris Atallah (New York University, New York, USA)

Gepubliceerd 2026-07-13

📖 5 min leestijd🧠 Diepgaand

CC0 1.0

Oorspronkelijke auteurs: Kris Atallah (New York University, New York, USA)

Oorspronkelijk artikel vrijgegeven aan het publieke domein onder CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een gigantisch digitaal brein traint om katten, honden en auto's te herkennen. Dit brein bestaat uit vele verschillende lagen, zoals een gebouw met meerdere verdiepingen. Normaal gesproken, wanneer we dit brein trainen, geven we elke verdieping precies dezelfde hoeveelheid "studietijd" (een leersnelheid) met dezelfde snelheid. Het is alsof een leraar de wiskundeles, de kunstles en de gymles vertelt om allemaal op exact hetzelfde tempo te rennen, ongeacht wat ze aan het doen zijn.

Maar wat als de wiskundestudenten moeten sprinten, terwijl de kunststudenten moeten wandelen?

Dat is het probleem dat LionVote oplost. Het is een nieuwe manier om een specifief type digitaal brein genaamd "Lion" te trainen. De onderzoekers ontdekten dat als je elk deel van het brein hetzelfde behandelt, sommige delen overweldigd raken en andere zich vervelen.

De Grote Ontdekking: De "Effectieve Schaal" van het Brein Klopt Niet

De auteurs maten hoe het Lion-brein leert en ontdekten iets verrassends. In een specifieke test (met een model genaamd ViT-Tiny op de CIFAR-100 dataset) was de "effectieve schaal" van het brein 2,6 tot 2,8 keer te hoog voor de delen die aandacht en complex denken afhandelen (MLP-parameters). Voor de delen die alles georganiseerd houden (normalisatielagen), was het ongeveer 2 keer te hoog.

Denk aan dit: de aandacht-delen van het brein proberen te drinken uit een brandslang, terwijl de organisatie-delen drinken uit een tuinslang. De aandacht- en de MLP-delen ontvangen in werkelijkheid een 32% hogere effectieve schaal dan de normalisatie-delen, ook al zet de leraar (de globale leersnelheid) de kraan voor beide op dezelfde stand. Deze mismatch maakt het voor het brein moeilijk om efficiënt te leren.

De Oplossing: Een Stemmechanisme voor Elke Laag

Om dit op te lossen, hebben de onderzoekers LionVote uitgevonden. In plaats van één leraar die instructies naar het hele gebouw schreeuwt, gaven ze elke individuele laag van het brein zijn eigen kleine, persistente "niveau-teller".

Zo werkt het stemmen:

Het Gecombineerde Niveau: Elke laag heeft een score (een geheel getal) die op nul begint. Deze score werkt als een volumeknop, waarmee de leersnelheid wordt verhoogd of verlaagd.
De Twee Stemmen: Elke paar epochs (trainingscycli) controleert de laag zijn eigen gezondheid met twee specifieke tests:
- Stem 1 (Richtingcontrole): Beweegt de laag in een constante richting, of wiebelt hij heen en weer? Als de gradiënt (de richting van het leren) stabiel is, krijgt de laag een "duim omhoog". Als hij wild heen en weer springt, krijgt de laag een "duim omlaag".
- Stem 2 (Momentum-gezondheid): Is het momentum (de snelheid en traagheid) van de laag te sterk in verhouding tot de huidige voortgang? Als de laag uit de bocht vliegt, krijgt deze een "duim omlaag".
De Beslissende Stem: Soms zijn de twee stemmen het oneens (de één zegt "ga sneller", de ander zegt "ga langzamer"). Wanneer dit gebeurt, kijkt het systeem naar de validatieverlies (een score van hoe goed het brein presteert op een oefentest). Als de score op de oefentest verbeterde, wordt er gestemd om door te gaan; als de score verslechterde, wordt er gestemd om te vertragen.

Op basis van deze stemmen wordt de "volumeknop" (het gecombineerde niveau) van de laag hoger of lager gedraaid. Als een laag stabiel is, kan deze een boost krijgen. Als een laag chaotisch is, krijgt deze een tijd-out.

De Resultaten: Een Kleine maar Reële Winst

Toen ze dit testten op het ViT-Tiny model:

Bereikte LionVote een nauwkeurigheid van 69,71%.
De standaard Lion optimizer behaalde 68,95%.
De populaire AdamW optimizer behaalde 68,75%.

Het verschil tussen LionVote en de standaard Lion is statistisch significant (wat betekent dat het waarschijnlijk een echte verbetering is en niet toeval), met een waarschijnlijkheid van minder dan 2% dat dit door toeval gebeurde. Op de ViT-Tiny/CIFAR-100 test versloeg LionVote ook AdamW, hoewel LionVote op de ViT-Tiny/CIFAR-10 test gelijkviel met AdamW in plaats van het te verslaan.

Wat dit NIET Betekent

Het is belangrijk om te weten wat deze methode niet doet, want het paper is daar heel duidelijk over:

Het is geen wondermiddel voor alles. Op eenvoudigere, uniforme netwerken (zoals WideResNet) wint de ouderwetse methode van het handmatig afstemmen van de leersnelheid (met behulp van SGD met cosine annealing) nog steeds. LionVote hielp daar niet; sterker nog, op sommige tests maakte het de zaken zelfs iets slechter.
Het is geen permanente oplossing voor alle taken. Het voordeel hangt sterk af van hoe verschillend de lagen zijn. Hoe meer "heterogeen" (verschillend) de architectuur is, hoe meer LionVote helpt. Op de uniforme WideResNet waren de lagen te vergelijkbaar voor het stemmechanisme om veel te kunnen repareren.
Het is geen "stel het in en vergeet het"-oplossing voor alle optimizers. De specifieke regels voor de "Momentum-gezondheid"-stem zijn specifiek afgeleid voor de Lion-optimizer. Als je deze exacte regels op een andere optimizer zoals Adam zou gebruiken, werken ze mogelijk niet omdat de wiskunde achter de momentum anders is.

De Kernboodschap

Het paper suggereert dat per-laag adaptatie een krachtig hulpmiddel is, maar alleen wanneer de architectuur van het brein complex genoeg is om verschillende behoeften te hebben. LionVote bewijst dat door elke laag te laten stemmen over zijn eigen leersnelheid, we een beetje extra prestatie kunnen uitwringen (ongeveer 0,7 procentpunt op deze specifieke test) zonder dat we de perfecte instellingen handmatig hoeven te raden.

Het is alsof je beseft dat in een drukke school de wiskundeleraar, de kunstleraar en de gymleraar niet allemaal instructies moeten schreeuwen met hetzelfde volume. Soms heeft de wiskundeles een fluistertoon nodig, en soms heeft de gymles een megafoon nodig. LionVote is het systeem dat elke klas zelf laat beslissen.

Technische Samenvatting: LionVote: Per-Layer Learning Rate Adaptatie voor Lion

Probleemstelling

Diepe neurale netwerken zijn niet monolithisch; verschillende laagtypen (bijv. attention, MLP, normalisatie) vertonen onderscheidende optimalisatiekenmerken. Standaardoptimizers zoals Lion passen een enkele globale learning rate (LR) toe op alle parameters, wat potentieel kan leiden tot miskalibratie. Specifiek zorgt de op het teken (sign) gebaseerde update-regel van de Lion-optimizer ervoor dat de gradiëntamplitude wordt weggefilterd, waardoor directioneel instabiele lagen niet kunnen compenseren via grotere updates. Dit maakt Lion bijzonder gevoelig voor per-layer LR-miskalibratie in vergelijking met second-moment methoden zoals Adam.

Eerder werk heeft aangetoond dat per-layer adaptieve preconditioning de voordelen van adaptieve methoden kan herstellen, maar bestaande benaderingen werken ofwel staatloos (bijv. LARS, LAMB), passen per-coördinaat adaptatie toe zonder laag-niveau historie, of vertrouwen op hardcoded laag-toewijzingen (bijv. Muon). Er is een gat in methoden die stateful laag-niveau adaptatie combineren met data-gestuurde rate-aanpassing die geen handmatige afstemming van divergentie-magnitudes vereist.

Methodologie: LionVote

LionVote is een per-layer learning rate mechanisme ontworpen voor de Lion-optimizer. Het introduceert een persistente integer "compound level" ( $s_i$ ) voor elke parametertensor, die de basis learning rate exponentieel moduleert. Het systeem werkt zonder de kern-update-regel van Lion te wijzigen, maar voegt een stemmechanisme (voting mechanism) toe dat elke $c$ epochs draait.

Kerncomponenten

Compound Level ( $s_i$ ):
Elke parameter $i$ behoudt een niveau $s_i \in \{-L, \dots, +L\}$ (standaard $L=4$ ). De effectieve learning rate is:
$\alpha_i = \text{lr} \cdot \exp(s_i \cdot \beta_1/2)$
waarbij $\text{lr}$ de globale basis rate is en $\beta_1$ de momentum interpolatie coëfficiënt van Lion. Bij $\beta_1=0.9$ komt een eenheidstap in $s_i$ overeen met een multiplier van $\times 1.57$ .
Voting Diagnostiek:
Elke $c$ epochs stemmen twee diagnostieken over of de rate moet worden verhoogd, verlaagd of gelijk gehouden voor elke laag:
- Stem 1 (Gradiënt Richting Stabiliteit): Berekent de cosine similarity tussen de huidige en de vorige epoch-gemiddelde gradiënten.
  - Drempelwaarden: $+1$ als alignment $> 0.5$ (stabiel), $-1$ als $< 0$ (omgekeerd), $0$ anders.
  - Afleiding: De $0.5$ drempelwaarde komt overeen met een $2/3$ supermeerderheid van coördinaat-tekenparen die overeenstemmen onder coördinaat-isotropie (Sheppards formule).
- Stem 2 (Momentum Gezondheid): Berekent de ratio van de momentum EMA norm tot de gradiënt norm ( $r = \|m\| / \|\bar{g}\|$ $r = ∥ m ∥/∥ \overset{g}{ˉ} ∥$ ).
  - Drempelwaarden: $-1$ als $r > e$ , $+1$ als $r < 1/e$ , $0$ anders.
  - Afleiding: Afgeleid van de intrinsieke tijdconstante van de $\beta_2$ -EMA ( $\beta_2^\tau = e^{-1}$ ).
Tiebreaker (Validatie Verlies):
Als de twee stemmen conflicteren of beide onthouden zich, lost een globale tiebreaker de beslissing op op basis van de relatieve verandering in validatieverlies ( $\delta$ ).
- Drempelwaarde: $\pm 1\%$ , gekozen om overeen te komen met de ruisvloer van cross-entropy loss schatting voor typische validatieset-groottes.
- Opmerking: Op ViT-Tiny/CIFAR-100 is deze tiebreaker het dominante signaalpad, wat in $\sim 59\%$ van de gevallen optreedt.
Update Regel:
De compound level $s_i$ wordt bijgewerkt via een asymmetrische regel: een $+1$ stem zet negatieve levels naar 0 en incrementeert positieve levels; een $-1$ stem zet positieve levels naar 0 en decrementeert negatieve levels. Een stem van $0$ laat het level vervallen naar nul.

Belangrijkste Bijdragen

Een Stateful Per-Layer Mechanisme voor Lion: Het artikel stelt een voting systeem voor waarbij drempelwaarden zijn afgeleid van geometrische identiteiten en EMA tijdconstanten in plaats van getuned te zijn. De methodologie voor het afleiden van deze drempelwaarden (bijv. de $2/3$ supermeerderheid conventie en de $e$ -factor voor momentum) wordt gepresenteerd als herbruikbaar voor andere optimizers.
Gekwantificeerde Miskalibratie in Lion: Door middel van compound level trajecten demonstreren de auteurs dat de effectieve schaal van Lion op ViT-Tiny/CIFAR-100 systematisch te hoog is:
- $2.6\times$ – $2.8\times$ te hoog voor Attention en MLP parameters.
- $\sim 2\times$ te hoog voor Normalization lagen.
- Normalisatie lagen ontvangen een $32\%$ hogere effectieve schaal dan Attention lagen. Deze discrepantie kan niet worden gereproduceerd door een enkele globale rate reductie.
Architectuur en Taak Afhankelijkheid: Het belang van per-layer adaptatie blijkt afhankelijk te zijn van architecturale heterogeniteit en de specifieke taak.
- ViT-Tiny: Toont significante winst op CIFAR-100 ( $69.7\%$ vs. Lion's $69.0\%$ ) vanwege de grote spreiding in laagtypen.
- WideResNet: Op uniforme CNN architecturen blijft getunede SGD met cosine annealing dominant, en biedt LionVote geen consistent voordeel.
- Taakgevoeligheid: Op ViT-Tiny verbetert LionVote de prestaties op CIFAR-100, maar verslechtert het de prestaties op CIFAR-10 aanzienlijk ($-0.88$ pp), wat aangeeft dat architecturale heterogeniteit alleen niet voldoende is; taak-niveau factoren dicteren ook het nut van adaptatie.

Experimentele Resultaten

Experimenten werden uitgevoerd op WideResNet en ViT-Tiny over CIFAR-10 en CIFAR-100 met 8 random seeds.

ViT-Tiny / CIFAR-100: LionVote (cadence 8) bereikt 69.71% top-1 accuratesse, waarmee het Lion (68.95%, $p < 0.02) en AdamW (68.75%) verslaat. Het bereikt de 68% accuratesse drempel $\sim 80$ epochs sneller dan Lion.
ViT-Tiny / CIFAR-10: LionVote (cadence 8) bereikt 91.52%, wat statistisch significant lager is dan standaard Lion (92.40%, $p < 0.001$ ).
WideResNet: Getunede SGD met cosine annealing domineert alle configuraties (bijv. 96.08% op WRN-28-10/CIFAR-10). LionVote presteert niet consistent beter dan Lion of SGD op deze uniforme CNN's.
Ablatie:
- De tiebreaker is cruciaal voor winst op CIFAR-100; het verwijderen ervan vermindert de prestaties tot onder Lion.
- Vote 1 (gradiënt stabiliteit) is de primaire drijfveer voor per-layer differentiatie.
- Vote 2 (momentum gezondheid) wordt zelden geactiveerd op deze workload, en fungeert als een latente diagnostiek.
- Een symmetrische update regel variant bereikte de hoogste enkele accuratesse van de studie (70.54% op ViT/CIFAR-100) maar met een hogere variantie.

Betekenis en Claims

Het artikel claimt dat LionVote een principieel, niet-getuned mechanisme biedt voor per-layer adaptatie in sign-gebaseerde optimizers. De betekenis ligt in drie gebieden:

Methodologische Herbruikbaarheid: De afleiding van voting drempelwaarden uit wiskundige structuren (geometrische identiteiten, EMA tijdconstanten) biedt een blauwdruk voor het ontwerpen van per-layer mechanismen voor andere optimizers zonder te vertrouwen op meta-learning of uitgebreide hyperparameter tuning.
Diagnose van Lion: Het kwantificeert een specifieke miskalibratie in de effectieve schaal van Lion over verschillende laagtypen, wat suggereert dat toekomstig werk aan Lion rekening moet houden met laag-type-bewuste schaling, zelfs zonder het volledige voting mechanisme.
Contextuele Waarde: Het stelt vast dat per-layer adaptatie geen universeel wondermiddel is. De waarde is afhankelijk van architecturale heterogeniteit (bijv. ViTs vs. uniforme CNN's) en taak moeilijkheidsgraad. Het artikel concludeert bescheiden dat hoewel het mechanisme goed werkt voor heterogene architecturen zoals ViTs op complexe taken (CIFAR-100), het geen consistent voordeel biedt op uniforme CNN's of eenvoudigere taken waar Lion al dicht bij zijn prestatieplafond zit.

De auteurs noemen beperkingen, waaronder de afhankelijkheid van validatieverlies voor de tiebreaker (die idealiter op een onafhankelijke split zou moeten gebeuren), de hogere cross-seed variantie vergeleken met standaard Lion, en het feit dat de scope beperkt is tot CIFAR datasets en specifieke modelgroottes. Ze laten open vragen open met betrekking tot de generalisatie naar andere optimizers en de potentie voor adaptieve cadence.