📊 statistics

ScheduleFree+: Scaling Learning-Rate-Free & Schedule-Free Learning to Large Language Models

Dit artikel introduceert ScheduleFree+, een leersnelheidsvrije en schema-vrije methode die Schedule-Free Learning succesvol schaalt naar grote taalmodellen en aanzienlijk beter presteert dan state-of-the-art trainschema's zoals Warmup-Stable-Decay, met name in langdurige trainingsscenario's.

Oorspronkelijke auteurs: Aaron Defazio

Gepubliceerd 2026-05-20

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Aaron Defazio

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een reusachtige, superintelligente robot (een Large Language Model) te leren hoe menselijke taal te spreken. Om dit te doen, laat je het miljarden zinnen zien en laat je het het volgende woord raden, waarbij je zijn fouten keer op keer corrigeert.

Lange tijd was de standaardmanier om deze robot te onderwijzen het gebruik van een Learning Rate Schedule. Denk hierbij aan een strenge leraar die de les begint met een zeer luid en energiek stemgeluid (hoge leersnelheid) om de aandacht van de robot te trekken, maar die vervolgens langzaam fluistert en uitdempt (lage leersnelheid) naarmate de les ten einde loopt. Het probleem? Je moet precies raden wanneer je moet beginnen met fluisteren en hoe snel je moet uitdemen. Als je dit verkeerd raadt, leert de robot slecht.

Dit artikel introduceert een nieuwe methode genaamd ScheduleFree+. In plaats van een leraar die zijn stemvolume in de loop van de tijd verandert, gebruikt deze methode een "slimme gemiddelde"-techniek die de robot in staat stelt om met een constante, zelfverzekerde snelheid te leren zonder dat er een complexe planning nodig is.

Hier is hoe het artikel de magie achter ScheduleFree+ uitlegt, met behulp van eenvoudige analogieën:

1. De "Slimme Gemiddelde"-Truc (De Kernidee)

Bij traditionele training update de robot zijn brein op basis van het allerlaatste wat hij zag. Dit is als een student die zich alleen het laatste vraagstuk herinnert dat in de klas werd gesteld.

Schedule-Free verandert dit. Het houdt twee versies van het brein van de robot bij:

Het "Actieve" Brein ( $z$ ): Dit is de robot die zichzelf in real-time update en leert van de nieuwste fouten.
Het "Gemiddelde" Brein ( $x$ ): Dit is een kalm, stabiel versie die het gemiddelde onthoudt van alles wat de robot tot nu toe heeft geleerd.

De magie zit hem in het feit dat de robot niet alleen naar het "Actieve" brein kijkt om te beslissen wat hij als volgende moet doen. Hij kijkt naar een mix van het "Actieve" brein en het "Gemiddelde" brein.

Analogie: Stel je voor dat je een schip navigeert. Het "Actieve" brein is de kapitein die naar de golven op dit moment kijkt (zeer reactief). Het "Gemiddelde" brein is de navigator die naar de kaart van de hele reis tot nu toe kijkt (zeer stabiel). De nieuwe methode vertelt de kapitein om te sturen op basis van een mix van beide. Dit voorkomt dat het schip wild slingert wanneer het een kleine golf raakt, wat leidt tot een veel soepelere en snellere reis.

2. Waarom Het Vroeger Mislukte (Het "Grote Batch"-Probleem)

De auteurs ontdekten dat hoewel deze "Slimme Gemiddelde"-techniek geweldig werkte voor kleine robots, het faalde wanneer ze probeerden reusachtige robots te trainen met enorme batches data.

Het Probleem: Wanneer je de robot te veel data in één keer voert (een grote "batch"), raakt het "Actieve" brein in de war en begint het te wiebelen, waardoor de training crasht.
De Oplossing: Ze voegden Inner Momentum toe. Denk hierbij aan het geven van een beetje "inertie" of "momentum" aan de robot. Net zoals een zware vrachtwagen moeilijker te stoppen en te draaien is dan een fiets, helpt het toevoegen van momentum de robot op koers te blijven, zelfs wanneer de data enorm en luidruchtig is. Dit stelde hen in staat om de methode op te schalen naar massale modellen.

3. De "Zelfaanpassende" Snelheid (Geen Gissen Meer)

Normaal gesproken moeten mensen handmatig afstemmen hoe snel de robot leert. Het artikel introduceert een Polyak Step Size, wat werkt als een zelfrijdende snelheidsmeter.

Hoe het werkt: In plaats van dat een mens de snelheid instelt, kijkt de robot naar hoe "verward" hij is (de omvang van zijn fouten) en past hij zijn snelheid automatisch aan. Als de fouten groot zijn, vertraagt hij om zorgvuldig na te denken. Als de fouten klein zijn, versnelt hij.
Het Resultaat: Je hoeft de leersnelheid niet meer te raden. De methode is "learning-rate-free", wat betekent dat hij zelf de perfecte snelheid uitvindt.

4. Het Oplossen van "Drijvende" Gewichten

Het artikel ontdekte een vreemd neveneffect: bij gebruik van deze nieuwe methode zouden de interne "gewichten" van de robot (de sterkte van zijn verbindingen) soms te groot worden of te klein krimpen, waardoor de robot instabiel werd.

De Analogie: Stel je voor dat de hersencellen van de robot te groot worden, waardoor de draden worden uitgerekt totdat ze knappen.
De Oplossing: Ze pasten een speciale "inverse-gradient"-correctie toe. Denk hierbij aan een slim regelaar die de schroeven aandraait telkens wanneer de hersencellen van de robot te groot proberen te worden, waardoor alles stabiel blijft en de draden niet knappen. Dit stelt de robot in staat om veel langer te trainen zonder te breken.

5. De "Warm-up" en "Cool-down"-Aanpassingen

Om dit perfect te laten werken voor lange trainingssessies, voegden ze twee laatste touches toe:

Warm-Start: Aan het begin lieten ze de robot een korte tijd normaal leren zonder de "gemiddelde"-truc. Dit is als het laten joggen van een hardloper een paar rondjes voordat de race begint, zodat hij niet struikelt bij de startlijn.
Beta Annealing: Naarmate de training vordert, veranderen ze langzaam de "mix" tussen het Actieve en Gemiddelde brein. In het begin luisteren ze meer naar het Actieve brein (om snel te leren). Later luisteren ze meer naar het Gemiddelde brein (om precies te zijn). Dit is als een student die aan het begin van het semester wanhopig aantekeningen maakt, maar tegen het einde van het semester meer vertrouwt op zijn goed georganiseerde studiegids.

Het Grote Resultaat

Toen ze ScheduleFree+ testten op massale taalmodellen:

Het was sneller: Om hetzelfde niveau van intelligentie te bereiken, kostte het 31% minder tijd dan de beste bestaande methoden.
Het was stabieler: De leercurve was glad en voorspelbaar, in tegenstelling tot de gekartelde, hobbelige curves van oudere methoden.
Het werkt voor "Anytime"-training: Je kunt de training op elk willekeurig moment stoppen, en de robot bevindt zich dan in de best mogelijke staat voor dat moment. Je hoeft niet te wachten op een specifiek "einde van de planning" om een goed model te krijgen.

Samenvattend: Het artikel laat zien dat door de huidige gedachten van de robot te mixen met zijn gemiddelde gedachten, een beetje momentum toe te voegen voor stabiliteit, en de robot zijn eigen snelheid te laten aanpassen, we gigantische AI-modellen sneller en soepeler kunnen trainen zonder dat mensen constant de instellingen hoeven aan te passen.

Technische Samenvatting: ScheduleFree+ Schaalbaar Leren Zonder Leerstap en Zonder Schema voor Grote Taalmodellen

1. Probleemstelling

Traditionele optimalisatie in machine learning is sterk afhankelijk van schema's voor de leerstap (bijv. lineaire afname, cosinus, warmup-stabiel-afname) om convergentie te garanderen. Hoewel deze methoden effectief zijn, vereisen ze aanzienlijke afstemming en leiden ze vaak tot onstabiele of onvoorspelbare trainingscurven. Recente "Schedule-Free" leermethoden, die schema's vervangen door agressieve iteratie-gemiddelde, hebben veelbelovende resultaten laten zien op benchmarks voor kleine schaal, maar zijn historisch gezien niet geslaagd in het schalen naar het trainen van Grote Taalmodellen (LLM). Specifiek leden eerdere Schedule-Free-implementaties aan:

Divergentie bij grote batchgroottes: De prestaties verslechterden aanzienlijk naarmate de batchgroottes toenamen boven de limieten voor kleine schaal.
Drift in de gradiëntnorm: De methode vereiste ongewoon kleine waarden voor gewichtsafname om te functioneren, wat leidde tot onstabiele gewichtsnormen en slechte prestaties bij training met lange duur.
Suboptimale convergentie bij lange runs: De methode haalde de voordelen van gemiddelde over uitgebreide trainingshorizons (bijv. 1000 tokens per parameter) niet volledig.

Het artikel adresseert de uitdaging om Schedule-Free Learning zo te schalen dat het de prestaties van state-of-the-art (SOTA) schema-gebaseerde methoden voor LLM-pretraining kan evenaren of overtreffen, met als doel een stabiele, "anytime" trainingsprocedure die geen afstemming van de leerstap vereist.

2. Methodologie: ScheduleFree+

De auteurs stellen ScheduleFree+ voor, een samengestelde methode die diverse specifieke wijzigingen integreert in het basis-Schedule-Free-algoritme om het robuust te maken voor LLM's. De kerncomponenten zijn:

A. Herinvoering van Inner Momentum

Hoewel het originele Schedule-Free-werk inner momentum (bijv. $\beta_1$ van Adam) verwierp om geheugen te besparen, vonden de auteurs dit schadelijk voor grote batchgroottes.

Oplossing: Herintroduceer inner momentum (bijv. $\beta_1 = 0,75$ of $0,9$) in de basisoptimizer.
Effect: Dit herstelt de robuustheid voor grotere batchgroottes en maakt hogere leerstappen mogelijk zonder divergentie, waarmee de "schaalingsafgrond" wordt aangepakt die werd waargenomen bij standaard Schedule-Free AdamW.

B. Inverse-Gradiënt Norm Gewichten (Polyak Stapgrootte)

Standaard Schedule-Free-lering vereiste vaak kleine gewichtsafname om compensatie te bieden voor toenemende gradiëntnormen, wat instabiliteit veroorzaakte. De auteurs leiden een theoretische correctie af gebaseerd op de Polyak-stapgrootte.

Mechanisme: De stapgrootte $\gamma_t$ wordt omgekeerd evenredig geschaald met de L1-norm van de gradiënt ( $\gamma_t \propto 1/\|g_t\|_1$ ).
Implementatie: Een Exponentiële Moving Average (EMA) van de L1-norm van de gradiënt wordt gebruikt om de noemer te schatten, wat de optimale weging benadert die is afgeleid uit convexe spijtbegrenzingen.
Resultaat: Deze correctie neutraliseert de effectieve drift in de leerstap veroorzaakt door normalisatielagen, waardoor het gebruik van standaard, grotere gewichtsafname-waarden (bijv. 0,05–0,5) mogelijk wordt. Dit stabiliseert de gewichtsnormen en voorkomt het fenomeen van "krimpende gewichtsnorm" dat lange runs destabiliseert.

C. Leerstap-Vrije Optimalisatie via Polyak Stap

Op basis van de inverse-gradiënt weging implementeren de auteurs een volledig leerstap-vrije variant met een gewijzigde Polyak-stapgrootte:
$\gamma_t = \frac{f(y_t) - f^* + \beta \langle \nabla f(y_t), z_t - x_t \rangle}{\sqrt{\pi/2} \| \nabla f(y_t) \|_1}$

Stabiliteit: De teller maakt gebruik van een schatting van het gat in de functiewaarde ( $f(z_t) - f^*$ ) in plaats van de ruwe huidige iteratie, en de noemer gebruikt de gladgestreken L1-norm. Dit vermijdt de problemen met verdwijnende noemers die vaak voorkomen bij stochastische Polyak-stappen.
Adaptiviteit: Deze benadering schaalt de leerstap automatisch met de batchgrootte (volgend op $\sqrt{b}$ schaling voor AdamW) en elimineert de noodzaak voor handmatige rasterzoeken voor de leerstap.

D. Warm-Start en Annealing Strategieën

C-Warmup: Om te voorkomen dat de gemiddelde buffer vroege, snelle convergentiefasen verduidt, vertragen de auteurs de update van het gemiddelde ( $c_t = 1$ ) voor een initiële periode (bijv. $2\times$ de duur van de leerstap-warmup).
Beta Annealing: De interpolatieparameter $\beta$ (die de huidige iteratie $z_t$ en het gemiddelde $x_t$ mengt) wordt geanneald van een lagere waarde (bijv. 0,9) naar een hogere waarde (bijv. 0,965) gedurende de trainingsrun. Dit vangt snelle initiële convergentie terwijl er wordt geoptimaliseerd voor langetermijnverliesreductie.
Gewogen Gemiddelde ( $r=1$ ): Voor lange runs worden de gewichten voor het gemiddelde ingesteld op $r=1$ (lineair toenemende gewichten) in plaats van de standaard $r=0$ , wat de convergentie versnelt voor niet-stark-convexe problemen.

3. Belangrijkste Resultaten

De auteurs hebben uitgebreide schalingsexperimenten uitgevoerd op LLM's variërend van 120M tot 1B parameters, getraind op tot 1000 tokens per parameter.

Training met Lange Duur (1000 TPP): Op deze schaal presteert ScheduleFree+ aanzienlijk beter dan zowel Warmup-Stabiel-Afname (WSD) als lineaire afname-schema's.
- Efficiëntie: Het bereikt hetzelfde eindverlies als een lineaire afname-schema in 31% minder trainingstijd (een reductie van 45% in tokens vereist om het doelverlies te bereiken).
- Stabiliteit: De methode produceert gladde, voorspelbare verliescurves die een theoretische afname van $1/\sqrt{t}$ volgen, waardoor een accurate voorspelling van het eindverlies mogelijk is op basis van vroege trainingsdata.
Training met Korte Duur (20–100 TPP): ScheduleFree+ presteert beter dan WSD-schema's over alle modelgroottes heen. Tegenover lineaire afname komt het overeen of presteert het licht onder bij zeer korte horizonnen (20 TPP) vanwege de tijd die nodig is om een stabiele toestand te bereiken, maar presteert het over het algemeen concurrerend.
Schaalbaarheid Batchgrootte: Met inner momentum schaalt ScheduleFree+ robuust naar batchgroottes van 8M, waarbij het de prestaties van standaard AdamW met lineaire afname evenaart.
Stabiliteit Gewichtsnorm: Door gebruik te maken van de Polyak-stapgrootte en grotere gewichtsafname, handhaaft de methode stabiele gewichtsnormen, waardoor divergentie en kwantisatieproblemen worden vermeden die geassocieerd zijn met de kleine gewichtsafname-waarden die door ongewijzigde Schedule-Free-methoden worden vereist.

4. Betekenis en Claims

Het artikel beweert dat ScheduleFree+ een theoretische onderbouwing biedt voor modelgemiddelde en het samenvoegen van checkpoints tijdens pretraining, waarmee de kloof wordt overbrugd tussen online optimalisatie en offline modelsoep.

Anytime Training: In tegenstelling tot WSD-schema's, die een specifieke annealing-fase aan het einde van de training vereisen om winsten te realiseren, biedt ScheduleFree+ een echte "anytime" capaciteit. Het model is op elk stoppunt bruikbaar en optimaal zonder een toewijzing voor een afnamefase.
Eliminatie van Afstemming: De methode verwijdert de noodzaak voor rasterzoeken voor de leerstap, en vertrouwt in plaats daarvan op de Polyak-stapgrootte en inverse-gradiënt weging om zich automatisch aan te passen aan batchgrootte en trainingsduur.
Voorspelbaarheid: De auteurs betogen dat de verliescurves van Schedule-Free Learning niet alleen empirisch stabiel zijn, maar theoretisch onderbouwd, en nauw volgen de convergentiesnelheid van $1/\sqrt{t}$ die wordt voorspeld door de theorie van convexe optimalisatie, zelfs in de niet-convexe LLM-omgeving.

Kortom, het artikel toont aan dat met specifieke wijzigingen—inner momentum, inverse-gradiënt weging en adaptieve annealing—Schedule-Free Learning kan worden geschaald tot een superieur, stabiel en afstemmingsvrij alternatief voor traditionele leerstap-schema's voor het trainen van Grote Taalmodellen.