🤖 machine learning

Scaling the Memory of Balanced Adam

Dit artikel stelt dat de momentumparameter $\beta$ in gebalanceerde Adam moet worden behandeld als een variabele voor de geheugenschaal in plaats van een vaste constante, en introduceert een verversingsregel ( $R_\beta \approx 1000$ ) die de trainingsrobuustheid aanzienlijk verbetert over 11 visuele en taalexperimenten door de statistische geheugenhoriizon van de optimizer af te stemmen op de effectieve leerhorizon.

Oorspronkelijke auteurs: Alberto Fernández-Hernández, Cristian Pérez-Corral, Jose I. Mestre, Manuel F. Dolz, Enrique S. Quintana-Ortí

Gepubliceerd 2026-05-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Alberto Fernández-Hernández, Cristian Pérez-Corral, Jose I. Mestre, Manuel F. Dolz, Enrique S. Quintana-Ortí

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Het Afstellen van het Geheugen van een Lerende Robot

Stel je voor dat je een robot leert katten te herkennen, gedichten te schrijven of wiskundeproblemen op te lossen. Hiervoor gebruikt de robot een hulpmiddel genaamd Adam (een "optimizer"). Denk aan Adam als de interne coach van de robot. Elke keer als de robot een fout maakt, kijkt de coach naar de geschiedenis van eerdere fouten om te beslissen hoe hij de hersenen van de robot voor de volgende poging moet aanpassen.

Lange tijd had deze coach twee verschillende "geheugenvoeringen" (genaamd $\beta_1$ en $\beta_2$ ). De ene instelling onthield de richting van de fouten, en de andere onthield de grootte van de fouten.

De Ontdekking:
Recent onderzoek (waaronder dit paper) heeft geconstateerd dat je eigenlijk geen twee verschillende instellingen nodig hebt. Als je ze exact hetzelfde instelt ( $\beta_1 = \beta_2$ ), leert de robot even goed, maar wordt het systeem veel eenvoudiger. Nu heeft de coach slechts één geheugendraai om te draaien.

Het Probleem:
De grote vraag is: Welk getal moeten we aan die draai geven?
De meeste mensen kiezen gewoon een standaardgetal (zoals 0,9) en houden daar vast aan, ongeacht de situatie. De auteurs van dit paper betogen dat dit hetzelfde is als dezelfde schoenen te dragen voor een wandeling van 5 mijl en een marathon van 100 mijl. Het heeft geen zin, omdat de "afstand" van de training verandert.

Het Kernidee: Het "Verversingsaantal"

De auteurs stellen een nieuwe manier voor om naar die geheugendraai te kijken. In plaats van te denken aan een vast getal, zeggen ze dat het gezien moet worden als een geheugenhorizon.

De Analogie: Stel je voor dat de robot een boek leest om een taal te leren.
- Als de robot een kort geheugen heeft, onthoudt hij alleen de laatste paar zinnen.
- Als de robot een lang geheugen heeft, onthoudt hij het hele hoofdstuk.

Het paper introduceert een concept genaamd het Verversingsaantal ( $R_\beta$ ). Dit beantwoordt de vraag: "Hoe vaak ververs de robot zijn geheugen van het verleden volledig tijdens de hele trainingssessie?"

De auteurs ontdekten dat de robot het beste leert wanneer dit "verversingsaantal" ongeveer gelijk blijft, ongeacht hoe lang de trainingssessie duurt.

Korte Trainingssessie: De robot heeft een kort geheugen nodig (een lager getal) zodat hij zijn geheugen ongeveer 1.000 keer kan verversen.
Lange Trainingssessie: De robot heeft een lang geheugen nodig (een hoger getal) zodat hij zijn geheugen toch ongeveer 1.000 keer verversen.

De Oplossing: Een Eenvoudige Regel

Het paper testte dit idee op 11 verschillende taken, variërend van het leren van een robot om afbeeldingen te herkennen (zoals katten en auto's) tot het leren om tekst te schrijven (zoals LLM's).

Ze ontdekten een eenvoudige "Gouden Regel":
Stel de geheugendraai zo in dat de robot zijn geheugen precies 1.000 keer verversen tijdens het nuttige deel van de training.

Als de training kort is (bijvoorbeeld 6.000 stappen), kiest de regel een lager getal (zoals 0,82).
Als de training lang is (bijvoorbeeld 40.000 stappen), kiest de regel een hoger getal (zoals 0,97).

Waarom Is Dit Belangrijk? (De Resultaten)

De auteurs vergeleken hun "Verversingsregel" met de standaard "Vaste Regel" (waarbij iedereen gewoon 0,944 gebruikt).

Gemiddelde Prestatie: Beide methoden zaten zeer dicht bij elkaar wat betreft gemiddeld succes. Het standaard vaste getal is eigenlijk best goed.
Het "Veiligheidsnet" (Robuustheid): Hier blinkt de nieuwe regel uit.
- Stel je voor dat je een auto rijdt. De "Vaste Regel" is als rijden met een snelheid die op de meeste wegen goed werkt, maar soms kun je in een kuil terechtkomen en crasht.
- De "Verversingsregel" is als een slimme ophanging. Het past zich aan aan de lengte van de weg.
- Het Resultaat: De nieuwe regel verminderde de "worst-case" storingen met 33%. Met andere woorden, het maakte de training veel betrouwbaarder. Het zorgde ervoor dat elk enkel experiment (alle 11 ervan) bijna perfect presteerde, terwijl de oude methode een paar experimenten had die aanzienlijk worstelden.

De Conclusie

Het paper betoogt dat we de geheugeninstelling in AI-training niet moeten behandelen als een statische, onveranderlijke constante. In plaats daarvan moeten we het behandelen als een schaal.

Net zoals je niet dezelfde kaartschaal zou gebruiken voor een stad en voor een heel land, zou je niet dezelfde geheugeninstelling moeten gebruiken voor een korte training en een lange. Door het geheugen aan te passen op basis van hoe lang de training duurt (het "verversingsaantal" op 1.000 houdend), maken we het AI-trainingproces robuuster en minder waarschijnlijk dat het op onverwachte manieren faalt.

Kortom: Kies niet zomaar een getal en hoop op het beste. Pas het geheugen van de robot aan op basis van hoe lang de reis is, en je krijgt een veel soepelere rit.

Technische Samenvatting: Schalen van het Geheugen van Balanced Adam

Probleemstelling

Hoewel recente bewijzen suggereren dat de Adam-optimizer robuust presteert wanneer zijn momentumparameters gekoppeld zijn ( $\beta_1 = \beta_2 = \beta$ ), waardoor deze wordt gereduceerd tot een optimizer met één parameter, blijft de optimale waarde voor deze resterende parameter slecht begrepen. Het behandelen van $\beta$ als een vaste, dimensieloze constante (bijvoorbeeld de standaard 0,9 of 0,99) is ontoereikend, omdat dezelfde waarde zeer verschillende dynamische regimes vertegenwoordigt, afhankelijk van de totale duur van het training. Een waarde voor $\beta$ die geschikt is voor een korte training kan inefficiënt zijn voor een lange training. Het kernprobleem dat wordt aangepakt, is hoe de enkele geheugenschaal van Balanced Adam op een manier die bewust is van de trainschaal, gekozen moet worden.

Methodologie

De auteurs stellen voor om $\beta$ niet als een statische constante te herformuleren, maar als een variabele die een "statistisch geheugenhorizon" controleert.

Definities:
- Geheugenhorizon ( $H_\beta$ ): Gedefinieerd als $H_\beta = (1-\beta)^{-1}$ , wat het benaderde aantal recente optimalisatiestappen vertegenwoordigt dat de interne schattingen van de optimizer domineren.
- Effectieve Leerhorizon ( $T_{ES}$ ): Een schatting van de nuttige duur van training, afgeleid van early-stoppingtijden op validatietrajecten.
- Verversingsaantal ( $R_\beta$ ): Een dimensieloze grootheid gedefinieerd als $R_\beta = T_{ES} / H_\beta = (1-\beta)T_{ES}$ . Dit meet hoe vaak Adam zijn interne statistieken "ververst" tijdens de nuttige fase van training.
De Verversingsregel:
De centrale hypothese is dat Balanced Adam robuust gedraagt wanneer het verversingsaantal ongeveer constant wordt gehouden, ongeacht de trainschaal. De voorgestelde regel is:
$R_\beta \approx R_0 \implies \beta = 1 - \frac{R_0}{T_{ES}}$
waarbij $R_0$ een doelconstante is.
Experimentele Opzet:
- Scope: 11 experimenten die visie (ResNet50, ViT-B/16, EfficientNet-B0, Swin-T) en taal (Llama60M, NanoGPT, T5-small) modellen omvatten, getraind op diverse datasets (bijvoorbeeld ImageNet, CIFAR-100, C4, BookCorpus).
- Protocol: Alle runs handhaven de diagonale beperking $\beta_1 = \beta_2 = \beta$ . Een rooster van 13 beta-waarden (variërend van 0 tot 0,999) werd doorgelopen.
- Kalibratie: 8 experimenten dienden als ontwikkelingsset om $R_0$ te kalibreren, terwijl 3 terughoudende experimenten werden gebruikt voor validatie.
- Meting: Prestaties werden gemeten aan de hand van de relatieve validatieverliesgap in vergelijking met de "orakel" $\beta^*$ (de beste $\beta$ gevonden in het rooster voor dat specifieke experiment). Metingen omvatten Mean Gap, Maximum Gap en Conditional Value at Risk (CVaR) over de slechtste 25% van de gevallen.

Belangrijkste Resultaten

De studie vond dat het selecteren van $\beta$ om een constant verversingsaantal te handhaven, de robuustheid aanzienlijk verbetert in vergelijking met vaste baselines.

Optimaal Doel: De kalibratie van de ontwikkelingsset identificeerde $R_0 = 1000$ als het doel dat de maximale gap minimaliseert. Deze regel selecteert verschillende $\beta$ -waarden afhankelijk van $T_{ES}$ (variërend van 0,822 tot 0,968 over de experimenten).
Robuustheid versus Gemiddelde Prestaties:
- De vaste baseline $\beta = 0,944$ (de sterkste vaste keuze in het rooster) bereikte de beste gemiddelde globale gap (0,290%).
- De verversingsregel ( $R_0 = 1000$ ) verbeterde echter de worst-case robuustheid aanzienlijk. Het verlaagde de globale maximale validatiegap met 33,4% (van 1,328% naar 0,885%) en verlaagde de globale CVaR met 32,7% (van 1,059% naar 0,713%).
- Cruciaal bracht de verversingsregel alle 11 experimenten binnen 1% van hun respectievelijke validatieorakels, terwijl de vaste baseline dit alleen bereikte voor 9 van de 11.
Stabiliteit: De methode bleek robuust voor matige fouten in het schatten van $T_{ES}$ . Zelfs met multiplicatieve ruis tot $\sigma=0,20$ in de horizon-schatting, behield de verversingsregel een lagere globale CVaR dan de vaste baseline.

Betekenis en Claims

Het artikel betoogt dat de resterende hyperparameter van Balanced Adam beter wordt begrepen als een geheugenschaalvariabele in plaats van een vaste constante.

Schaalbewuste Perspectief: Het werk biedt een "budgetbewust perspectief op het schalen van optimizers". Het stelt dat $\beta$ moet worden gezien als een regelaar voor de statistische geheugenuurklok van de optimizer, die moet worden afgestemd op de effectieve leerhorizon.
Dynamiek boven Standaardwaarden: De resultaten suggereren dat het behandelen van het momentum van Adam als onderdeel van de leer-dynamiek (specifiek, het aantal statistische verversingen) superieur is aan het behandelen ervan als een statische standaardwaarde.
Praktische Implicatie: Hoewel een vaste $\beta$ (zoals 0,944) een sterke praktische standaardwaarde is, biedt de verversingsregel een principieel mechanisme om $\beta$ aan te passen naarmate de trainingshorizon verandert, zodat het interne geheugen van de optimizer niet te kort is (wat instabiliteit veroorzaakt) en niet te lang (wat langzame aanpassing veroorzaakt) ten opzichte van de trainingsduur.

De auteurs erkennen beperkingen, en merken op dat $T_{ES}$ moet worden geschat (wat de regel schaal-gekalibreerd maakt in plaats van zero-shot) en dat de specifieke waarde $R_0=1000$ een empirische bevinding is voor de geteste suite, niet noodzakelijk een universele constante. Er wordt voorgesteld om toekomstig werk te verrichten om architectuurspecifieke effecten te ontwarren en de interactie tussen de geheugenuurklok en leerplan-schemas te bestuderen.