🤖 AI

ESSAM: A Novel Competitive Evolution Strategies Approach to Reinforcement Learning for Memory Efficient LLMs Fine-Tuning

Oorspronkelijke auteurs: Zhishen Sun, Sizhe Dang, Guang Dai, Haishan Ye

Gepubliceerd 2026-05-11

📖 5 min leestijd🧠 Diepgaand

Oorspronkelijke auteurs: Zhishen Sun, Sizhe Dang, Guang Dai, Haishan Ye

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Zware Rugzak"

Stel je een briljante student voor (een Large Language Model of LLM) die goed is in wiskunde, maar extra begeleiding nodig heeft om echt goed te worden in het oplossen van lastige tekstproblemen.

Meestal is de beste manier om deze student bij te spijkeren een methode genaamd Versterkend Leren (RL). Denk aan RL als een zeer strenge, high-tech coach die elke beweging van de student observeert, precies berekent hoe te verbeteren en direct feedback geeft. Het werkt uitstekend, maar heeft een enorm nadeel: het vereist een enorme rugzak aan computergeheugen (GPU-geheugen) om alle berekeningen te dragen.

Voor een standaard wiskundeprobleem kan deze "rugzak" even zwaar wegen als een kleine auto (honderden gigabytes). De meeste mensen en kleine laboratoria hebben geen auto-grootte computer om dit gewicht te dragen, dus kunnen ze deze krachtige coachmethode niet gebruiken.

De Oude Oplossing: Het "Gok-en-Controle" Team

Om de zware rugzak te vermijden, probeerden onderzoekers een andere methode genaamd Evolutiestrategieën (ES).

Hoe het werkt: In plaats van één strenge coach, stel je een team van 100 ontdekkingsreizigers voor. Ze beginnen allemaal op dezelfde plek, maar elke persoon neemt een iets andere, willekeurige route (een "perturbatie"). Ze proberen allemaal het wiskundeprobleem op te lossen. Degenen die het juiste antwoord krijgen, krijgen een "beloning". Het team kijkt dan naar de winnaars en zegt: "Oké, laten we allemaal een beetje in de richting bewegen waarin de winnaars gingen."
Het Voordeel: Deze methode is ongelooflijk licht. Het heeft geen zware rugzak nodig omdat het geen complexe terugwaartse berekeningen uitvoert. Het heeft alleen genoeg geheugen nodig om het model één keer te draaien (zoals een standaardgebruiker).
Het Nadeel: Hoewel het licht is, komen de ontdekkingsreizigers vaak vast te zitten in "ondiepe valleien". Ze vinden een oplossing die wel werkt, maar die niet erg robuust is. Als je ze een iets ander wiskundeprobleem geeft, raken ze misschien in de war. Ze missen generalisatie (het vermogen om wat ze hebben geleerd toe te passen op nieuwe situaties).

De Nieuwe Oplossing: ESSAM (De "Slimme Wandeltoerist")

De auteurs stellen een nieuwe methode voor genaamd ESSAM (Evolution Strategies with Sharpness-Aware Maximization). Ze wilden de lichte rugzak van het "Gok-en-Controle" team behouden, maar de "slimheid" van de strenge coach toevoegen om de resultaten te verbeteren.

Hier is hoe ESSAM werkt, met een wandel-analogie:

Het "Scherpte"-Probleem: Stel je voor dat de ontdekkingsreizigers naar een piek wandelen (het beste antwoord). Soms vinden ze een piek die hoog lijkt, maar eigenlijk een scherpe, gezaagde rots is. Als de wind waait (een nieuw wiskundeprobleem), vallen ze er makkelijk af. Dit is een "scherp minimum".
De ESSAM-Truc: Voordat het team zich vastlegt op het bewegen in een specifieke richting, stuurt ESSAM een verkennersgroep om het terrein rondom die richting te controleren.
- De verkenners vragen: "Als we deze kant op gaan, is de grond vlak en stabiel, of is het een gezaagde klif?"
- Als de grond gezaagd is (scherp), draait het team een beetje terug. Ze zoeken een richting waar de grond vlak en breed is (een "vlak minimum").
- Een vlakke piek is veiliger. Zelfs als de wind waait of het probleem iets verandert, blijft het team bovenop.

In technische termen: ESSAM neemt de standaard "Gok-en-Controle" methode en voegt een "buurtsonderzoek" toe. Het verplaatst de modelparameters tijdelijk naar een nabijgelegen punt, controleert of de beloning daar stabiel is, en gebruikt die informatie om de hoofdupdate te sturen. Dit dwingt het model om oplossingen te vinden die robuust zijn, niet alleen gelukkig.

De Resultaten: Licht als een Veer, Sterk als een Os

Het artikel testte dit op een populaire wiskundedataset genaamd GSM8K (een verzameling wiskundige tekstproblemen uit de lagere school).

Prestaties: ESSAM presteerde net zo goed als de zware, geheugenhongerige Versterkend Leren methoden (zoals PPO en GRPO). Op sommige modellen was het zelfs beter.
Geheugen: Dit is de grote winst. Terwijl de zware methoden honderden gigabytes geheugen nodig hadden, gebruikte ESSAM dezelfde kleine hoeveelheid geheugen als de basis "Gok-en-Controle" methode.
- De Analogie: Als de oude methoden een semi-trailer nodig hadden om hun apparatuur te vervoeren, past ESSAM in een fiets.
- De Statistieken: Het gebruikte 18 keer minder geheugen dan de standaard zware methode (PPO) en 10 keer minder dan de andere populaire methode (GRPO).
Generalisatie: Toen getest op wiskundeproblemen die ze nog niet eerder hadden gezien (verschillende datasets), waren de met ESSAM getrainde modellen veel beter in het oplossen ervan dan de standaard "Gok-en-Controle" modellen. Ze hadden het concept van wiskunde geleerd, niet alleen de specifieke antwoorden uit het hoofd geleerd.

De "Turbo" Versie (ESSAM-F)

De auteurs maakten ook een snellere versie genaamd ESSAM-F.

Hoe het werkt: Het gebruikt een kleiner team van verkenners voor de "controle"-fase.
Het Resultaat: Het draait twee keer zo snel als de originele ESSAM, terwijl het dezelfde kleine hoeveelheid geheugen gebruikt en bijna dezelfde hoge nauwkeurigheid behoudt.

Samenvatting

Het artikel introduceert ESSAM, een nieuwe manier om AI wiskunde te leren. Het combineert de lage kosten van "Gok-en-Controle" methoden met een slimme stabiliteitscontrole (Sharpness-Aware Maximization).

Vroeger: Je moest kiezen tussen "Hoge Prestaties maar Zwaar/Duur" (RL) of "Licht/Goedkoop maar Zwak" (Standaard ES).
Nu: Met ESSAM krijg je de Hoge Prestaties van de zware methoden met de Lichte/Goedkope voetafdruk van de simpele methoden. Het stelt kleinere laboratoria en open-source gemeenschappen in staat om krachtige AI voor wiskundig redeneren te trainen zonder supercomputers nodig te hebben.

Technische Samenvatting: ESSAM – Evolutiestrategieën met Sharpness-Aware Maximization

Probleemstelling
Versterkt Leren (RL), met name algoritmen zoals Proximal Policy Optimization (PPO) en Group Relative Policy Optimization (GRPO), is een hoeksteen geworden voor het verbeteren van de wiskundige redeneercapaciteiten van Large Language Models (LLMs). Deze methoden stellen echter onaanvaardbare eisen aan het GPU-geheugen vanwege hun afhankelijkheid van backpropagation, waardenetwerken en beleidswijzigingen. Bijvoorbeeld, het fijnafstemmen van een model met 8 miljard parameters met PPO kan meer dan 300 GiB GPU-geheugen vereisen, waardoor het ontoegankelijk is voor gemeenschappen met beperkte middelen in de open-source wereld. Hoewel Evolutiestrategieën (ES) een geheugenefficiënt, zero-order alternatief bieden door uitsluitend te vertrouwen op forward-generatie en beloningsevaluatie, lijden ze vaak aan slechte generalisatie. Standaard ES heeft de neiging om modellen naar "scherpe minima" in de parameter ruimte te drijven, wat leidt tot suboptimale prestaties op mainstream redeneertaken zoals GSM8K in vergelijking met RL-methoden.

Methodologie: ESSAM
De auteurs stellen ESSAM (Evolution Strategies with Sharpness-Aware Maximization) voor, een full-parameter fijnafstemkader dat de zero-order zoekcapaciteiten van ES integreert met de generalisatieverbeterende principes van Sharpness-Aware Maximization (SAM).

Kernmechanisme: In tegenstelling tot standaard ES, dat parameters direct bijwerkt op basis van beloningsgewogen ruisrichtingen, introduceert ESSAM een twee-traps updateproces:
- Fase 1 (Buurtverkenning): Het algoritme berekent een beloningsgewogen aggregatie van ruisrichtingen om de huidige parameters $\theta_t$ in de tegenovergestelde richting van de beloningsgradient te bewegen (richting een "scherp" gebied). Dit creëert een verstoord buurtpunt $\theta^{SAM}_t$ .
- Fase 2 (Omgekeerde Update): Het algoritme evalueert de beloning op dit verstoord punt $\theta^{SAM}_t$ en gebruikt de resulterende beloningssignalen om de oorspronkelijke parameters $\theta_t$ bij te werken. Door effectief "vooruit te kijken" naar het scherpe gebied en bij te werken op basis van het verstoord landschap, leidt de methode de optimalisatie naar vlakkere minima, die geassocieerd worden met betere generalisatie en robuustheid.
Geheugenefficiëntie: ESSAM behoudt het zero-order karakter van ES en vereist geen backpropagation of opslag van gradients/activaties. Het maakt gebruik van geheugensparende technieken (zoals in-place updates en seed replay) om het GPU-geheugengebruik op "inference-niveau" schalen te houden, aanzienlijk lager dan RL-methoden.
Versnelde Variant (ESSAM-F): Om de trainingssnelheid te verbeteren, stellen de auteurs ESSAM-F voor. Deze variant hanteert een kleinere populatiegrootte voor de initiële SAM-buurtverkenning en maakt gebruik van Frobenius-norm-normalisatie voor de verstooringsrichting. Dit vermindert de rekenkundige overhead terwijl hetzelfde lage geheugengebruik wordt behouden.
Trainingsprotocol: De auteurs benadrukken een gestandaardiseerd trainingsproces, inclusief standaard train/evaluatie splitsen, datashuffling en multi-stap updates met kleine mini-batches, waarmee eerdere inconsistenties in de ES-literatuur worden aangepakt.

Belangrijkste Bijdragen

Nieuw Kader: Introductie van ESSAM, de eerste zero-order full-parameter fijnafstemmethode die SAM-mechanismen succesvol integreert voor LLM's, en die de optimalisatie naar vlakke minima leidt zonder gradientberekening.
Standaardisatie: Uitbreiding van zero-order fijnafstemming naar de mainstream wiskundige redeneertaak GSM8K met behulp van een rigoureuze, standaard trainingspijplijn (shuffling, mini-batches) om stabiliteit en reproduceerbaarheid te waarborgen.
Versnelde Variant: Ontwikkeling van ESSAM-F, die een bijna tweevoudige versnelling bereikt ten opzichte van ESSAM, terwijl geheugenefficiëntie en concurrerende nauwkeurigheid worden behouden.
Middelen-efficiëntie: Aantonen dat full-parameter fijnafstemming kan worden bereikt met inference-niveau GPU-geheugen, waardoor de instapdrempel voor LLM-redeneringsonderzoek drastisch wordt verlaagd.

Experimentele Resultaten
Experimenten werden uitgevoerd op de GSM8K-dataset over verschillende model families (Qwen2.5 en LLaMA3) variërend van 0,5 miljard tot 8 miljard parameters.

Prestaties op GSM8K: ESSAM behaalde een gemiddelde nauwkeurigheid van 78,27% over alle modellen. Dit presteert aanzienlijk beter dan standaard ES (75,97%) en overtreft PPO (77,72%). Het is vergelijkbaar met GRPO (78,34%) en overtreft dit op specifieke modellen.
Generalisatie: Op zes out-of-distribution benchmarks (inclusief SVAMP, MATH en AMC) behaalden modellen die met ESSAM waren fijnafgestemd de beste gemiddelde prestaties op 5 van de 6 datasets, wat superieure overdraagbaarheid aantoont in vergelijking met ES, PPO en GRPO.
Geheugengebruik: ESSAM vermindert het GPU-geheugengebruik met ongeveer 18× ten opzichte van PPO en 10× ten opzichte van GRPO. Voor een model van 8 miljard parameters gebruikt ESSAM ongeveer 21,45 GiB, terwijl PPO ongeveer 314,44 GiB vereist.
Efficiëntie: De versnelde variant, ESSAM-F, behaalde een gemiddelde nauwkeurigheid van 78,02% (beter dan PPO) met bijna 2× versnelling in de trainingstijd ten opzichte van de standaard ESSAM, terwijl het identiek geheugengebruik behoudt.

Betekenis en Beweringen
Het artikel beweert dat ESSAM een praktische, middenefficiënt alternatief biedt voor RL voor het fijnafstemmen van LLM's op wiskundige redeneertaken. Door de geheugenefficiëntie van Evolutiestrategieën te combineren met de generalisatievoordelen van Sharpness-Aware Maximization, overbrugt ESSAM de prestatiekloof tussen zero-order methoden en gradient-based RL. De auteurs stellen dat hun aanpak high-performance LLM-redeneringsfijnafstemming haalbaar maakt in omgevingen met beperkte middelen, en een levensvatbaar pad biedt voor de open-source gemeenschap om robuuste redeneermodellen te ontwikkelen zonder toegang tot enorme rekenclusters. Het werk benadrukt dat geheugenefficiëntie geen afweging vereist in modelprestaties of generalisatievermogen.