🤖 AI

ESSAM: A Novel Competitive Evolution Strategies Approach to Reinforcement Learning for Memory Efficient LLMs Fine-Tuning

Ursprüngliche Autoren: Zhishen Sun, Sizhe Dang, Guang Dai, Haishan Ye

Veröffentlicht 2026-05-11

📖 5 Min. Lesezeit🧠 Tiefgang

Ursprüngliche Autoren: Zhishen Sun, Sizhe Dang, Guang Dai, Haishan Ye

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der „schwere Rucksack"

Stellen Sie sich einen brillanten Schüler vor (ein Large Language Model oder LLM), der gut in Mathematik ist, aber zusätzliche Nachhilfe benötigt, um wirklich gut darin zu werden, knifflige Textaufgaben zu lösen.

Normalerweise ist der beste Weg, diesen Schüler zu unterrichten, eine Methode namens Reinforcement Learning (RL). Stellen Sie sich RL als einen sehr strengen, hochtechnologischen Trainer vor, der jeden Zug des Schülers beobachtet, genau berechnet, wie man sich verbessern kann, und sofortiges Feedback gibt. Es funktioniert großartig, hat aber einen massiven Nachteil: Es erfordert einen riesigen Rucksack an Computerspeicher (GPU-Speicher), um alle Berechnungen zu tragen.

Für eine Standard-Mathematikaufgabe könnte dieser „Rucksack" so viel wie ein kleines Auto wiegen (hunderte von Gigabyte). Die meisten Menschen und kleinen Labore haben keinen computer-großen Wagen, um diese Last zu tragen, daher können sie diese leistungsstarke Trainingsmethode nicht nutzen.

Die alte Lösung: Das „Raten und Prüfen"-Team

Um den schweren Rucksack zu vermeiden, versuchten Forscher eine andere Methode namens Evolution Strategies (ES).

Wie es funktioniert: Anstelle eines strengen Trainers stellen Sie sich ein Team von 100 Entdeckern vor. Sie starten alle am selben Ort, aber jeder nimmt einen leicht anderen, zufälligen Pfad (eine „Störung"). Alle versuchen, die Mathematikaufgabe zu lösen. Diejenigen, die die richtige Antwort finden, erhalten eine „Belohnung". Das Team schaut sich dann die Gewinner an und sagt: „Okay, lasst uns alle ein wenig in die Richtung bewegen, in die die Gewinner gegangen sind."
Der Vorteil: Diese Methode ist unglaublich leicht. Sie braucht keinen schweren Rucksack, weil sie keine komplexen Rückwärtsberechnungen durchführt. Sie benötigt nur genug Speicher, um das Modell einmal auszuführen (wie ein Standardnutzer).
Der Fehler: Obwohl sie leicht ist, geraten die Entdecker oft in „flache Täler". Sie finden eine Lösung, die okay funktioniert, aber nicht sehr robust ist. Wenn Sie ihnen eine leicht andere Mathematikaufgabe geben, geraten sie vielleicht in Verwirrung. Ihnen fehlt die Generalisierung (die Fähigkeit, das Gelernte auf neue Situationen anzuwenden).

Die neue Lösung: ESSAM (Der „kluge Wanderer")

Die Autoren schlagen eine neue Methode namens ESSAM (Evolution Strategies with Sharpness-Aware Maximization) vor. Sie wollten den leichten Rucksack des „Raten und Prüfen"-Teams behalten, aber die „Klugheit" des strengen Trainers hinzufügen, um die Ergebnisse zu verbessern.

So funktioniert ESSAM, unter Verwendung einer Wander-Analogie:

Das Problem der „Schärfe": Stellen Sie sich vor, die Entdecker wandern auf einen Gipfel zu (die beste Antwort). Manchmal finden sie einen Gipfel, der hoch aussieht, aber eigentlich ein scharfer, gezackter Fels ist. Wenn der Wind weht (eine neue Mathematikaufgabe), fallen sie leicht herunter. Dies ist ein „scharfes Minimum".
Der ESSAM-Trick: Bevor das Team sich entscheidet, in eine bestimmte Richtung zu ziehen, schickt ESSAM einen Kundschafter, um das Gelände um diese Richtung herum zu prüfen.
- Der Kundschafter fragt: „Wenn wir so weitermachen, ist der Boden flach und stabil, oder ist es eine gezackte Klippe?"
- Wenn der Boden gezackt (scharf) ist, dreht das Team leicht um. Sie suchen nach einer Richtung, in der der Boden flach und breit ist (ein „flaches Minimum").
- Ein flacher Gipfel ist sicherer. Selbst wenn der Wind weht oder sich das Problem leicht ändert, bleibt das Team oben.

In technischen Begriffen: ESSAM nimmt die Standard-Methode „Raten und Prüfen" und fügt eine „Nachbarschafts-Abtastung" hinzu. Es verschiebt die Modellparameter vorübergehend an einen nahegelegenen Ort, prüft, ob die Belohnung dort stabil ist, und nutzt diese Information, um das Haupt-Update zu steuern. Dies zwingt das Modell, Lösungen zu finden, die robust sind, nicht nur zufällig.

Die Ergebnisse: Leicht wie eine Feder, stark wie ein Ochse

Das Papier testete dies an einem beliebigen Mathematik-Datensatz namens GSM8K (eine Sammlung von Textaufgaben aus der Grundschule).

Leistung: ESSAM schnitt genauso gut ab wie die schweren, speicherhungrigen Reinforcement-Learning-Methoden (wie PPO und GRPO). Tatsächlich war es bei einigen Modellen sogar besser.
Speicher: Dies ist der große Gewinn. Während die schweren Methoden hunderte von Gigabyte Speicher benötigten, verwendete ESSAM die gleiche winzige Speichermenge wie die einfache „Raten und Prüfen"-Methode.
- Die Analogie: Wenn die alten Methoden einen Sattelzug benötigten, um ihre Ausrüstung zu transportieren, passt ESSAM in ein Fahrrad.
- Die Statistiken: Es benötigte 18-mal weniger Speicher als die Standard-Schwer-Methode (PPO) und 10-mal weniger als die andere beliebte Methode (GRPO).
Generalisierung: Wenn sie an Mathematikaufgaben getestet wurden, die sie noch nie gesehen hatten (andere Datensätze), waren die mit ESSAM trainierten Modelle viel besser darin, sie zu lösen, als die Standard-„Raten und Prüfen"-Modelle. Sie hatten das Konzept der Mathematik gelernt, nicht nur die spezifischen Antworten auswendig gelernt.

Die „Turbo"-Version (ESSAM-F)

Die Autoren schufen auch eine schnellere Version namens ESSAM-F.

Wie es funktioniert: Es verwendet ein kleineres Team von Kundschaftern für die „Prüfungs"-Phase.
Das Ergebnis: Es läuft zweimal so schnell wie das ursprüngliche ESSAM, verwendet die gleiche winzige Speichermenge und behält fast die gleiche hohe Genauigkeit bei.

Zusammenfassung

Das Papier stellt ESSAM vor, eine neue Art, KI Mathematik beizubringen. Es kombiniert die niedrigen Kosten von „Raten und Prüfen"-Methoden mit einer klugen Stabilitätsprüfung (Sharpness-Aware Maximization).

Früher: Man musste sich zwischen „Hohe Leistung, aber schwer/teuer" (RL) oder „Leicht/billig, aber schwach" (Standard-ES) entscheiden.
Jetzt: Mit ESSAM erhalten Sie die hohe Leistung der schweren Methoden mit dem leichten/billigen Fußabdruck der einfachen Methoden. Es ermöglicht kleineren Laboren und Open-Source-Communities, leistungsstarke KI für mathematisches Schlussfolgern zu trainieren, ohne Supercomputer zu benötigen.

Technischer Zusammenfassung: ESSAM – Evolutionsstrategien mit scharfkeitsbewusster Maximierung

Problemstellung
Bestärkendes Lernen (RL), insbesondere Algorithmen wie Proximal Policy Optimization (PPO) und Group Relative Policy Optimization (GRPO), hat sich zu einem Eckpfeiler für die Verbesserung der mathematischen Schlussfolgerungsfähigkeiten von Large Language Models (LLMs) entwickelt. Diese Methoden stellen jedoch aufgrund ihrer Abhängigkeit von Backpropagation, Wertnetzen und Politikupdates prohibitiv hohe Anforderungen an den GPU-Speicher. Beispielsweise kann das Fine-Tuning eines Modells mit 8 Milliarden Parametern mittels PPO über 300 GiB GPU-Speicher erfordern, was es für ressourcenbeschränkte Open-Source-Communities unzugänglich macht. Während Evolutionsstrategien (ES) eine speichereffiziente, nullter Ordnung Alternative bieten, die sich ausschließlich auf die Generierung im Vorwärtsdurchlauf und die Bewertung von Belohnungen stützt, leiden sie häufig unter einer schlechten Generalisierung. Standard-ES neigt dazu, Modelle in „scharfe Minima" im Parameterraum zu drängen, was zu suboptimalen Leistungen bei Mainstream-Schlussfolgerungsaufgaben wie GSM8K im Vergleich zu RL-Methoden führt.

Methodik: ESSAM
Die Autoren schlagen ESSAM (Evolution Strategies with Sharpness-Aware Maximization) vor, ein Full-Parameter-Fine-Tuning-Framework, das die Suchfähigkeiten nullter Ordnung von ES mit den generalisierungsverbessernden Prinzipien der scharfkeitsbewussten Maximierung (Sharpness-Aware Maximization, SAM) integriert.

Kernmechanismus: Im Gegensatz zu Standard-ES, das Parameter direkt basierend auf belohnungsgewichteten Rauschrichtungen aktualisiert, führt ESSAM einen zweistufigen Aktualisierungsprozess ein:
- Stufe 1 (Nachbarschaftserkundung): Der Algorithmus berechnet eine belohnungsgewichtete Aggregation von Rauschrichtungen, um die aktuellen Parameter $\theta_t$ in die entgegengesetzte Richtung des Belohnungsgradienten zu bewegen (hin zu einem „scharfen" Bereich). Dies erzeugt einen gestörten Nachbarschaftspunkt $\theta^{SAM}_t$ .
- Stufe 2 (Rückwärts-Aktualisierung): Der Algorithmus bewertet die Belohnung an diesem gestörten Punkt $\theta^{SAM}_t$ und nutzt die resultierenden Belohnungssignale, um die ursprünglichen Parameter $\theta_t$ zu aktualisieren. Indem die Methode effektiv „in die Zukunft" schaut, um den scharfen Bereich zu betrachten, und die Aktualisierung auf Basis der gestörten Landschaft vornimmt, wird die Optimierung zu flacheren Minima gelenkt, die mit besserer Generalisierung und Robustheit verbunden sind.
Speichereffizienz: ESSAM behält den nullten Charakter von ES bei und erfordert keine Backpropagation oder Speicherung von Gradienten/Aktivierungen. Es nutzt speichersparende Techniken (wie In-Place-Aktualisierungen und Seed-Replay), um den GPU-Speicherbedarf auf „Inferenz-Level"-Skalen zu halten, die deutlich niedriger sind als bei RL-Methoden.
Beschleunigte Variante (ESSAM-F): Um die Trainingsgeschwindigkeit zu verbessern, schlagen die Autoren ESSAM-F vor. Diese Variante verwendet eine kleinere Populationsgröße für die initiale SAM-Nachbarschaftserkundung und nutzt eine Frobenius-Norm-Normalisierung für die Störungsrichtung. Dies reduziert den Rechenaufwand bei Beibehaltung desselben geringen Speicherbedarfs.
Trainingsprotokoll: Die Autoren betonen ein standardisiertes Trainingsverfahren, einschließlich standardmäßiger Trainings-/Evaluierungsaufteilungen, Daten-Shuffling und mehrstufiger Aktualisierungen mit kleinen Mini-Batches, um frühere Inkonsistenzen in der ES-Literatur zu adressieren.

Hauptbeiträge

Neues Framework: Einführung von ESSAM, der ersten nullten Full-Parameter-Fine-Tuning-Methode, die SAM-Mechanismen erfolgreich für LLMs integriert und die Optimierung ohne Gradientenberechnung zu flachen Minima lenkt.
Standardisierung: Erweiterung des nullten Fine-Tunings auf die Mainstream-Aufgabe der mathematischen Schlussfolgerung GSM8K unter Verwendung einer rigorosen, standardisierten Trainingspipeline (Shuffling, Mini-Batches) zur Sicherstellung von Stabilität und Reproduzierbarkeit.
Beschleunigte Variante: Entwicklung von ESSAM-F, das eine nahezu zweifache Beschleunigung gegenüber ESSAM bei Beibehaltung der Speichereffizienz und konkurrierender Genauigkeit erreicht.
Ressourceneffizienz: Nachweis, dass Full-Parameter-Fine-Tuning mit GPU-Speicher auf Inferenzniveau erreicht werden kann, wodurch die Einstiegshürde für die LLM-Schlussfolgerungsforschung drastisch gesenkt wird.

Experimentelle Ergebnisse
Experimente wurden auf dem GSM8K-Datensatz über verschiedene Modellfamilien (Qwen2.5 und LLaMA3) im Bereich von 0,5B bis 8B Parametern durchgeführt.

Leistung auf GSM8K: ESSAM erreichte eine durchschnittliche Genauigkeit von 78,27% über alle Modelle hinweg. Dies übertrifft Standard-ES (75,97%) deutlich und schlägt PPO (77,72%). Es ist mit GRPO (78,34%) vergleichbar und übertrifft es bei bestimmten Modellen.
Generalisierung: Auf sechs Out-of-Distribution-Benchmarks (einschließlich SVAMP, MATH und AMC) erreichten mit ESSAM feinabgestimmte Modelle die beste durchschnittliche Leistung auf 5 von 6 Datensätzen und zeigten eine überlegene Übertragbarkeit im Vergleich zu ES, PPO und GRPO.
Speichernutzung: ESSAM reduziert den GPU-Speicherbedarf um etwa das 18-fache im Vergleich zu PPO und das 10-fache im Vergleich zu GRPO. Für ein 8B-Modell verwendet ESSAM ungefähr 21,45 GiB, während PPO ~314,44 GiB benötigt.
Effizienz: Die beschleunigte Variante ESSAM-F erreichte eine durchschnittliche Genauigkeit von 78,02% (übertrifft PPO) mit einer nahezu 2-fachen Beschleunigung der Trainingszeit im Vergleich zum Standard-ESSAM, bei gleichbleibendem Speicherbedarf.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass ESSAM eine praktische, ressourceneffiziente Alternative zu RL für das Fine-Tuning von LLMs bei mathematischen Schlussfolgerungsaufgaben bietet. Durch die Kombination der Speichereffizienz von Evolutionsstrategien mit den Generalisierungsvorteilen der scharfkeitsbewussten Maximierung schließt ESSAM die Leistungslücke zwischen nullten Methoden und gradientenbasiertem RL. Die Autoren betonen, dass ihr Ansatz ein hochleistungsfähiges LLM-Schlussfolgerung-Fine-Tuning in ressourcenbeschränkten Umgebungen ermöglicht und einen gangbaren Weg für die Open-Source-Community bietet, robuste Schlussfolgerungsmodelle ohne Zugriff auf massive Rechencluster zu entwickeln. Die Arbeit unterstreicht, dass Speichereffizienz keinen Kompromiss bei der Modellleistung oder der Generalisierungsfähigkeit erfordert.