🤖 AI

Hyper-ES: Effective Evolution Strategies for LLM Reasoning via Descent Direction Merging

Hyper-ES ist ein auf Subräumen basierendes Evolution-Strategy-Framework, das das Reasoning von LLMs durch die Optimierung schichtweiser Verschmelzungskoeffizienten vorab berechneter Gradientenabstiegsrichtungen verbessert und dabei im Vergleich zu gradientenbasierten Methoden wie GRPO-LoRA eine überlegene Leistung mit weniger Ressourcen erzielt.

Ursprüngliche Autoren: Yu Gu, Zhi Zheng, Yunpeng Ba, Xialiang Tong, Mingxuan Yuan, Zhenkun Wang

Veröffentlicht 2026-08-07

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yu Gu, Zhi Zheng, Yunpeng Ba, Xialiang Tong, Mingxuan Yuan, Zhenkun Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem superintelligenten Roboter beizubringen, knifflige mathematische Probleme zu lösen. Normalerweise muss man einen Roboter lehren, indem man ihm tausende von Beispielen zeigt und sein gesamtes Gehirn, Neuron für Neuron, durch einen Prozess namens „Gradientenabstieg“ anpasst. Es ist, als würde man versuchen, ein riesiges Orchester abzustimmen, indem man jedem einzelnen Instrument gleichzeitig zuhört und jede Saite gleichzeitig nachjustiert. Das funktioniert, aber es erfordert einen riesigen, teuren Computer und dauert lange.

Kürzlich haben Wissenschaftler eine andere Art entdeckt, Roboter zu lehren, die sich „Evolution Strategies“ (ES) nennt. Anstatt jedes Neuron sorgfältig abzustimmen, macht man einfach tausende von winzigen, zufälligen Änderungen am Gehirn des Roboters, schaut, welche davon besser bei den Matheaufgaben abschneiden, und behält die Gewinner. Es ist wie ein Spiel von „Heiß und Kalt“, bei dem man das Gehirn des Roboters zufällig durchmischt, bis man Glück hat. Das Problem ist: Wenn das Gehirn des Roboters riesig ist (mit Milliarden von Teilen), ist zufälliges Durchmischen fast garantiert zum Scheitern verurteilt. Es ist, als würde man versuchen, eine bestimmte Nadel in einem Heuhaufen zu finden, indem man wahllos Hände voll Heu greift; man würde am Ende nur mehr Heu haben und keine Nadel. Diese Arbeit, HYPER-ES, versucht dies zu beheben, indem sie dem Roboter vor dem Durchmischen eine bessere Karte gibt.

Das Problem: Sich im Heuhaufen zu verlaufen

Die Autoren dieser Arbeit stellten fest, dass Evolution Strategies zwar gut darin sind, Speicherplatz und Rechenleistung zu sparen, aber schrecklich darin sind, die richtige Richtung in einem massiven Gehirn mit Milliarden von Parametern zu finden. Wenn man einfach nur zufälliges Rauschen auf ein riesiges Modell wirft, sind die Änderungen so chaotisch, dass sie sich gegenseitig aufheben oder das Modell in die falsche Richtung drängen. Es ist, als würde man versuchen, ein riesiges Kreuzfahrtschiff zu steuern, indem man Kieselsteine aus verschiedenen Winkeln darauf wirft; das Schiff wird sich kaum bewegen oder es könnte sogar von dem Weg abkommen, auf dem man es haben möchte. Die Forscher nennen dies das „Random Walk“-Problem (Problem des zufälligen Wanderns), bei dem sich das Modell in einem Meer aus nutzlosen Änderungen verirrt.

Die Lösung: Die Abkürzung über die „Abstiegsrichtung“

Um dies zu lösen, kam das Team hinter HYPER-ES auf einen cleveren zweistufigen Trick. Anstatt den Roboter die richtige Richtung von Grund auf raten zu lassen, bittet man ihn zuerst, ein paar sehr kurze, kostengünstige „Übungsdurchläufe“ mit der traditionellen, arbeitsintensiven Methode zu absolvieren.

Stellen Sie sich vor, Sie versuchen, den besten Weg auf einen Berg zu finden. Anstatt blind im Dunkeln umherzuwandern (zufälliges Durchmischen), schicken Sie zuerst ein paar kleine Drohnen aus, die ein Stück weit den Berg hochklettern, um zu sehen, in welche Richtung der Pfad abfällt. Diese Drohnen müssen nicht den ganzen Berg erklimmen; sie müssen nur herausfinden, in welche Richtung es „bergab“ geht (eine nützliche Richtung). Die HYPER-ES-Methode macht genau das: Sie führt ein paar schnelle, kostengünstige Trainingssitzungen durch, um eine Handvoll „Abstiegsrichtungen“ zu finden – im Grunde ein paar gute Vermutungen darüber, in welche Richtung man das Gehirn des Roboters anstoßen muss, um ihn schlauer zu machen.

Die magische Verschmelzung: Das Mischen der besten Vermutungen

Sobald sie diese wenigen guten Richtungen haben, geschieht die wahre Magie. Anstatt die Evolution Strategy durch das gesamte Milliarden-Parameter-Gehirn suchen zu lassen, sucht sie nur durch einen winzigen, kompakten Raum, der aus der Kombination dieser wenigen guten Richtungen besteht.

Denken Sie an einen Koch, der bereits drei perfekte Zutaten (die Abstiegsrichtungen) identifiziert hat. Anstatt die gesamte Lebensmittelabteilung nach neuen Zutaten abzusuchen, nutzt der Koch eine Evolution Strategy, um das perfekte Rezept für das Mischen dieser drei Zutaten zu finden. Der Roboter fragt: „Wenn ich 30 % von Richtung A, 50 % von Richtung B und 20 % von Richtung C mische, werde ich dann einen besseren Mathe-Löser erhalten?“

Die Arbeit verwendet einen ausgeklügelten Algorithnis namens CMA-ES, um dieses Mischen durchzuführen. Es ist wie ein Meisterkoch, der die Suppe probiert und die Gewürze Schicht für Schicht anpasst, aber anstatt Gewürzen werden die Anteile der einzelnen „guten Richtungen“ angepasst, die dem Gehirn des Roboters hinzugefügt werden. Dies verwandelt eine Suche durch Milliarden von Möglichkeiten in eine Suche durch nur wenige hundert Zahlen, was es unglaublich schnell und effizient macht.

Was sie herausgefunden haben

Die Forscher testeten diese neue Methode an drei verschiedenen großen Sprachmodellen (speziell Qwen2.5 und DeepSeek-R1) und forderten sie mit sechs verschiedenen Datensätzen für mathematisches Denken heraus, die von einfacher Arithmetik bis hin zu komplexer Mathematik auf Wettbewerbsniveau reichten.

Die Ergebnisse waren vielversprechend. HYPER-ES schnitt konsistent besser ab als die standardmäßige „Zufallsmischung“ und übertraf sogar die traditionelle, arbeitsintensive Trainingsmethode (genannt GRPO-LoRA) leicht in Bezug auf die Genauigkeit. Konkret erreichte die neue Methode eine etwa 1 % höhere Genauigkeit im Durchschnitt bei gleichzeitig 10 % weniger teuren Computer-Updates.

Einfacher ausgedrückt: HYPER-ES schaffte es, die Roboter besser im Mathe lösen zu lehren, indem es ein paar kluge Abkürzungen nahm und diese Abkürzungen sorgfältig mischte, anstatt die Lösung durch reine Gewalt zu erzwingen. Es deutet darauf hin, dass man nicht die ganze Küche gegen ein Problem werfen muss; manchmal ist das Finden einiger weniger guter Richtungen und deren perfektes Mischen der Schlüssel, um die Denkfähigkeiten eines Roboters freizusetzen. Die Arbeit zeigt, dass dieser Ansatz eine stabile, speichereffiziente Methode ist, um die Art und Weise zu verbessern, wie KI denkt, insbesondere wenn man keinen Supercomputer zur Verfügung hat.

Technisches Resümee: HYPER-ES

Problemstellung

Evolutionsstrategien (ES) bieten eine vielversprechende, speichereffiziente Alternative zum gradientenbasierten Fine-Tuning von Large Language Models (LLMs), insbesondere in ressourcenbeschränkten Szenarien, in denen Backpropagation prohibitiv teuer ist. Die direkte Anwendung von ES auf Milliarden-Parameter-LLMs für Reasoning-Aufgaben ist jedoch höchst ineffektiv. Das Paper identifiziert zwei fundamentale geometrische Fehlerzustände in hochdimensionalen ES:

Versagen der Richtungsentdeckung (Directional Discovery Failure): In hochdimensionalen Räumen sind zufällige Perturbationen nahezu orthogonal zu nützlichen Abstiegspfaden. Wenn die Parameterdimension $d$ wächst, sinkt die Wahrscheinlichkeit, dass eine zufällige Perturbation mit dem optimalen Gradienten korreliert, gegen Null, was das Richtungsignal der Population schwach macht.
Orthogonaler Random Walk: Selbst wenn einzelne Updates keine Information bezüglich der Verlustreduktion liefern, akkumulieren sich wiederholte ES-Updates im Parameterraum. Dies führt dazu, dass das Modell von der vortrainierten Initialisierung wegdriftet (Random Walk), ohne nennenswerte Fortschritte zu erzielen, was zu einer instabilen Optimierung führt.

Bestehende gradientenbasierte Methoden wie Group Relative Policy Optimization (GRPO) erzielen eine starke Reasoning-Leistung, leiden aber unter hohem Speicher- und Zeitaufwand aufgrund der Backpropagation. Im Gegensatz dazu vermeidet direktes ES die Backpropagation, scheitert jedoch daran, effektiv im vollen Parameterraum zu konvergieren.

Methodik: HYPER-ES

Die Autoren schlagen HYPER-ES vor, ein Subraum-basierter Evolutionsstrategie-Framework, das die Entdeckung von Update-Richtungen vom gradientenfreien Optimierungsprozess entkoppelt. Anstatt im vollen Parameterraum zu suchen, beschränkt HYPER-ES die ES-Suche auf einen kompakten, aufgabenorientierten Subraum, der aus Abstiegsrichtungen konstruiert wurde.

Die Methode arbeitet in zwei Phasen:

1. Start-up: Vorbereitung der Abstiegsrichtungen

HYPER-ES beginnt mit der Konstruktion eines Pools aus aufgabenrelevanten Abstiegsrichtungen ( $\Delta\theta$ ) unter Verwendung einer geringen Anzahl kostengünstiger, gradientenbasierter Updates:

Die Trainingsdaten werden in $N$ Teilmengen partitioniert.
Ein kurzes, Few-Shot LoRA-basiertes GRPO-Update (typischerweise 7 Schritte) wird auf jeder Teilmenge durchgeführt.
Diese kurzen Durchläufe sind nicht darauf ausgelegt, eigenständige Hochleistungsmodelle zu erzeugen, sondern dienen dazu, kostengünstig LoRA-Deltas ( $\Delta\theta_i$ ) zu extrahieren, die aufgabenspezifische Signale enthalten.
Diese Deltas bilden einen „Richtungs-Pool“ $P = \{\Delta\theta_i\}$ , der als Basis für die anschließende Suche dient.

2. Hyper-ES-Suche über Richtungen

Sob_dem der Richtungs-Pool fixiert ist, verwendet HYPER-ES die Covariance Matrix Adaptation Evolution Strategy (CMA-ES), um die Merging-Koeffizienten dieser Richtungen zu optimieren, anstatt die Modellgewichte selbst.

Suchvariable: Die Optimierungsvariable $z$ $z$ besteht aus schichtweisen Koeffizienten, die bestimmen, wie die gecachten LoRA-Richtungen kombiniert werden. Speziell steuert $z$ $z$ für jede Schichtgruppe:
- Drop-rate Logits: Steuern die DARE (Drop and Add Randomly) Sparsifizierung zur Reduzierung von Interferenzen.
- Mixing-weight Logits: Bestimmen die Beitragsstärke jeder Richtung.
Merging-Prozess: Die Suchvariablen werden mittels eines DARE–TIES (TIES-Merging) Verfahrens in ein gemergtes Modell dekodiert:
- Richtungen werden basierend auf Drop-Raten sparsifiziert.
- Vorzeichenkonflikte werden via TIES (Sign-Election und Disjoint Merge) aufgelöst.
- Ein globaler Skalierungsfaktor $\gamma$ wird angewendet.
Optimierung: CMA-ES optimiert die Merging-Koeffizienten $z$ , um die Validierungsgenauigkeit zu maximieren. Dies transformiert das Optimierungsproblem von der Suche nach Millionen/Milliarden Gewichten hin zur Suche in einem niedrigdimensionalen Raum der Größe $L \times 2N$ (z. B. 960 Parameter für ein 0,5B-Modell).

Zentrale Beiträge

HYPER-ES Framework: Ein neuartiges ES-Framework, das die Vollparameter-Suche in eine kompakte, schichtweise Koeffizientensuche über aufgabenrelevante LoRA-Updates umwandelt. Es verschiebt die Rolle von ES von der Entdeckung von Richtungen hin zur Selektion und zum Merging bereits identifizierter Abstiegsrichtungen.
Few-Shot Richtungs-Konstruktion: Die Methode nutzt kurze GRPO-Updates, um informative Abstiegsrichtungen zu konstruieren, wodurch ES die hochdimensionale Zufallsexploration umgehen kann und gleichzeitig seine speichereffiziente und parallelisierbare Natur beibehält.
Empirische Validierung: Umfangliche Evaluierungen über drei LLM-Backbones (Qwen2.5-0.5B, Qwen2.5-1.5B, DeepSeek-R1-Distill-1.5B) und sechs mathematische Reasoning-Benchmarks zeigen, dass HYPER-ES konsistent besser abschneidet als Model-Merging-Baselines und leicht, aber konsistent besser als Single-Stage GRPO performt.

Ergebnisse

Das Paper berichtet die folgenden Kernergebnisse:

Performance: HYPER-ES erzielt einen Leistungszuwachs von bis zu 1 % gegenüber GRPO-LoRA-Baselines bei arithmetischen und komplexen mathematischen Reasoning-Datensätzen (z. B. GSM8K, MATH-500, AMC2023), wobei die Gewinne oft marginal sind (z. B. 0,58 % bei Qwen2.5-1.5B).
Effizienz: Die Methode benötigt 10 % weniger speicherintensive Gradienten-Updates im Vergleich zu Standard-GRPO-LoRA.
Speicher: Durch die Vermeidung der vollen Backpropagation während der ES-Phase und die Nutzung parallelisierter Few-Shot-Richtungsgenerierung behält HYPER-ES einen Speicherbedarf bei, der mit einem einzelnen GRPO-Durchlauf vergleichbar ist, während die Wandzeit (Wall-Clock Time) signifikant reduziert wird (ca. 24 % Reduktion im 0,5B-Experiment durch Parallelisierung).
Ablation: Das Entfernen des CMA-ES-Stadiums oder die Verwendung von Zufallsrichtungen anstelle von GRPO-abgeleiteten Richtungen führt zu signifikanten Leistungseinbußen, was bestätigt, dass die Gewinne aus der Suche über bedeutsame Abstiegsrichtungen in einem niedrigdimensionalen Raum resultieren.

Bedeutung und Ansprüche

Das Paper behauptet, dass HYPER-ES das fundamentale Problem direkter ES in LLMs adressiert: die Unfähigkeit, nützliche Richtungen in hochdimensionalen Räumen zu finden. Durch die Nutzung kurzer gradientenbasierter Durchläufe zur Definition eines „aufgabenorientierten Manifolds“ ermöglicht die Methode der derivativen-freien Optimierung zu arbeiten in einem Regime, in dem sie am effektivsten ist.

Die Autoren positionieren HYPER-ES als eine ressourcenbeschränkte Fine-Tuning-Methode, die einen praktischen Kompromiss bietet: Sie bewahrt die Speichereffizienz von ES und erreicht gleichzeitig eine Performance, die vergleichbar mit oder leicht besser als gradientenbasierte RL-Methoden ist. Die Arbeit legt nahe, dass kurze gradientenbasierte Durchläufe einem doppelten Zweck dienen können: nicht nur für das direkte Training, sondern auch zur Definition nützlicher niedrigdimensionaler Subräume für die anschließende derivativen-freie Optimierung.

Das Paper bleibt hinsichtlich seines Umfangs bescheiden und merkt an, dass es sich derzeit auf GRPO als Richtungs-Provider konzentriert und zukünftige Arbeiten andere initiale Gradientenmethoden (z. B. SFT, OPD) oder die Online-Dynamik der Richtungsakquise untersuchen könnten.