Can LLMs Beat Classical Hyperparameter Optimization Algorithms? A Study on autoresearch

Die Studie zeigt, dass klassische Hyperparameter-Optimierungsalgorithmen LLM-basierte Agenten bei festgelegten Suchräumen übertreffen, während ein hybrider Ansatz namens Centaur, der CMA-ES mit einem LLM kombiniert, die besten Ergebnisse erzielt und dabei auch mit kleinen Modellen (0,8B) auskommt.

Das Wesentliche

Stellen Sie sich vor, Sie versuchen, den perfekten Motor für ein Rennauto zu bauen. Sie haben viele Schrauben, Räder und Einstellungen (die sogenannten Hyperparameter), die Sie justieren können, um die schnellste Zeit zu erzielen. Das Problem ist: Es gibt Millionen von Kombinationen, und Sie haben nur begrenzte Zeit und Benzin (Rechenleistung), um sie alle auszuprobieren.

Diese Studie fragt im Grunde: Wer ist der bessere Mechaniker?

1. Der klassische Mathematiker (Algorithmen wie CMA-ES oder TPE), der strikte Regeln und Wahrscheinlichkeiten befolgt.
2. Der KI-Assistent (ein großes Sprachmodell, LLM), der wie ein erfahrener, aber manchmal vergesslicher Ingenieur denkt und sogar den Bauplan (den Code) selbst umschreiben kann.
3. Ein neuer Hybrid, der beide kombiniert.

Hier ist die Geschichte der Studie, einfach erklärt:

1. Der klassische Mathematiker vs. der KI-Assistent (im festen Bereich)

Stellen Sie sich vor, Sie dürfen nur in einem fest umzäunten Garten suchen (ein fester Suchraum). Sie müssen die besten Blumen finden, dürfen aber nicht über den Zaun klettern.

• Der klassische Mathematiker: Er hat eine Landkarte und ein kompass. Er weiß genau, wo er schon war und wo er als Nächstes suchen muss. Er ist extrem effizient, macht kaum Fehler und findet die besten Blumen sehr schnell.
• Der KI-Assistent: Er ist kreativ und hat viel Wissen über Blumen. Aber in diesem kleinen, festen Garten stolpert er oft. Er vergisst manchmal, wo er war, probiert Dinge aus, die gar nicht funktionieren (er lässt den Motor überhitzen, was im Experiment als "OOM" – Out of Memory – bezeichnet wird), und braucht viel länger, um das Gleiche zu erreichen wie der Mathematiker.

Das Ergebnis: Im festen Garten gewinnt der klassische Mathematiker klar. Die KI ist hier zu unzuverlässig und vergesslich.

2. Der KI-Assistent mit dem Hammer (Code-Editing)

Jetzt ändern wir die Regeln. Der KI-Assistent darf nicht nur die Schrauben drehen, sondern darf den gesamten Bauplan (den Code) neu schreiben. Er kann die Wände des Gartens einreißen und neue Wege bauen.

• Hier zeigt die KI ihre wahre Stärke. Sie nutzt ihr Verständnis von Sprache und Logik, um den Code direkt zu optimieren.
• Aber: Dafür braucht sie ein riesiges Gehirn. Ein kleines KI-Modell (0,8 Milliarden Parameter) ist wie ein Lehrling, der den Hammer nicht richtig halten kann – er zerstört den Motor. Ein großes Modell (27 Milliarden Parameter) ist wie ein Meisterhandwerker und schafft es, fast genauso gut zu sein wie der klassische Mathematiker, obwohl es nur einen "Open-Source"-Bauplan nutzt.

Das Ergebnis: Wenn die KI den Code selbst schreiben darf, holt sie auf. Aber sie braucht dafür ein sehr großes und teures Gehirn.

3. Die Lösung: "Centaur" – Der Halb-Mensch, Halb-Pferd

Hier kommt die genialste Idee der Studie ins Spiel: Centaur.

Stellen Sie sich vor, Sie verbinden den klassischen Mathematiker (der die Landkarte und den Kompass perfekt beherrscht) mit dem KI-Assistenten (der kreative Ideen hat).

• Wie funktioniert es? Der Mathematiker führt die Suche. Er sagt: "Ich denke, wir sollten hier suchen." Die KI hört zu, bekommt alle seine Notizen (die Landkarte, die Richtung, die Geschwindigkeit) und sagt dann: "Moment, ich habe eine bessere Idee!"
• Die KI darf nur in 30 % der Fälle eingreifen. In den anderen 70 % läuft der Mathematiker weiter.
• Das Überraschende: Die Kombination ist besser als jeder allein! Und noch verrückter: Ein kleiner, billiger KI-Assistent (0,8B) funktioniert in dieser Kombination sogar besser als der riesige (27B).

Warum? Weil der Mathematiker die schwere Arbeit der Navigation übernimmt. Die KI muss nicht den ganzen Weg planen, sie muss nur gelegentlich einen kreativen Impuls geben. Dafür reicht ein kleines Gehirn völlig aus.

Die wichtigsten Lehren für den Alltag

1. Zuverlässigkeit ist wichtiger als Kreativität: Wenn es darum geht, systematisch zu optimieren, ist es besser, einen Algorithmus zu haben, der keine Fehler macht (keine "OOM"-Fehler), als einen, der viele wilde Ideen hat, aber oft abstürzt.
2. Kontext ist König: Eine KI, die nur Zahlen in einem festen Feld ändern darf, ist oft schlechter als ein einfacher Algorithmus. Aber wenn sie den Code selbst schreiben darf, wird sie mächtig.
3. Die beste Teamarbeit: Die Zukunft liegt nicht darin, die KI gegen den klassischen Algorithmus zu stellen, sondern sie zu hybridisieren. Geben Sie der KI die Werkzeuge des Mathematikers, und sie wird zum Super-Optimierer.

Fazit:
Der klassische Mathematiker ist immer noch der König im festen Garten. Aber wenn man ihm einen kreativen KI-Assistenten an die Seite stellt, der nur gelegentlich eingreift, entsteht ein "Centaur", der schneller und besser ist als alles, was wir bisher hatten – und das sogar mit einem kleinen, günstigen KI-Modell.

Technische Zusammenfassung

1. Problemstellung und Motivation

Das Paper untersucht die Leistungsfähigkeit von Large Language Models (LLMs) im Vergleich zu klassischen Hyperparameter-Optimierungsalgorithmen (HPO) beim Training kleiner Sprachmodelle.

• Hintergrund: Frühere Arbeiten (z. B. von Karpathy) zeigten, dass LLM-Agenten durch direktes Editieren von Trainingscode Hyperparameter optimieren können. Andere Studien deuten jedoch darauf hin, dass klassische Methoden wie TPE (Tree-structured Parzen Estimator) innerhalb eines festen Suchraums effizienter sind.
• Zentrale Fragen:
  1. Wie schneiden andere klassische HPO-Methoden im Vergleich zu LLM-Agenten auf dieser Aufgabe ab?
  2. Können LLM-basierte HPO-Methoden klassische Algorithmen übertreffen?
• Herausforderung: Es besteht ein Trade-off zwischen der Fähigkeit von LLMs, domänenspezifisches Wissen (z. B. Transformer-Architekturen) einzubringen, und ihrer Schwierigkeit, den Optimierungszustand über viele Versuche hinweg zuverlässig zu verfolgen (State-Tracking), was oft zu Speicherfehlern (OOM - Out of Memory) führt.

2. Methodik und Experimentelles Setup

Die Autoren nutzten das autoresearch-Framework als Testumgebung, um 9 verschiedene HPO-Methoden unter identischen Bedingungen zu vergleichen.

• Benchmark-Aufgabe: Training eines kleinen Decoder-only-Transformers (ca. 50 Mio. Parameter, basierend auf nanochat) auf dem FineWeb-Datensatz. Die Zielmetrik ist die Validierungs-Bits-per-Byte (val_bpb).
• Ressourcen: Alle Methoden erhielten ein festes Budget von 24 Stunden GPU-Training auf einer NVIDIA H200 (141 GB VRAM). Es wurden 3 Seeds verwendet.
• Suchraum:
  • Fester Suchraum: 14 Hyperparameter (z. B. Lernraten, Batch-Größe, Layer-Tiefe), die automatisch via AST-Parsing (Abstract Syntax Tree) aus dem Trainingscode extrahiert wurden, um menschliche Vorurteile bei der Auswahl zu minimieren.
  • Ungezwungener Suchraum (Unconstrained): Direkte Bearbeitung des Quellcodes (train.py) durch den LLM-Agenten.
• LLM-Infrastruktur: Alle LLM-basierten Methoden verwendeten das Open-Weight-Modell Qwen3.5 (Varianten 0.8B und 27B), self-hosted auf derselben GPU.

Die getesteten Methoden (Kategorien):

1. Klassisch (4): TPE, CMA-ES, SMAC, Random Search.
2. LLM-basiert (4): LLAMBO (zwei Varianten), Karpathy Agent (14 HPs), Karpathy Agent (Code-Direct-Edit).
3. Hybrid (1): Centaur (neu vorgeschlagen).

3. Der hybride Ansatz: Centaur

Ein Hauptbeitrag des Papers ist die Einführung von Centaur, einer Hybrid-Methode, die die Stärken von CMA-ES und LLMs kombiniert.

• Funktionsweise: Centaur teilt den vollständigen internen Zustand von CMA-ES mit dem LLM. Dies umfasst den Mittelwertvektor ($\mu$), die Schrittweite ($\sigma$) und die Kovarianzmatrix ($C$).
• Ablauf: Auf 30 % der Versuche erhält der LLM den Vorschlag von CMA-ES zusammen mit dem Zustand und der Historie der letzten 20 Versuche. Der LLM kann diesen Vorschlag überschreiben (tut dies in fast allen Fällen).
• Lernmechanik: CMA-ES aktualisiert seinen internen Zustand basierend auf allen Ergebnissen, auch denen, die vom LLM generiert wurden. Dies ermöglicht es dem klassischen Optimierer, aus dem gesamten Suchpfad zu lernen, während der LLM domänenspezifisches Wissen einbringt.
• Begründung: CMA-ES ist besonders gut darin, die Optimierungslandschaft zu lernen, aber ihm fehlt Domänenwissen. LLMs haben Intuition für Transformer, scheitern aber oft am State-Tracking. Centaur nutzt CMA-ES als stabilen „Rückgrat" und den LLM als informierten „Störfaktor".

4. Wichtige Ergebnisse

A. Klassische Methoden vs. LLMs im festen Suchraum

• Leistung: Klassische Methoden (insbesondere CMA-ES und TPE) übertrafen reine LLM-basierte Agenten im festen Suchraum konsistent.
• OOM-Rate als kritischer Faktor: Die Vermeidung von Speicherfehlern (OOM) erwies sich als stärkerer Leistungsindikator als die Suchvielfalt.
  • Klassische Methoden (CMA-ES, TPE) hatten niedrige OOM-Raten (11–16 %).
  • Viele LLM-Methoden (z. B. LLAMBO) hatten hohe OOM-Raten (48–61 %), ähnlich wie Random Search, obwohl sie die gesamte Versuchshistorie sahen. Dies zeigt, dass mittlere LLMs (0.8B/27B) Schwierigkeiten haben, zu lernen, welche Suchraumregionen zu OOM führen.
• Ergebnis: Die Einschränkung von LLMs auf einen festen HP-Suchraum nutzt ihre Stärken nicht aus; sie scheitern oft an der Zuverlässigkeit.

B. Ungezwungener Code-Edit (Unconstrained Code Editing)

• Der Karpathy Agent (Code), der direkt den Quellcode editiert, war die einzige reine LLM-Methode, die mit klassischen Methoden konkurrieren konnte.
• Skalierungseffekt: Hier ist die Modellgröße entscheidend. Das 0.8B-Modell war für Code-Editierung unzureichend, während das 27B-Modell gute Ergebnisse erzielte.
• Vergleich: Trotz der Nutzung eines selbstgehosteten Open-Weight-Modells schloss der Code-Edit-Agent die Lücke zu klassischen Methoden erheblich, obwohl klassische Methoden etwa 4-mal schneller konvergierten.

C. Leistung von Centaur (Hybrid)

• Bestes Ergebnis: Centaur erzielte in allen Experimenten die besten Ergebnisse (val_bpb ≈ 0.9763).
• Stabilität: Centaur reduzierte die Varianz über verschiedene Seeds drastisch im Vergleich zu reinem CMA-ES (Standardabweichung sank von 0,0036 auf 0,0005). Der LLM stabilisierte den Optimierer, indem er ungünstige Seeds verhinderte.
• Modellgröße: Überraschenderweise schnitt die 0.8B-Variante von Centaur besser ab als die 27B-Variante.
  • Interpretation: Wenn ein starker klassischer Optimierer den Suchpfad steuert, reicht ein kleines, günstiges LLM aus, um vielversprechende Kandidaten zu verfeinern. Für die Code-Editierung von Grund auf ist jedoch ein großes Modell (27B) notwendig.
• Rolle des LLM: Der LLM sollte nur gelegentlich (ca. 30 % der Versuche) eingreifen. Eine zu hohe LLM-Rate (z. B. 80 %) verschlechterte die Leistung, da CMA-ES die Kontrolle über die Suchtrajektorie behalten muss.

5. Signifikanz und Fazit

• Erkenntnis: Reine LLM-Agenten sind im aktuellen Stadium (mit Open-Weight-Modellen) klassischen HPO-Algorithmen im festen Suchraum unterlegen, primär aufgrund mangelnder Zuverlässigkeit (OOM) und schlechtem State-Tracking.
• Durchbruch: Die Kombination aus klassischem Optimierer und LLM (Centaur) ist überlegen. Sie nutzt die Domänenintuition des LLM, ohne die Stabilität des klassischen Optimierers zu opfern.
• Praxisimplikation:
  • Für feste Suchräume sind klassische Methoden (CMA-ES, TPE) vorzuziehen oder hybride Ansätze.
  • Für komplexe Aufgaben, die Code-Änderungen erfordern, sind große LLMs (27B+) notwendig.
  • Ein kleineres LLM (0.8B) ist kosteneffizient und ausreichend, wenn es als „Assistent" für einen starken klassischen Optimierer dient.
• Zukunft: Mit noch leistungsfähigeren Frontier-Modellen könnte sich das Gleichgewicht zugunsten von LLM-basierten Ansätzen verschieben, insbesondere beim ungezwungenen Code-Edit.

Das Paper demonstriert somit, dass der Weg zu überlegener Automatisierung nicht in der Ersetzung klassischer Optimierer durch LLMs liegt, sondern in deren intelligenter Integration (Hybridisierung), wobei die Zuverlässigkeit des Suchprozesses höher gewichtet wird als reine Suchvielfalt.