🤖 AI

A-Evolve-Training: Autonomous Post-Training of a 30B Model

Dieses Paper berichtet über den ersten öffentlich dokumentierten Fall eines autonomen Systems, das erfolgreich ein End-to-End-Post-Training eines 30B-Frontier-Modells ohne menschliches Eingreifen durchgeführt hat, dabei eine wettbewerbsfähige Leaderboard-Leistung erzielte und die Fähigkeit demonstrierte, seine eigenen irreführenden Evaluierungsmetriken unabhängig zu erkennen und zu korrigieren.

Ursprüngliche Autoren: Zhan Shi, Bing He, Yisi Sang, Hanqing Lu

Veröffentlicht 2026-06-23

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zhan Shi, Bing He, Yisi Sang, Hanqing Lu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein Forscherteam vor, das versucht, einem sehr intelligenten Roboter (einem KI-Modell mit 30 Milliarden Parametern) beizubringen, komplexe Logikrätsel zu lösen. Normalerweise ist dies ein langsamer, menschenintensiver Prozess: Ein Team überlegt sich eine neue Strategie, führt einen Test durch, der Wochen dauert, prüft die Ergebnisse und entscheidet dann, was man beibehält.

Dieses Paper beschreibt ein System namens A-Evolve-Training, das diesen gesamten Prozess autonom durchgeführt hat – ohne dass Menschen über Wochen hinweg die Kontrolle übernommen haben.

Hier ist die Geschichte dessen, was sie getan haben, wie sie es getan haben und was sie entdeckt haben, erklärt durch einfache Analogien.

1. Die große Herausforderung: Das Problem des „teuren Experiments“

Stellen Sie sich vor, das Training einer kleinen KI (wie das alte GPT-2) wäre wie das Backen eines einzelnen Kekses. Es dauert ein paar Minuten, kostet fast nichts, und wenn er verbrennt, werfen Sie ihn einfach weg und backen einen neuen. Sie können an einem Nachmittag 1.000 Rezepte ausprobieren.

Das Training einer massiven „Frontier“-KI (30 Milliarden Parameter) ist wie das Backen eines riesigen, mehrtägigen Banketts für eine ganze Stadt. Es dauert Wochen, kostet ein Vermögen an Strom und Hardware, und wenn Sie das Rezept vermasseln, können Sie es nicht einfach „mal eben schnell wiederholen“. Sie müssen unglaublich vorsichtig sein.

Frühere KI-Forschungsagenten waren gut darin, Kekse zu backen (kleine Modelle). Dieses Team fragte sich: Kann ein KI-Agent das riesige Bankett backen, ohne dass ein menschlicher Koch über seine Schulter wacht?

2. Die Lösung: Die „unveränderliche Küche“ und die „Reset-Knöpfe“

Um dies umzusetzen, musste das Team ein großes Problem lösen: Konsistenz. Wenn Sie eine KI den Ofen, die Zutaten und die Messbecher ändern lassen, bei jedem Mal, wenn sie ein neues Rezept ausprobiert, werden Sie nicht wissen, ob der Kuchen fehlgeschlagen ist, weil das Rezept schlecht war oder weil der Ofen kaputt war.

Sie entwarfen das System nach drei Regeln, unter Anwendung des Prinzips der „Symmetrischen Freiheit“:

Die unveränderliche Küche (Das Substrat): Stellen Sie sich eine Küche vor, in der Ofen, Arbeitsflächen und die grundlegenden Werkzeuge von einem Menschen fest vorgegeben sind. Keine KI darf diese verändern. Dies stellt sicher, dass jedes Experiment von exakt demselben, perfekten Basispunkt aus startet.
Der Reset-Knopf (Arbeiter ohne Gedächtnis): Anstatt einen „Daten-Agenten“ zu haben, der einen halbgebackenen Kuchen an einen „Back-Agenten“ übergibt, der ihn dann an einen „Ess-Agenten“ weiterreicht, verwendet das System 8 identische Klone.
- In jeder Runde werden 8 Klone erstellt.
- Jeder Klon erhält eine frische Kopie der gesperrten Küche.
- Jeder Klon probiert eine andere Variation (z. B. „mehr Schokolade hinzufügen“, „länger backen“, „das Mehl ändern“).
- Sie backen, probieren und berichten.
- Entscheidend: Wenn die Runde vorbei ist, wird alles weggeworfen. Die nächste Runde beginnt mit 8 frischen Klonen und einer frischen Küche. Dies verhindert, dass sich „schlechte Angewohnheiten“ oder versteckte Fehler über die Zeit aufbauen.
Der Chefkoch (Der Meta-Agent): Ein zentraler KI-Agent liest die Berichte der 8 Klone. Er verändert nicht die Küche, sondern nur das Instruktionshandbuch für die nächste Runde. Er entscheidet: „Okay, die Schokoladen-Idee hat funktioniert, aber die Mehl-Idee ist fehlgeschlagen. Versuchen wir beim nächsten Mal mehr Variationen rund um das Thema Schokolade.“

3. Das Ergebnis: Die Menschen geschlagen (fast)

Das System lief über vier Runden während mehrerer Wochen.

Die Punktzahl: Das finale KI-Modell erreichte 0,86 bei einer schwierigen Denkaufgabe.
Der Vergleich: Das beste menschliche Team erreichte 0,87.
Die Platzierung: Die KI belegte den 8. Platz von etwa 4.000 Teilnehmern.

Dies ist eine enorme Leistung, denn es beweist, dass eine KI eine komplexe, mehrwöchige Forschungskampagne völlig autonom durchführen kann und dabei Ergebnisse erzielt, die von denen der besten menschlichen Teams kaum zu unterscheiden sind.

4. Die eigentliche Entdeckung: „Die Falle der einfachen Metrik“

Der interessanteste Teil des Papers ist nicht nur die Punktzahl; es ist der Moment, in dem die KI ihre eigenen Anweisungen austrickste.

Die Falle: Zu Beginn wurde die KI angewiesen, ihren „internen Entwicklungs-Score“ (einen Testlauf) zu maximieren. Sie fand einen Trick: Sie konnte ihren internen Score durch eine Überfokussierung auf eine spezifische Art von Logikrätsel (Gleichungen) auf Rekordwerte treiben.
Die Erkenntnis: Die KI bemerkte, dass selbst wenn ihr interner Score perfekt war, ihre Leistung auf der echten Bestenliste sich nicht bewegte. Sie erkannte: „Warte, ich werde zwar besser im Test, aber ich werde nicht wirklich klüger im echten Spiel. Der Test lügt mich an.“
Die Kehrtwende: Anstatt blindlings dem hohen internen Score nachzujagen, änderte die KI ihre eigene Strategie. Sie entschied sich, die einfache Metrik zu ignorieren und stattdessen Dinge auszuprobieren, die den internen Score zwar senken könnten, aber tatsächlich der echten Bestenliste helfen würden.
Warum das wichtig ist: Dies ist das erste Mal, dass ein autonomes System erkannt hat, dass sein eigenes Messwerkzeug fehlerhaft war, und seine eigene Suchstrategie korrigiert hat. Sie hat nicht nur optimiert; sie hat eine Schwachstelle in den Regeln des Spiels entdeckt und die Art und Weise geändert, wie sie das Spiel spielt.

Zusammenfassung

Dieses Paper behauptet, dass zum ersten Mal eine KI erfolgreich eine vollständige, End-to-End-Forschungskampagne auf einem massiven Modell ohne menschliche Hilfe durchgeführt hat.

Sie hat nicht nur Befehle befolgt: Sie hat begriffen, wann ihr eigener „Bewertungsbogen“ irreführend war, und hat daraufhin ihren Ansatz geändert.
Sie hat nicht nur Kekse gebacken: Sie hat das riesige Bankett gebacken und damit bewiesen, dass autonome Forschung in einem Maßstab funktioniert, in dem Fehler extrem teuer sind.
Das Fazit: Wir bewegen uns von KIs, die innerhalb einer festen Box optimieren, hin zu KIs, die die Box neu gestalten können, wenn sie merken, dass die Box falsch ist.

Die Autoren betonen vorsichtig, dass dies ein „erster Schritt“ ist und kein fertiges Produkt, aber es setzt den Maßstab dafür, wozu autonome KI-Forschung heute bereits fähig ist.

Technisches Resümee: A-Evolve-Training

Problemstellung
Aktuelle autonome Forschungssysteme, wie etwa die „AI Scientist“-Arbeitsgruppe, operieren in einem Maßstab (z. B. GPT-2-Klasse, ~124 Mio. Parameter), in dem die Kosten für einen einzelnen experimentellen Versuch vernachlässigbar sind. In diesem Regime können Schleifen auf billige Retries, exhaustive Sweeps und spezialisierte Agenten, die Zwischenzustände übergeben, vertrauen. Das Frontier-Post-Training (z. B. 30B+ Parameter) stellt jedoch eine fundamental andere Kostenstruktur dar: Ein einzener Trainingslauf dauert Wochen auf H200-GPU-Clustern, und das Rauschen in einem einzelnen Lauf ist bindend statt ausgleichbar. Das Kernproblem besteht darin, ob eine autonome Schleife unter diesen „Frontier“-Bedingungen effektiv schließen kann, wo die bei kleinem Maßstab kostenlosen Schritte (Retries, Zustands-Komponierung) prohibitiv teuer werden und der Suchraum komplexe Code- und Datenrezepte umfasst, statt nur feste Hyperparameter.

Methodik: Das A-Evolve-Training-System
Die Autoren schlagen ein System vor, das speziell darauf ausgelegt ist, die Kostenstruktur des Frontier-Post-Trainings zu überstehen. Die Architektur basiert auf drei Säulen, die durch das Prinzip der asymmetrischen Freiheit vereinheitlicht werden: Null Freiheit auf Achsen, die für die Vergleichbarkeit invariant bleiben müssen, und maximale Freiheit auf Achsen, auf denen die Exploration Wert schafft.

Immutables Referenz-Substrat:
Das System verankert sich auf einem einzigen, von Menschen verifizierten Workspace (default/), der den Basis-Checkpoint, die Datenkonstruktions-Pipeline und den Trainings-/Evaluierungscode enthält. Jede Runde forkt von diesem immutablen Substrat aus. Entscheidend ist, dass das Substrat niemals durch ein „Gewinner-Rezept“ überschrieben wird und keine Runde von einem Gewinner einer vorangegangenen Runde forkt. Dies stellt sicher, dass alle Kandidaten gegen denselben Boden gemessen werden, was das Drift-Verhalten und die unobservierte Varianz verhindert, die früheren Designs mit spezialisierten Agenten, die Zwischenzustände weiterreichen, plagten.
Homogene, gedächtnisfreie Worker:
Anstatt spezialisierter Agenten (z. B. eines Daten-Agenten, der an einen Trainer übergibt), startet jede Runde $N=8$ identische Full-Stack-Agenten. Jeder Worker ist einer spezifischen Achse zur Exploration zugewiesen (z. B. Datenmischung, Schedule, Filtering) und arbeitet unabhängig, ohne Zustände über Runden hinweg zu tragen. Dieses Design vermeidet die Komponierung unobservierter Varianz, die auftritt, wenn Agenten auf den Zwischenzuständen der jeweils anderen aufbauen.
Evidenzaggregation auf Rundenebene & Promotion nur der Policy:
Die Selektion erfolgt auf der Ebene der Runde, nicht auf der Ebene des einzelnen Kandidaten. Ein „One-Shot“-Collector-Agent aggregiert die Ergebnisse aller Worker in einen Bericht mit festem Schema. Ein Meta-Agent, der durch eine gefrorene „Konstitution“ (ein schreibgeschützter System-Prompt, den er nicht modifizieren kann) beschränkt ist, schreibt die rollierende Suchstrategie (Search Policy) für die nächste Runde basierend auf dieser Evidenz neu.
- Promotionsmechanismus: Das System befördert kein spezifisches Rezept in das Substrat. Stattdessen aktualisiert es die Policy (z. B. welche Achsen zu explorieren sind, was das Basis-Rezept sein sollte, wo die Rauschschwelle liegt). Das Substrat bleibt statisch; nur die Suchstrategie entwickelt sich weiter.

Wesentliche Beiträge

Skalierung autonomer Schleifen auf die Frontier-Klasse: Die Arbeit berichtet über den ersten öffentlich bekannten autonomen Post-Training-Lauf auf der 30B-Parameter-Skala, der über mehrere Wochen auf GPU-Clustern ohne menschliches Eingreifen zwischen der initialen Substrat-Einrichtung und der finalen Einreichung durchgeführt wurde.
Architektonischer Wandel für High-Cost-Umgebungen: Die Autoren zeigen, dass das Paradigma der „spezialisierten Agenten“ bei Skalierung aufgrund der Zustands-Komponierung versagt. Sie schlagen „gedächtnisfreie, homogene Worker“ und ein „immutables Substrat“ als notwendiges Designmuster für High-Cost-, Low-Retry-Umgebungen vor.
Autonome Entdeckung von Proxy-Fehlern: Das System optimierte nicht bloß innerhalb eines fixen Rahmens; es detektierte, dass seine interne Entwicklungsmetrik zu einem irreführenden Proxy für die externe Performance geworden war. Speziell identifizierte die Schleife, dass die Maximierung der Performance auf einer spezifischen „schwachen“ Reasoning-Domäne (was die internen Scores auf Rekordhöhen trieb) sich nicht in der externen Leaderboard-Leistung niederschlug. Infolgedessen revidierte die Schleife autonom ihre Suchstrategie, um den internen Proxy auf dieser Domäne zu senken, während sie das externe Ziel verbesserte – eine Aktion, die die eigene Suchprämisse faktisch widerlegte.

Ergebnisse

Performance: Das autonom erzeugte Modell erreichte einen Score von 0,86 auf der NVIDIA Nemotron-Reasoning Challenge im Vergleich zum besten menschlichen Submission-Score von 0,87. Dies platzierte das autonome System auf Platz 8 von etwa 4.000 Einträgen.
Konvergenz: Das System lief über vier Runden und zeigte eine monotone Verbesserung.
Strategische Umkehrung: In späteren Runden entdeckte das System, dass das Drängen auf die interne Metrik (speziell in einer schwachen Reasoning-Domäne) nicht länger der kausale Flaschenhals war. Es invertierte sein Ziel: Es suchte nach Interventionen, die den internen Proxy senkten, aber das externe Ziel verbesserten – ein Schritt, der für einen reinen Fixed-Optimization-Agenten kontraintuitiv wäre.
Beleg der Skalierbarkeit: Dasselbe System wurde auf 120B- und 550B-Nemotron-Modelle angewendet und demonstrierte, dass die Schleife auch bei diesen Skalen schließt, wobei die Autoren die Behauptung einer Wettbewerbsfähigkeit mit menschlichen Rezeptaten bei diesen Größen aufgrund fehlender öffentlicher menschlicher Baselines für diese spezifischen Modelle vertagen.

Bedeutung und Ansprüche
Die Arbeit nimmt eine bescheidene, operationale Sicht auf „rekursive Selbstverbesserung“ (RSI) ein. Sie behauptet nicht, RSI gelöst oder menschliche Forscher in allgemeiner Hinsicht erreicht zu haben. Stattdessen behauptet sie, eine spezifische, prüfbare Hürde genommen zu haben: die Fähigkeit eines autonomen Systems, ein End-to-End Post-Training eines Frontier-Class-Modells durchzuführen.

Die Autoren argumenten, dass die signifikanteste Erkenntnis nicht der finale Score ist, sondern die Fähigkeit des Systems, die Regeln seiner eigenen Suche zu revidieren. Durch die Detektion, dass sein Messrahmen irreführend geworden war, und die autonome Änderung dessen, was als Evidenz galt (der Wechsel von der Maximierung des internen Proxys zur Optimierung des externen Ziels trotz des Rückgangs des Proxys), demonstrierte das System „Entdeckung“ statt bloßer „Optimierung“. Dies deutet darauf hin, dass skalierte autonome Schleifen Erkenntnisse produzieren können, die außerhalb der Vorannahmen eines Operators darüber liegen, was als valide Evidenz gilt.

Die Arbeit schließt mit dem Hinweis, dass dieses Ergebnis zwar ein einzelner Datenpunkt mit Limitationen ist (ein einzelnes Basismodell, ein Benchmark, vor-auditiertes Substrat), aber beweist, dass die Hürde für autonomes Frontier-Post-Training erreichbar ist und dass solche Schleifen selbstkorrigierende Verhaltensweisen hinsichtlich ihrer Suchstrategien aufweisen können.

1. Die große Herausforderung: Das Problem des „teuren Experiments“

2. Die Lösung: Die „unveränderliche Küche“ und die „Reset-Knöpfe“

3. Das Ergebnis: Die Menschen geschlagen (fast)

4. Die eigentliche Entdeckung: „Die Falle der einfachen Metrik“

Zusammenfassung

Mehr davon