🤖 machine learning

G-Zero: Self-Play for Open-Ended Generation from Zero Data

G-Zero ist ein verifiziererfreies, ko-evolutionäres Framework, das eine offene LLM-Selbstverbesserung ermöglicht, indem es eine intrinsische „Hint- $\delta$ "-Belohnung nutzt, um ein Proposer-Modell zu trainieren, herausfordernde Anfragen und Hinweise zu generieren, aus denen ein Generator-Modell dann mittels DPO lernt, wodurch die Einschränkungen externer Richter umgangen werden.

Ursprüngliche Autoren: Chengsong Huang, Haolin Liu, Tong Zheng, Runpeng Dai, Langlin Huang, Jinyuan Li, Zongxia Li, Zhepei Wei, Yu Meng, Jiaxin Huang

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Chengsong Huang, Haolin Liu, Tong Zheng, Runpeng Dai, Langlin Huang, Jinyuan Li, Zongxia Li, Zhepei Wei, Yu Meng, Jiaxin Huang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich einen brillanten Schüler (den Generator) vor, der klüger werden möchte, aber in einem Raum feststeckt, ohne Lehrer, ohne Lehrbücher und ohne Lösungsschlüssel. Normalerweise braucht ein Schüler zum Lernen einen Lehrer, der sagt: „Das ist falsch, versuche stattdessen dies." Ohne einen Lehrer könnte der Schüler nur raten oder in denselben Fehlern stecken bleiben.

Diese Arbeit stellt eine neue Methode vor, mit der KI-Modelle ohne menschlichen Lehrer oder externen „Bewerter" lernen können, der ihre Arbeit bewertet. Sie nennen dieses System G-Zero.

So funktioniert es, anhand einer einfachen Analogie:

Die zwei Charaktere: Der „Trainer" und der „Schüler"

Anstatt eines einsamen Schülers nutzt G-Zero zwei KI-Modelle, die in einer Schleife zusammenarbeiten:

Der Generator (Der Schüler): Dies ist das Modell, das wir verbessern wollen. Es versucht, Fragen zu beantworten.
Der Proposer (Der Trainer): Dies ist ein zweites Modell, dessen Aufgabe es ist, herauszufinden, wo der Schüler schwach ist und wie man ihm helfen kann.

Die Geheimwaffe: „Hint-δ" (Der Funke)

Das größte Problem beim Selbstlernen lautet: Wie weiß das Modell, dass es besser wird, wenn es keinen Lösungsschlüssel gibt?

G-Zero löst dies mit einem cleveren Trick namens Hint-δ. Hier ist der Prozess:

Die Herausforderung: Der Trainer (Proposer) stellt eine knifflige Frage und gibt einen Hinweis.
Der Test: Der Schüler (Generator) versucht, die Frage ohne den Hinweis zu beantworten. Nennen wir dies die „Kampf-Antwort".
Der Wechsel: Dann versucht der Schüler es erneut, diesmal jedoch mit dem Hinweis. Nennen wir dies die „Aha!-Antwort".
Die Messung: Das System misst den „Schock" oder die Veränderung im Gehirn des Schülers. Hat der Hinweis dazu geführt, dass der Schüler die Antwort plötzlich viel besser verstanden hat?
- Wenn der Schüler bereits gut war, ändert der Hinweis nicht viel. (Niedrige Punktzahl).
- Wenn der Hinweis nutzlos war, ändert sich beim Schüler nicht viel. (Niedrige Punktzahl).
- Der Sweet Spot: Wenn die Frage schwer war und der Hinweis genau das war, was der Schüler brauchte, um die Antwort zu entschlüsseln, verändert sich das Gehirn des Schülers dramatisch. Dies erzeugt eine hohe Punktzahl.

Die Analogie: Stellen Sie sich vor, Sie versuchen, ein Puzzle zu lösen.

Wenn Sie es leicht lösen, hilft ein Hinweis nicht viel.
Wenn der Hinweis Unsinn ist, können Sie es immer noch nicht lösen.
Aber wenn Sie feststecken und jemand Ihnen das genaue fehlende logische Stück zuflüstert, geht es in Ihrem Gehirn „Klick!". Dieses „Klick!" ist der Hint-δ. Es beweist, dass der Hinweis wertvoll war und die Frage herausfordernd.

Die Trainings-Schleife: Wie sie besser werden

Das System läuft in zwei Phasen immer wieder ab:

Phase 1: Der Trainer wird besser darin, Schwachstellen zu finden.
Der Trainer wird belohnt, wenn er eine Frage findet, die den Schüler in die Knie zwingt und einen Hinweis liefert, der das Problem löst. Der Trainer lernt, keine leichten Fragen mehr zu stellen und keine schlechten Hinweise mehr zu geben. Er lernt, nach den „blinden Flecken" des Schülers zu jagen.

Phase 2: Der Schüler lernt aus den „Aha!"-Momenten.
Dem Schüler werden Paare von Antworten gezeigt: die „Kampf-Antwort" (abgelehnt) und die „Aha!-Antwort" (ausgewählt). Der Schüler wird trainiert, die Version zu bevorzugen, die den Hinweis verwendet hat.

Die Magie: Mit der Zeit lernt der Schüler den Stil und die Logik der Hinweise. Schließlich kann der Schüler diese hochwertigen Antworten ohne den Hinweis produzieren. Der Schüler hat die Anleitung des Trainers internalisiert.

Warum das eine große Sache ist

Keine externen Bewerter nötig: Normalerweise braucht KI einen Menschen oder eine sehr intelligente KI, die sagt: „Diese Antwort ist gut." Das setzt eine Obergrenze; die KI kann nie klüger werden als der Bewerter. G-Zero entfernt den Bewerter vollständig. Die KI bewertet sich selbst basierend darauf, wie stark ihr eigenes Verständnis sich verändert.
Funktioniert bei kreativen Aufgaben: Bisherige Methoden funktionierten nur bei Mathematik oder Code (wo es eine klare richtige/falsche Antwort gibt). G-Zero funktioniert bei offenen Aufgaben wie dem Schreiben von Geschichten, dem Geben von Ratschlägen oder dem Chatten, wo es keine einzelne „korrekte" Antwort gibt.
Selbstverbessernd: Die Arbeit zeigt, dass die Modelle nach nur zwei Durchläufen dieser Schleife in Mathematik, Programmierung und Schreiben deutlich besser wurden, obwohl sie mit null externen Daten starteten.

Der Haken (Einschränkungen)

Die Arbeit weist darauf hin, dass dieser „Rüstungswettlauf" zwischen Trainer und Schüler manchmal schiefgehen kann. Wenn der Trainer zu trickreich wird, könnte der Schüler verwirrt werden oder das System könnte abstürzen (ein „Zusammenbruch"). Sie stellten auch fest, dass das System am besten funktioniert, wenn es die leichtesten und schwierigsten Beispiele herausfiltert und sich auf das „gerade richtige" Schwierigkeitsniveau konzentriert.

Zusammenfassung

Denken Sie an G-Zero als ein autonomes Fahrzeug, das lernt, besser zu fahren, indem es erkennt: „Wow, als ich die Straße so betrachtet habe, habe ich die Kurve viel besser verstanden." Es braucht keinen Fahrlehrer; es muss nur die Momente bemerken, in denen eine kleine Änderung der Perspektive zu einer großen Verbesserung des Verständnisses führt. Indem es diese Momente der Klarheit verfolgt, bringt sich die KI selbst bei, klüger zu sein.

Technische Zusammenfassung: G-Zero

1. Problemstellung

Selbstentwickelnde Large Language Models (LLMs) haben in verifizierbaren Domänen (z. B. Mathematik, Code) erhebliche Erfolge gezeigt, in denen programmatische Orakel die Grundwahrheit für Reinforcement Learning from Verifiable Rewards (RLVR) bereitstellen. Diese Modelle haben jedoch Schwierigkeiten in offenen Domänen (z. B. kreatives Schreiben, Dialog, Befolgung von Anweisungen), in denen keine objektiven Verifizierer existieren.

Derzeitige Ansätze für diese nicht verifizierbaren Aufgaben verlassen sich stark auf LLM-as-a-Judge-Mechanismen zur Erzeugung von Ersatz-Belohnungssignalen. Die Arbeit identifiziert zwei kritische Einschränkungen dieses Paradigmas:

Leistungsengpass: Die Leistungsgrenze des sich entwickelnden Modells ist fundamental durch die Fähigkeiten des Bewertungsmodells begrenzt.
Reward Hacking: Modelle neigen dazu, die stilistischen Schwachstellen des Bewerters (z. B. Verzerrungen, Formatierungspräferenzen, Wortfülle) auszunutzen, anstatt die Antwortqualität tatsächlich zu verbessern.

Die zentrale Frage lautet: Wie kann Selbstentwicklung in nicht verifizierbaren Domänen skalieren, ohne sich auf externe Bewerter zu verlassen oder die Pathologien von Proxy-Belohnungssignalen zu internalisieren?

2. Methodik: Das G-Zero-Framework

G-Zero ist ein bewerterfreies, koevolutionäres Framework, das Supervision vollständig aus internen Verteilungsdynamiken ableitet. Es arbeitet durch die Interaktion zweier Modelle: eines Vorschlägers ( $\pi_P$ ) und eines Generators ( $\pi_G$ ).

2.1 Das intrinsische Signal: Hint- $\delta$

Die Kerninnovation ist Hint- $\delta$ , ein intrinsisches Belohnungssignal, das die prädiktive Verschiebung in der Verteilung des Generators quantifiziert, wenn es auf einen selbstgenerierten Hinweis konditioniert wird.

Mechanismus: Für eine Abfrage $q$ erzeugt der Generator eine ungestützte Antwort $a_{hard}$ . Anschließend wird ein Hinweis $h$ bereitgestellt, und der Generator erzeugt eine hinweis-konditionierte Antwort $a_{assisted}$ .
Berechnung: Hint- $\delta$ ist die pro-Token-Mittelwert-Differenz der Log-Likelihood zwischen der ungestützten und der hinweis-konditionierten Verteilung:
$\delta(q, h, a_{hard}) = \frac{1}{T} \sum_{t=1}^{T} \left[ \log \pi_G(a_t | q, a_{<t}) - \log \pi_G(a_t | q, h, a_{<t}) \right]$
Eigenschaften: Ein hoher $\delta$ -Wert tritt nur auf, wenn die Abfrage für den Generator tatsächlich herausfordernd ist (ungestützte Antwort ist fehlerhaft) UND der Hinweis notwendige, fehlende Informationen liefert. Dieses Signal ist invariant gegenüber der Antwortlänge und wird vollständig aus den eigenen Log-Wahrscheinlichkeiten des Generators berechnet, wodurch externe Bewertungsverzerrungen eliminiert werden.

2.2 Koevolutionärer Loop

Das Framework arbeitet in iterativen Runden, die zwei Phasen umfassen:

Phase 1: Vorschläger-Training (GRPO)

Ziel: Training von $\pi_P$ , um herausfordernde Abfragen ( $q$ ) zu synthetisieren, die mit informativen Hinweisen ( $h$ ) gepaart sind und den $\delta$ -Wert des Generators maximieren.
Optimierung: Verwendung von Group Relative Policy Optimization (GRPO).
Belohnungsfunktion: $r(q, h) = \delta(q, h, a_{hard}) - P_{length} - P_{BLEU}$ $r (q, h) = δ (q, h, a_{ha r d}) - P_{l e n g t h} - P_{B L E U}$ .
- $P_{length}$ : Bestraft Hinweise, die ein Zeichenbudget (~200 Zeichen) überschreiten, um wortfülliges Reward Hacking zu verhindern.
- $P_{BLEU}$ : Bestraft repetitive Abfragegenerierung, um eine Abdeckung der Exploration sicherzustellen.
Ergebnis: Der Vorschläger zielt auf die „blinden Flecken" des Generators ab und erstellt einen Lehrplan zunehmend schwierigerer Aufgaben.

Phase 2: Generator-Training (DPO)

Ziel: Training von $\pi_G$ , um die strukturellen und logischen Verbesserungen zu internalisieren, die durch die Hinweise vorgeschlagen werden.
Datencuration:
- Der Vorschläger generiert $(q, h)$ -Paare.
- Der Generator erzeugt $a_{hard}$ (ohne Hinweis) und $a_{assisted}$ (mit Hinweis).
- Filterstrategie: Im Gegensatz zum Vorschläger, der hohe $\delta$ $δ$ -Werte anstrebt, behält der Trainingsdatensatz des Generators ( $D_{R+1}$ $D_{R + 1}$ ) Paare in der unteren Hälfte der $\delta$ $δ$ -Verteilung.
  - Begründung: Hoch- $\delta$ -Paare repräsentieren oft „Antwort-Leckagen" (Hinweise verraten die Lösung), was den impliziten KL-Beschränkungen von DPO widerspricht. Niedrig- $\delta$ -Paare repräsentieren „schwer zu unterscheidende" Signale, bei denen der Hinweis subtile, strukturelle Verfeinerungen statt trivialer Korrekturen bewirkt.
Optimierung: Verwendung von Direct Preference Optimization (DPO) mit einem längen-normalisierten Verlust.
- Ausgewählt ( $y_w$ ): $a_{assisted}$ (hinweisgesteuert).
- Abgelehnt ( $y_l$ ): $a_{hard}$ (ungestützt).
- Referenzmodell: Ein eingefrorener Schnappschuss von $\pi_G$ vom Beginn der Runde.

3. Theoretische Analyse

Die Arbeit bietet eine theoretische Garantie für eine idealisierte Standard-DPO-Variante von G-Zero.

Annahmen: Das Framework geht von einer linearen Belohnungsstruktur, einem Bradley-Terry-Präferenzmodell und der Annahme aus, dass der Vorschläger eine ausreichende Abdeckung der Exploration induziert (via der BLEU-Belohnung), während der $\delta$ -Filter das Rauschen der Pseudo-Labels ( $\eta_\delta$ ) niedrig hält.
Ergebnis (Theorem 1): Unter diesen Bedingungen existiert ein Iterationsschritt $t_0$ , sodass die Suboptimalitätslücke $J(\pi^*) - J(\pi_{t_0})$ durch Terme begrenzt ist, die sich auf die Sample-Komplexität und das Rauschniveau beziehen. Spezifisch hängt die Schranke von der vom Vorschläger induzierten Abdeckung und dem Rauschen des $\delta$ -zertifizierten Pseudo-Label-Scores ab. Dies beweist, dass der koevolutionäre Loop ohne externe Verifizierer zu einer nahezu optimalen Richtlinie konvergieren kann.

4. Experimentelle Ergebnisse

Experimente wurden mit Qwen3-8B-Base und Llama-3.1-8B-Instruct über zwei Runden der Selbstentwicklung durchgeführt.

Offene Aufgaben:
- AlpacaEval 2.0 (Chat): G-Zero erzielte erhebliche Verbesserungen. Für Llama-3.1 stieg die längenkontrollierte Gewinnrate von 24,12 % (Basis) auf 27,86 % (Runde 2).
- IFEval (Befolgung von Anweisungen): Verbesserungen wurden bei der strikten und losen Befolgung von Anweisungen für beide Modelle beobachtet.
Verifizierbare Aufgaben (Transfer):
- Mathematik (AIME24/AIME25): Obwohl hauptsächlich auf nicht verifizierbaren, offenen Daten trainiert, zeigte G-Zero signifikante Verbesserungen im logischen Schlussfolgern.
  - Qwen3-8B-Base: Der AIME25-Score sprang nach Runde 2 von 7,19 % auf 12,40 %.
  - Llama-3.1-8B-Instruct: AIME25 verbesserte sich von 0,42 % auf 0,63 % (wobei die Basis sehr niedrig war, aber die Gewinne konsistent waren).
Vergleich mit R-Zero:
- R-Zero (eine bewerterbasierte Methode) zeigte starke Gewinne in der Mathematik, litt jedoch unter einem Leistungsabfall in konversationellen und anweisungsfolgenden Aufgaben (z. B. sank Qwen3 Chat von 8,94 % auf 8,04 %).
- G-Zero hielt die Leistung über alle Metriken (Chat, IFEval, Mathematik) aufrecht oder verbesserte sie und demonstrierte robuste Generalisierbarkeit ohne die Kompromisse, die bei bewerterbasierten Methoden zu beobachten sind.

Wichtige Analyseergebnisse:

Struktureller Transfer: Die Trainingsdaten wurden zu mehr als 70 % von nicht verifizierbaren Aufgaben (Ratschläge, Schreiben) dominiert. Die Verbesserungen im logischen Schlussfolgern in der Mathematik wurden der Internalisierung logischer Tiefe und kompositioneller Komplexität aus diesen offenen Aufgaben zugeschrieben, anstatt domänenspezifischem Auswendiglernen.
Koevolutionärer Wettrüsten: Die Verteilung von Hint- $\delta$ verschob sich in Runde 2 nach rechts, was darauf hindeutet, dass der Vorschläger, während sich der Generator verbesserte, erfolgreich komplexere und wirkungsvollere Hinweise synthetisierte, um das Lernsignal aufrechtzuerhalten.

5. Bedeutung und Beiträge

Die Arbeit beansprucht drei Hauptbeiträge:

Ein bewertersfreies koevolutionäres Framework: G-Zero ermöglicht kontinuierliche Selbstverbesserung in offenen Domänen, indem es externe Bewerter durch ein intrinsisches Signal (Hint- $\delta$ ) ersetzt, das aus den eigenen prädiktiven Verschiebungen des Modells abgeleitet wird.
Theoretische Charakterisierung: Die Autoren formalisieren den koevolutionären Loop und beweisen eine Garantie für die Suboptimalität des besten Iterationsschritts, was zeigt, dass Selbstentwicklung theoretisch fundiert ist, sofern der Vorschläger Exploration sicherstellt und der Filter die Datenqualität aufrechterhält.
Empirische Validierung des domänenübergreifenden Transfers: Die Arbeit demonstriert, dass Modelle logische Schlussfolgerungsmuster aus nicht verifizierbaren, offenen Aufgaben internalisieren und erfolgreich auf strenge, verifizierbare Domänen wie Mathematik übertragen können. Dies stellt die Annahme in Frage, dass Selbstentwicklung verifizierbare Orakel oder externe Bewerter zur Skalierung benötigt.

Fazit:
G-Zero bietet einen skalierbaren, robusten Pfad für die autonome Selbstentwicklung von LLMs. Durch die Ableitung von Supervision aus internen Verteilungsdynamiken umgeht es die Leistungsgrenzen und die Anfälligkeit für Reward Hacking externer Bewerter und beweist, dass Modelle ihre Fähigkeiten ausschließlich mit intrinsischem Feedback steigern können.