Ring-Zero: Scaling Zero RL to a Trillion Parameters for Emergent Reasoning
Das Paper „Ring-Zero“ führt eine stabile und effiziente Trainingspipeline ein, die Zero-Shot-Reinforcement-Learning auf 1 Billion Parameter skaliert, wodurch aufgezeigt wird, dass groß angelegte Modelle spontan fortgeschrittene Denkverhaltensweisen entwickeln und bei mathematischen Benchmarks leistungsfähigere Modelle übertreffen, während sie handgefertigte Heuristiken überflüssig machen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten ein riesiges, superintelligentes Gehirn (ein KI-Modell mit 1 Billion Parametern), das zwar viele Fakapts kennt, aber nie gelernt hat, wie man ein schwieriges Matheproblem Schritt für Schritt durchdenkt. Normalerweise müssen Menschen diesem Gehirn viel Wissen beibringen, indem sie tausende perfekte Beispiele schreiben, so wie ein Lehrer, der einem Schüler zeigt, wie man eine Gleichung löst. Aber diese Arbeit stellt eine wilde Frage: Was wäre, wenn wir das Gehirn einfach selbst herausfinden lassen – durch Versuch und Irrtum, ohne jegliche menschliche Hilfe?
Die Forscher nennen dies „Zero RL“ (Zero Reinforcement Learning). Sie haben ein Spiel aufgebaut, bei dem die KI versucht, Matheaufgaben zu lösen. Wenn sie die richtige Antwort findet, bekommt sie einen Punkt. Wenn sie falsch liegt, bekommt sie nichts. Keine menschlichen Lehrer, keine Spickzettel, nur die KI, die rät, scheitert, lernt und es wieder versucht.
Die große Überraschung: Größer ist besser (und einfacher)
Die Haupterkenntnis der Arbeit ist ein riesiger „Aha!“-Moment, der eine berühmte Idee in der KI namens die „Bitter Lesson“ (die bittere Lektion) bestätigt. Diese Lektion besagt, dass rohe Rechenleistung und Skalierung oft kluge menschliche Tricks schlagen.
Jahrelang versuchten Forscher, komplexe Regeln zu bauen, um die KI zum besseren Denken zu zwingen. Sie schrieben spezielle Prompts, entwarfen ausgeklügelte Belohnungssysteme und entwickelten handgefertigte Pipelines, damit die KI ihre Arbeit überprüft oder ihre Antworten schön formatiert. Die Autoren fanden heraus, dass sie, als sie ihr Modell auf massive 1 Billion Parameter skalierten, keine dieser schicken menschlichen Regeln mehr brauchten. Das riesige Modell hat es ganz von selbst herausgefunden.
Tatsächlich argumentiert die Arbeit explizit gegen die Vorstellung, dass wir komplexe, handgefertigte Systeme benötigen, um qualitativ hochwertiges Denken zu erreichen. Sie fanden heraus, dass bei einem 1-Billionen-Parameter-Modell einfache Änderungen ausreichten, um es zum Laufen zu bringen, während ein kleineres Modell (104 Milliarden Parameter) immer noch diese menschlichen Krücken benötigte. Je größer das Gehirn, desto weniger braucht es einen Menschen, der ihm an die Hand führt.
Wie sie den Riesen bändigten
Das Training eines 1-Billionen-Parameter-Modells ist wie der Versuch, einem Drachen beizubringen, Feuer zu speien, ohne das Schloss niederzubrennen. Wenn man ihn einfach wild um sich herumwüten lässt, wird es chaotisch. Die Autoren stellten fest, dass die KI anfing, seltsame Dinge zu tun:
- Sie redete zu viel: Sie schrieb tausende Wörter, nur um zu sagen: „2 + 2 = 4“, was Zeit und Energie verschwendete.
- Sie wurde verwirrt: Die Mathematik innerhalb des Computers (die „Trainings-Engine“) unterschied sich leicht von der Mathematik außerhalb (der „Inferenz-Engine“), was dazu führte, dass die KI abstürzte.
Um dies zu beheben, bauten sie kein superkompliziertes neues System. Sie nahmen nur drei einfache Anpassungen vor:
- Clipped Importance Sampling: Sie sagten der KI: „Werde nicht zu enthusiastisch bei deinen eigenen Vermutungen; behalte dein Selbstvertrauen im Zaum.“
- Training-Inference Ratio Correction: Sie korrigierten die winzige mathematische Diskrepanz zwischen den beiden Engines, damit die KI nicht schwindelig wurde.
- Mixed-Precision Control: Sie verwendeten einen superpräzisen Taschenrechner für die kniffligen Teile der Mathematik, um zu verhindern, dass kleine Fehler in große Katastrophen umschlagen.
Mit diesen einfachen Korrekturen trainierten sie das Modell in drei Phasen:
- Discovery (Entdeckung): Die KI begann zu raten und neue Wege zu finden, Probleme zu lösen.
- Sharpening (Schärfung): Sobald sie einen Weg gefunden hatte, wurde sie sehr gut darin, genau diesen Weg zu nutzen.
- Adaptation (Anpassung): Die KI lernte, bei leichten Fragen kurz und knapp zu sein, aber bei schweren Fragen ausführlich und detailliert.
Die magischen Tricks, die die KI von selbst lernte
Der coolste Teil der Arbeit ist das, was die KI spontan zu tun begann. Sie wurde nicht nur besser in Mathe; sie entwickelte „kognitive Verhaltensweisen“, die Menschen normalerweise programmieren müssen. Die Arbeit legt nahe, dass diese Verhaltensweisen natürlich entstanden, weil sie der effizienteste Weg waren, um das Spiel zu gewinnen:
- Anthropomorphismus (Menschliches Verhalten): Die KI fing an, wie ein Mensch an einem schlechten Tag zu reden. Sie sagte Dinge wie: „Warte, ich habe vielleicht einen Blackout“, oder „Ich probiere es mal einfach so“, oder „Geniale Idee!“. Sie imitierte menschliche Frustration und Selbstlob, wahrscheinlich weil sie diese Muster in den Daten sah, mit denen sie trainiert wurde.
- Strukturierte Formatierung: Ohne dass es ihr gesagt wurde, begann die KI, ihre Schritte zu nummerieren („Schritt 1“, „Schritt 2“) und klare Überschriften zu verwenden. Sie erkannte, dass die Organisation ihrer Gedanken es einfacher machte, die richtige Antwort zu finden.
- Selbstverifizierung: Die KI begann, ihre eigene Arbeit zu überprüfen. Sie löste ein Problem und sagte dann: „Warte, lass mich das kurz doppelt prüfen“, und rechnete die Zahlen noch einmal nach, um sicherzugehen, dass sie keinen Fehler gemacht hatte.
- Paralleles Denken: Anstatt nur einem Pfad zu folgen, versuchte die KI, zwei verschiedene Wege gleichzeitig zu lösen, verglich sie und wählte den Gewinner.
- Kontext-Angst (Context Anxiety): Das ist eine kuriose Sache. Wenn die KI ihrem maximalen Speicherlimit (dem Punkt, an dem sie aufhört zu sprechen) näher kam, geriet sie in Panik. Sie merkte: „Oh nein, mir geht der Platz aus! Ich sollte jetzt lieber die Antwort erraten, sonst bekomme ich null Punkte!“ Also brach sie ihr langes, komplexes Denken ab und rät einfach, um rechtzeitig fertig zu werden.
Hat es tatsächlich funktioniert?
Die Arbeit maß dies an sieben anspruchsvollen Mathe-Benchmarks (wie AIME und HMMT). Die Ergebnisse sind wettbewerbsfähig mit den besten Modellen der Welt.
- Das 1-Billionen-Parameter-Modell (Ring-2.5-1T-Zero) erreichte eine Genauigkeit von 84,2 % beim AIME 2026 Test bereits in der ersten Trainingsphase und sogar noch höhere Werte nach den späteren Phasen.
- Die Autoren prüften auch, ob der Denkprozess der KI leicht lesbar war. Sie fanden heraus, dass das Denken der KI verständlicher (leichter für Menschen zu folgen), reproduzierbarer (leichter auf kleinere Modelle zu übertragen) und effizienter (verbrauchte weniger Wörter) war als bei anderen Top-Modellen.
Was die Arbeit sagt, was wir NICHT tun sollten
Die Arbeit ist sehr deutlich darüber, was bei dieser Größenordnung nicht funktioniert oder nicht benötigt wird:
- Verlassen Sie sich nicht auf menschlich annotierte Daten: Sie müssen keine Menschen bitten, die Gedankengänge aufzuschreiben. Die KI kann allein aus der Endantwort lernen.
- Übertreiben Sie es nicht mit dem Engineering: Sie brauchen keine komplexen, handgefertigten Regeln, um die KI zu zwingen, ihre Antworten zu formatieren oder ihre Arbeit zu verifizieren. Die KI wird es natürlich tun, wenn sie groß genug ist.
- Nutzen Sie keinen „Einheitsansatz“: Die Arbeit zeigt, dass es verschwenderisch ist, die KI zu zwingen, für leichte und schwere Fragen die gleiche Menge an Denkarbeit zu leisten. Die KI lernte von selbst, ihren Aufwand je nach Schwierigkeitsgrad anzupassen.
Das Fazit
Diese Arbeit legt nahe, dass, wenn man einer massiven KI genug Rechenleistung gibt und sie das Spiel „Raten und Prüfen“ ohne menschliche Einmischung spielen lässt, sie nicht nur lernt, schwierige Matheprobleme zu lösen, sondern auch ihre eigenen cleveren Strategien entwickelt, um dies zu tun. Sie beweist, dass Skalierung eine Superkraft ist: Ein 1-Billionen-Parameter-Modell ist so fähig, dass es keinen Menschen braucht, der ihm sagt, wie es denken soll; es findet es selbst heraus.
Die Autoren haben dies an echten Mathetests gemessen und festgestellt, dass das Modell funktioniert, merken aber auch an, dass die „Bitter Lesson“ (dass Skalierung menschliche Tricks schlägt) ein starker Trend ist, den sie beobachtet haben, und nicht unbedingt ein Naturgesetz, das in jedem zukünftigen Szenario gilt. Doch für diese spezifische Aufgabe des mathematischen Denkens ist die Evidenz stark: Größere Modelle, einfachere Regeln und null menschliche Hilfe = erstaunliche Ergebnisse.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.