💬 NLP

Agon: Competitive Cross-Model RL with Implicit Rival Grading of Reasoning

Agon führt ein kompetitives Cross-Model-Reinforcement-Learning-Framework ein, bei dem zwei Modelle als gegenseitige Bewerter fungieren, indem sie iterativ Aufgaben gegen einander entwerfen und lösen, was überlegene Argumentation implizit belohnt, ohne auf Prozess-Labels angewiesen zu sein, und Standard-Single-Model-RL-Ansätze bei komplexen Denkaufgaben signifikant übertrifft.

Ursprüngliche Autoren: Vladislav Beliaev

Veröffentlicht 2026-07-09

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Vladislav Beliaev

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Schüler beizubringen, wie man unglaublich schwierige mathematische Probleme löst.

Der alte Weg: Der „Antwort-nur“-Coach
Die derzeitige Standardmethode (genannt GRPO) ist wie ein Coach, der nur auf die endgültige Antwort in der Prüfung schaut.

Wenn der Schüler die richtige Antwort gibt, bekommt er einen goldenen Stern.
Wenn er die Antwort falsch hat, bekommt er ein rotes X.
Das Problem: Der Coach schaut nie darauf, wie der Schüler dorthin gekommen ist. Wenn der Schüler einen 10-seitigen Essay aus verwirrendem Geschwafel, Raten und Zurückweichen schreibt, nur um zufällig auf die richtige Antwort zu stoßen, bekommt er trotzdem den goldenen Stern.
Das Ergebnis: Der Schüler lernt, mehr Wörter zu schreiben, nicht um besser zu denken. Er beginnt, seine Seiten mit „Hmm, lassen Sie mich mal nachdenken...“ und „Warte, vielleicht...“ zu füllen, nur um seine Chancen auf ein richtiges Raten zu erhöhen. Er wird wortreich, aber nicht unbedingt klüger.

Der neue Weg: Agon (Der „Debattierclub“)
Das Paper stellt eine neue Methode namens Agon (griechisch für „Wettstreit“) vor. Anstatt dass ein Schüler alleine an einem Problem arbeitet, bringt Agon zwei Schüler zusammen, die dasselbe Problem gemeinsam lösen, aber mit einem Twist: Sie konkurrieren darum, wer den anderen intellektuell übertrifft.

So funktioniert das „Agon“-Spiel:

Der Entwurf: Schüler A versucht zuerst, das Problem zu lösen. Er schreibt seine Argumentation und eine Zusammenfassung seiner Schritte auf (versteckt aber das Endergebnis).
Die Herausforderung: Schüler B liest die Zusammenfassung von Schüler A. Das Ziel von Schüler B ist es, das Problem besser als Schüler A zu lösen.
- Wenn Schüler A einen Fehler gemacht hat (wie einen Vorzeichenfehler in einer Gleichung), erkennt Schüler B dies, korrigiert ihn und erhält die richtige Antwort. Schüler B gewinnt.
- Wenn Schüler A recht hatte, versucht Schüler B, einen kürzeren, saubereren Weg zu finden, um dies zu beweisen.
Der Wechsel: In der nächsten Runde tauschen sie die Rollen. Schüler B entwirft, und Schüler A fordert heraus.

Warum das funktioniert (Die Magie des „Rivalen-Gradings“)
In der alten Methode musste der Schüler raten, wie „gutes Denken“ aussieht, weil ihm niemand sagte, was es ist. In Agon übernimmt der Rivale das Grading.

Implizites Feedback: Wenn die Argumentation von Schüler A voller Lücken ist, wird Schüler B ihn leicht schlagen. Dies lehrt Schüler A, dass „Geschwafel“ und „Füllmaterial“ nicht funktionieren, da ein kluger Rivale sie erwischen wird.
Keine Labels nötig: Wir brauchen keinen menschlichen Lehrer, der sagt: „Dieser Schritt war brillant, dieser Schritt war Füllmaterial.“ Die Tatsache, dass ein Schüler den anderen geschlagen hat, ist der Beweis, dass die Argumentation besser war.
Das „Wettrüsten“: Da beide Schüler gleichzeitig klüger werden, steigt die Messlatte ständig. Schüler A kann nicht mehr einfach nur raten; er muss tatsächlich gut argumentieren, um Schüler B zu schlagen, der ebenfalls klüger wird.

Die Ergebnisse
Die Forscher testeten dies an sehr schweren mathematischen Problemen (unter Verwendung eines Modells namens Qwen3).

Standardmethode: Das Modell löste etwa 30 % der schwierigen Probleme, schrieb dazu aber riesige, lange Erklärungen.
Agon-Methode: Die zwei konkurrierenden Modelle lösten etwa 61 % der Probleme richtig.
Bonus: Die Erklärungen waren tatsächlich kürzer. Da die Modelle konkurrierten, effizient und präzise zu sein und Fehler zu finden, hörten sie auf, unnötiges Geschwafel zu produzieren.

Der „Zwei-Stufen“-Trick
Wenn das System tatsächlich ein Problem für einen Nutzer löst, funktioniert es wie ein Staffellauf:

Modell A schreibt einen Entwurf der Lösung.
Modell B liest diesen Entwurf, prüft ihn auf Fehler und schreibt die endgültige Antwort.
Dies geschieht automatisch. Das Paper zeigt, dass es viel effektiver ist, zwei Modelle so gegeneinander kämpfen zu lassen, als zwei Modelle einfach gut zusammenarbeiten zu lassen (kooperieren) oder ein Modell versuchen zu lassen, seine eigenen Fehler zu korrigieren.

Zusammenfassend
Agon verhindert, dass KI-Modelle „plappern“, um Glück zu haben. Stattdessen zwingt es sie dazu, scharf, prägnant und genau zu sein, indem es sie gegen einen Rivalen stellt, der ständig Ausschau nach ihren Fehlern hält. Es verwandelt den Trainingsprozess von einer Solo-Übungseinheit in eine hochkarätige Debatte, bei der der einzige Weg zu gewinnen darin besteht, klar zu denken.

Technisches Resümee: Agon – Kompetitives Cross-Modell-RL mit impliziter Rivalen-Bewertung

1. Problemstellung

Aktuelle Reinforcement Learning from Verifiable Rewards (RLVR)-Methoden, insbesondere Ansätze wie Group Relative Policy Optimization (GRPO), verlassen sich ausschließlich auf ergebnisbasierte Belohnungen (d. h. die Korrektheit der endgültigen Antwort). Während dies bei Aufgaben mit klarem Grundwahrheitswert effektiv ist, scheitert dieser Ansatz daran, den Denkprozess (den „Trace“) selbst zu bewerten. Bei schwierigen Problemen entsteht dadurch ein starker Anreiz für Modelle, die Quantität des Denkens (Länge) anstatt der Qualität zu erhöhen. Modelle lernen, „mehr zu schreiben“, indem sie Abschwächungen, Rückschritte und redundante Versuche hinzufügen, um die Wahrscheinlichkeit zu erhöhen, zufällig auf die richtige Antwort zu stoßen. Dies führt zu einer „Längen-Pathologie“, bei der die Token-Anzahl signifikant wächst, während sich die Genauigkeit nur marginal verbessert.

Die direkte Bewertung von Denkprozessen ist unpraktikabel, da es keinen Grundwahrheitswert für „gutes Denken“ gibt (keine Labels für spezifische einsichtige Schritte), und gelernte Process Reward Models teuer, fragil und nicht verifizierbar sind. Das Paper postuliert, dass ein zweites Modell das fehlende Signal liefern kann: Wenn eine konkurrierende Policy dasselbe Problem versucht und dafür belohnt wird, den Konkurrenten im Denken übertroffen zu haben, wird der Denk-Trace implizit bewertet, ohne dass explizite Prozess-Labels erforderlich sind.

2. Methodik: Agon

Agon (Griechisch für „Wettkampf“) ist ein Trainingsframework, das zwei unterschiedliche Policies, $A$ und $B$ , in einem kompetitiven Head-to-Head-Szenario gemeinsam optimiert.

Kernmechanismus

Der Trainingsprozess operiert in alternierenden Rollen (Entwurf-und-Herausforderung) mit pro-Schritt-Rotation:

Entwurf (Drafting): Ein Modell (der Drafter) generiert $N$ Rollouts aus einem einfachen Problem-Prompt. Es erhält ein Standard-GRPO-Update, das ausschließlich auf der Korrektheit seiner endgültigen Antwort basiert.
Herausforderung (Challenging): Das andere Modell (der Challenger) liest eine Zusammenfassung der Lösung des Drafters (die Zusammenfassung nach dem Denkprozess, unter Ausschluss des rohen Traces und der endgültigen Antwort). Der Challenger generiert daraufhin einen neuen Rollout, um das Problem zu lösen, wobei er potenziell die Arbeit des Drafters korrigiert oder verbessert.
Belohnung (Reward): Der Challenger erhält eine kompetitive Belohnung, die sowohl von seiner eigenen Korrektheit als auch vom Ergebnis des Drafters abhängt.
- Korrektheit: Standardmäßige binäre Belohnung für eine korrekte Antwort.
- Konversions-Bonus (Conversion Bonus): Ein zusätzlicher Bonus wird gewährt, wenn der Challenger das Problem korrekt löst und der Drafter versagt hat ( $c(b_i) \cdot (1 - c(a_i))$ ). Dies motiviert den Challenger, die Fehler des Drafters zu identifizieren und zu beheben.
- Optionaler Längen-Tiebreak: Ein Bonus kann angewendet werden, wenn der Challenger korrekt ist und weniger Token verwendet als ein korrekter Drafter, was Kürze fördert, ohne die Korrektheit zu bestrafen.

Architektur und Effizienz

Dual-Adapter-Instanziierung: Um die Effizienz zu wahren, werden beide Policies als Low-Rank Adaptation (LoRA) Adapter über ein einzelnes, eingefrorenes Basismodell instanziiert. Dies hält den Speicher-Overhead gering (~2 % des Basismodells) und stellt sicher, dass die Policies in kompatiblen Repräsentationsräumen operieren.
Divergenz: Die beiden Adapter werden unterschiedlich initialisiert (einer mit Standard-Null-Initialisierung, der andere mit kleinem Gaußschem Rauschen) und erhalten aufgrund der Rollenrotation unterschiedliche Gradientenströme. Diese strukturelle Divergenz stellt sicher, dass sie unterschiedliche „blinde Flecken“ entwickeln, was verhindert, dass das System in Self-Play oder einfache Distillation kollabiert.
Inferenz: Bei der Bereitstellung operiert das Paar als zweistufige Kaskade: Ein Modell entwirft eine Lösung, und das zweite Modell liest die Zusammenfassung, um die endgültige Antwort zu produzieren.

Theoretische Begründung

Das Paper argumentiert, dass Single-Model Self-Improvement (Self-Play) oft stagniert, weil das Modell seine eigene Arbeit mit denselben Biases re-auditiert, die die Fehler verursacht haben. Durch die Einführung eines zweiten Modells mit anderen Fehlermodi durchbricht Agon diesen geschlossenen Kreislauf. Der „Grader“ ist ein distinkter Agent, und da beide Modelle optimiert werden, steigt die Schwierigkeit des „Rivalen“ im Laufe der Zeit an, was beide Policies über die Decke von Single-Model-RL hinausdrängt.

3. Zentrale Beiträge

Neudefinition der Denkqualität: Das Paper definiert die Qualität des Denkprozesses als eine implizite Belohnung, die von einem konkurrierenden Peer bereitgestellt wird, und transformiert das ungelabelte Problem des „guten Denkens“ in ein Head-to-Head-Spiel.
Das Agon-Rezept: Ein neuartiges Trainingsrezept unter Verwendung von kompetitivem GRPO mit Draft-and-Challenge-Rollouts, Pro-Schritt-Rollenrotation und einer kompetitiven Belohnungsstruktur (Korrektheit + Konversions-Bonus). Es läuft auf Standard-GRPO-Trainern ohne Änderungen am Kern-Optimierungsprozess.
Effiziente Implementierung: Eine Shared-Base, Dual-Adapter-Instanziierung, die das Training zweier konkurrierender Policies fast so kostengünstig macht wie das Training eines einzelnen Modells.
Empirische Validierung: Ein 2x2-Experimentelles Design (Kreuzung von Wettbewerb vs. Kooperation und Informationsaustausch vs. kein Austausch), das den Wert von adversarialem Druck und Cross-Modell-Information isoliert.

4. Experimentelle Ergebnisse

Die Experimente wurden auf dem DeepMath-hard Split (unter Verwendung von Qwen3-Modellen) und einem kompetitiven Programmier-Subset von CodeContests durchgeführt.

Leistungssteigerungen: Auf dem DeepMath-hard Split mit Qwen3-0.6B:
- Vanilla GRPO: 30% pass@1.
- Kooperativer Austausch (kein Wettbewerb): 46% pass@1.
- Agon (Wettbewerb + Austausch): 61% pass@1.
- Dies entspricht einer Verdopplung der GRPO-Leistung und einem ~8-fachen Gewinn gegenüber einer untrainierten Mixture-of-Agents (MoA) Baseline.
Skalierung: Die Gewinne bleiben über Modellfamilien (Qwen3.5, Gemma 4) und Größen hinweg bestehen. Bemerkenswerterweise übertraf die Agon-Kaskade auf einer 0.6B-Basis (61%) ein Vanilla-GRPO-trainiertes 4B-Basismodell (59%).
Trace-Länge: Agon reduziert die Denk-Länge signifikant. Der Trace der finalen Phase betrug im Durchschnitt 3,5k Tokens im Vergleich zu 8,1k Tokens bei Vanilla GRPO, während gleichzeitig eine höhere Genauigkeit erreicht wurde. Diese Verkürzung ist eine emergente Eigenschaft des Wettbewerbs, nicht eine explizite Strafe.
Ablationen:
- Wettbewerb: Das Entfernen des kompetitiven Bonus (nur kooperativ) senkt die Leistung auf 46%.
- Austausch: Das Entfernen des sichtbaren Informationsaustauschs (der Gegner bleibt im Kontext verborgen) senkt die Leistung auf 32% (nahe an Vanilla GRPO), was bestätigt, dass der kompetitive Gradient eine sichtbare Kontext-Varianz benötigt, um zu funktionieren.
- Rollenrotation: Das Fixieren der Rollen (keine Rotation) reduziert die Leistung auf 52%, was die Bedeutung hervorhebt, dass beide Modelle beide Rollen lernen müssen.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass Agon zeigt, dass der Informationsaustausch zwischen Modellen und adversarieller Druck die Denkfähigkeiten signifikant verbessern können, ohne dass Prozess-Labels oder ein separates Reward Model erforderlich sind.

Implizite Bewertung: Es beweist, dass ein rivalisierendes Modell Denk-Traces effektiv implizit bewerten kann, wodurch das Problem des „ungelabelten Denkens“ gelöst wird.
Jenseits von Self-Play: Es etabliert, dass ein Paar divergenter Policies gemeinsam über das Plateau der Single-Model Self-Refinement hinauswachsen kann.
Effizienz: Es zeigt, dass hochperformantes Denken mit einer zweistufigen Kaskade erreicht werden kann, die computational effizient ist (unter Verwendung von Adaptern) und kürzere, dichtere Denk-Traces produziert.
Bescheidenheit: Die Autoren merken an, dass die aktuelle Implementierung auf Text-Austausch basiert, was die Bandbreite begrenzt. Sie schlagen vor, dass zukünftige Arbeiten zum Latent-Space-Austausch (z. B. KV-Cache-Injection) übergehen könnten, um Serialisierungs-Engpässe zu beseitigen. Sie stellen auch klar, dass die Methode einen sauberen Verifier erfordert und die Divergenz zwischen den Modellen heuristisch aufrechterhalten wird.

Zusammenfassend verschiebt Agon das Paradigma von der „Bewertung der Antwort“ zur „Bewertung des Denkprozesses durch Wettbewerb“, was es Modellen ermöglicht, zu lernen, besser zu denken, anstatt nur mehr zu schreiben.