💬 NLP

Agon: Competitive Cross-Model RL with Implicit Rival Grading of Reasoning

Agon introduceert een competitief cross-model reinforcement learning-framework waarbij twee modellen fungeren als wederzijdse beoordelaars door iteratief problemen tegen elkaar te ontwerpen en op te lossen, wat superieur redeneren impliciet beloont zonder proceslabels en standaard single-model RL-benaderingen op complexe redeneertaken aanzienlijk overtreft.

Oorspronkelijke auteurs: Vladislav Beliaev

Gepubliceerd 2026-07-09

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Vladislav Beliaev

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een student probeert te leren hoe hij extreem moeilijke wiskundeproblemen moet oplossen.

De Oude Manier: De "Alleen het Antwoord" Coach
De huidige standaardmethode (genaamd GRPO) is als een coach die alleen naar het uiteindelijke antwoord op de toets kijkt.

Als de student het goede antwoord heeft, krijgt hij een gouden ster.
Als hij het fout heeft, krijgt hij een rood kruis.
Het Probleid: De coach kijkt nooit naar hoe de student daar gekomen is. Als de student een essay van 10 pagina's vol verwarrend gegelul, gokwerk en achteruitgaan schrijft om vervolgens per ongeluk op het juiste antwoord te stuiten, krijgt hij nog steeds de gouden ster.
Het Resultaat: De student leert om meer woorden te schrijven, niet om beter na te denken. Ze beginnen hun pagina's te vullen met "Hmm, laat me eens nadenken..." en "Wacht, misschien wel..." om hun kansen op een gelukkige gok te vergroten. Ze worden weldooraderig, maar niet noodzakelijkerwijs slimmer.

De Nieuwe Manier: Agon (De "Debatclub")
Het paper introduceert een nieuwe methode genaamd Agon (Grieks voor "strijd"). In plaats van één student die alleen werkt, brengt Agon twee studenten in een kamer om samen hetzelfde probleem op te lossen, maar met een twist: ze concurreren met elkaar om te zien wie de ander intellectueel kan overtreffen.

Zo werkt het "Agon"-spel:

De Draft: Student A probeert het probleem eerst op te lossen. Ze schrijven hun redenering en een samenvatting van hun stappen op (maar verbergen het uiteindelijke antwoord).
De Uitdaging: Student B leest de samenvatting van Student A. Het doel van Student B is om het probleem beter op te lossen dan Student A.
- Als Student A een fout maakt (zoals een fout in een teken of een vergelijking), ziet Student B dit, herstelt het, en krijgt het juiste antwoord. Student B wint.
- Als Student A gelijk had, probeert Student B een kortere, schonere manier te vinden om het te bewijzen.
De Wissel: In de volgende ronde wisselen ze van rol. Student B maakt de draft, en Student A daagt uit.

Waarom dit werkt (De Magie van "Rivalistische Beoordeling")
In de oude methode moest de student raden hoe "goed nadenken" eruitzag omdat niemand hem dat vertelde. In Agon doet de rivaal de beoordeling.

Impliciete Feedback: Als de redenering van Student A vol gaten zit, zal Student B hen gemakkelijk verslaan. Dit leert Student A dat "gezwets" en "opvulmateriaal" niet werken, omdat een slimme rivaal ze zal betrappen.
Geen Labels Nodig: We hebben geen menselijke docent nodig om te zeggen: "Deze stap was briljant, deze stap was opvulmateriaal." Het feit dat de ene student de ander heeft verslagen, is het bewijs dat de redenering beter was.
De "Wapenwedloop": Omdat beide studenten tegelijkertijd slimmer worden, stijgt de lat voortdurend. Student A kan niet meer simpelweg gokken; ze moeten echt goed redeneren om Student B te verslaan, die ook steeds slimmer wordt.

De Resultaten
De onderzoekers testten dit op zeer moeilijke wiskundeproblemen (met behulp van een model genaamd Qwen3).

Standaard Methode: Het model kreeg ongeveer 30% van de moeilijke problemen goed, maar schreef enorme, lange verklaringen om dit te bereiken.
Agon Methode: De twee concurrerende modellen kregen ongeveer 61% van de problemen goed.
Bonus: De verklaringen waren daadwerkelijk korter. Omdat de modellen met elkaar concurreerden om efficiënt te zijn en fouten op te sporen, stopten ze met het schrijven van onnodige onzin.

De "Twee-Fasen" Truc
Wanneer het systeem wordt gebruikt om daadwerkelijk een probleem voor een gebruiker op te lossen, werkt het als een estafette:

Model A schrijft een conceptoplossing.
Model B leest dat concept, controleert op fouten en schrijft het uiteindelijke antwoord.
Dit gebeurt automatisch. Het paper laat zien dat het trainen van twee modellen die op deze manier tegen elkaar vechten, veel effectiever is dan het hebben van twee modellen die gewoon goed samenwerken (coöperatie) of één model dat probeert zijn eigen fouten te herstellen.

In een Notendop
Agon stopt AI-modellen met "kletsen" om geluk te hebben. In plaats daarvan dwingt het hen om scherp, beknopt en accuraat te zijn door ze tegenover een rivaal te plaatsen die constant op zoek is naar hun fouten. Het verandert het trainingsproces van een solo oefensessie in een hooggestoken debat waarbij de enige manier om te winnen is door helder te denken.

Technische Samenvatting: Agon – Competitieve Cross-Model RL met Impliciete Rivaliserende Beoordeling

1. Probleemstelling

Huidige Reinforcement Learning from Verifiable Rewards (RLVR), met name methoden zoals Group Relative Policy Optimization (GRPO), vertrouwen uitsluitend op resultaatgerichte beloningen (d.w.z. de juistheid van het uiteindelijke antwoord). Hoewel dit effectief is voor taken met een duidelijke grondwaarheid, faalt deze aanpak bij het beoordelen van het redeneerproces (de "trace") zelf. Bij moeilijke problemen creëert dit een sterke prikkel voor modellen om de hoeveelheid redenering (lengte) te vergroten in plaats van de kwaliteit. Modellen leren "meer te schrijven" door het toevoegen van voorbehoud, terugkomen op eerdere stappen en redundante pogingen om de kans te vergroten dat ze per ongeluk op het juiste antwoord stuiten, wat leidt tot een "lengte-pathologie" waarbij het aantal tokens aanzienlijk groeit terwijl de nauwkeurigheid slechts marginaal verbetert.

Het direct beoordelen van redeneren is onuitvoerbaar omdat er geen grondwaarheid bestaat voor "goed denken" (geen labels voor specifieke inzichtelijke stappen), en geleerde processuele beloningsmodellen zijn duur, broos en niet verifieerbaar. Het artikel stelt dat een tweede model het ontbrekende signaal kan leveren: als een concurrerend beleid dezelfde taak probeert te voltooien en wordt beloond voor het uitdagen van de eerste, dan wordt de redeneer-trace impliciet beoordeeld zonder expliciete proceslabels.

2. Methodologie: Agon

Agon (Grieks voor "strijd") is een trainingsframework dat twee verschillende beleidsregels, $A$ en $B$ , gezamenlijk optimaliseert in een competitieve head-to-head setting.

Kernmechanisme

Het trainingsproces werkt met afwisselende rollen (ontwerpen-en-uitdagen) met per stap rotatie:

Ontwerpen (Drafting): Eén model (de drafter) genereert $N$ rollouts vanuit een eenvoudige probleem-prompt. Het ontvangt een standaard GRPO-update gebaseerd op louter de juistheid van het uiteindelijke antwoord.
Uitdagen (Challenging): Het andere model (de challenger) leest een samenvatting van de oplossing van de drafter (de samenvatting na de redenering, exclusief de ruwe trace en het uiteindelijke antwoord). De challenger genereert vervolgens een nieuwe rollout om het probleem op te lossen, waarbij het potentieel de drafter corrigeert of verbetert.
Beloning: De challenger ontvangt een competitieve beloning die afhangt van zowel de eigen juistheid als de uitkomst van de drafter.
- Juistheid: Standaard binaire beloning voor een correct antwoord.
- Conversiebonus: Een extra beloning wordt toegekend als de challenger het probleem correct oplost en de drafter faalde ( $c(b_i) \cdot (1 - c(a_i)$ ). Dit stimuleert de challenger om fouten van de drafter te identificeren en te herstellen.
- Optionele Lengte-tiebreak: Een bonus kan worden toegepast als de challenger correct is en minder tokens gebruikt dan een correcte drafter, wat beknoptheid aanmoedigt zonder de juistheid te straffen.

Architectuur en Efficiëntie

Dual-Adapter Instantiatie: Om de efficiëntie te behouden, worden beide beleidsregels geïnstantieerd als Low-Rank Adaptation (LoRA) adapters over een enkele bevroren basismodel. Dit houdt de geheugenoverhead laag (~2% van het basismodel) en zorgt ervoor dat de beleidsregels in compatibele representatieruimtes opereren.
Divergentie: De twee adapters worden verschillend geïnitialiseerd (de één met standaard zero-init, de ander met kleine Gaussische ruis) en ontvangen verschillende gradiëntstromen door rolrotatie. Deze structurele divergentie zorgt ervoor dat ze verschillende "blinde vlekken" ontwikkelen, wat voorkomt dat het systeem vervalt in self-play of eenvoudige distillatie.
Inference: Bij implementatie werkt het paar als een twee-fasen cascade: één model ontwerpt een oplossing, en het tweede model leest de samenvatting om het uiteindelijke antwoord te produceren.

Theoretische Rechtvaardiging

Het artikel betoogt dat single-model zelfverbetering (self-play) vaak stagneert omdat het model zijn eigen werk hercontroleert met dezelfde vooroordelen die de fouten hebben veroorzaakt. Door een tweede model met andere foutmodi te introduceren, doorbreekt Agon deze gesloten cirkel. De "beoordelaar" is een afzonderlijke agent, en omdat beide modellen worden geoptimaliseerd, neemt de moeilijkheidsgraad van de "rivaal" in de loop van de tijd toe, waardoor beide beleidsregels voorbij de plafond van single-model RL worden geduwd.

3. Belangrijkste Bijdragen

Herformulering van Redeneerkwaliteit: Het artikel herformuleert redeneerkwaliteit als een impliciete beloning die wordt geleverd door een concurrerende gelijke, waardoor het ongelabelde probleem van "goed denken" wordt getransformeerd in een head-to-head spel.
Het Agon-recept: Een nieuw trainingsrecept met competitieve GRPO met draft-and-challenge rollouts, per stap rotatie van rollen, en een competitieve beloningsstructuur (juistheid + conversiebonus). Het draait op standaard GRPO-trainers zonder kernwijzigingen in de optimalisatie.
Efficiënte Implementatie: Een gedeelde-basis, dual-adapter instantiatie die het trainen van twee concurrerende beleidsregels bijna net zo goedkoop maakt als het trainen van een enkel model.
Empirische Validatie: Een 2x2 experimenteel ontwerp (het kruisen van competitie versus samenwerking en informatie-uitwisseling versus geen uitwisseling) dat de waarde van adversariële druk en cross-model informatie isoleert.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op de DeepMath-hard split (met gebruik van Qwen3-modellen) en een competitieve programmeer-subset van CodeContests.

Prestatiewinst: Op de DeepMath-hard split met Qwen3-0.6B:
- Vanilla GRPO: 30% pass@1.
- Coöperatieve Uitwisseling (geen competitie): 46% pass@1.
- Agon (Competitie + Uitwisseling): 61% pass@1.
- Dit vertegenwoordigt een verdubbeling van de GRPO-prestaties en een ~8x winst ten opzichte van een ongetrainde Mixture-of-Agents (MoA) baseline.
Schaling: De winsten houden stand over verschillende modelfamilies (Qwen3.5, Gemma 4) en groottes. Opvallend genoeg presteerde de Agon-cascade op een 0.6B basis (61%) beter dan een vanilla GRPO-getrainde 4B basis (59%).
Trace Lengte: Agon verkort de redeneerlengte aanzienlijk. De trace in de laatste fase gemiddelde 3,5k tokens vergeleken met 8,1k tokens voor vanilla GRPO, terwijl de nauwkeurigheid hoger was. Dit verkorten is een emergent kenmerk van de competitie, en geen expliciete straf.
Ablaties:
- Competitie: Het verwijderen van de competitieve bonus (alleen coöperatief) verlaagt de prestaties naar 46%.
- Uitwisseling: Het verwijderen van zichtbare informatie-uitwisseling (gedeelde tegenstander verborgen uit de context) verlaagt de prestaties naar 32% (nabij vanilla GRPO), wat bevestigt dat de competitieve gradiënt zichtbare contextvariantie vereist om te functioneren.
- Rolrotatie: Het vastzetten van rollen (geen rotatie) vermindert de prestaties tot 52%, wat het belang van het feit benadrukt dat beide modellen zowel het ontwerpen als het uitdagen leren.

5. Betekenis en Claims

Het artikel claimt dat Agon aantoont dat cross-model informatie-uitwisseling en adversariële druk de redeneercapaciteiten aanzienlijk kunnen verbeteren zonder dat daar proceslabels of een apart beloningsmodel voor nodig zijn.

Impliciete Beoordeling: Het bewijst dat een rivaliserend model effectief redeneer-traces impliciet kan beoordelen, waarmee het "ongelabelde denken"-probleem wordt opgelend.
Voorbij Self-Play: Het stelt vast dat een paar divergente beleidsregels gezamenlijk voorbij het plateau van single-model zelfverfijning kunnen verbeteren.
Efficiëntie: Het toont aan dat hoogwaardige redenering kan worden bereikt met een twee-fasen cascade die computationeel efficiënt is (gebruikmakend van adapters) en kortere, dichtere redeneer-traces produceert.
Bescheidenheid: De auteurs merken op dat de huidige implementatie afhankelijk is van tekstuele uitwisseling, wat de bandbreedte beperkt. Ze suggereren dat toekomstig werk kan overgaan naar uitwisseling in de latente ruimte (bijv. KV-cache injectie) om serialisatie-bottlenecks te verwijderen. Ze erkennen ook dat de methode een zuivere verifieerder vereist en dat de divergentie tussen modellen heuristisch wordt gehandhaafd in plaats van gegarandeerd.

Samenvattend verschuift Agon het paradigma van "het beoordelen van het antwoord" naar "het beoordelen van de redenering via competitie", waardoor modellen leren om beter te denken, in plaats van alleen maar meer te schrijven.