🤖 AI

CoRE: Consensus Rewards via Equilibrium for Test-Time Reinforcement Learning

Het artikel introduceert CoRE, een test-tijd reinforcement learning-methode die de breekbare meerderheidsstemming vervangt door graafgebaseerde consensusbeloningen afgeleid van replicatordynamica om gegradeerde, zelfgesuperviseerde signalen te bieden die de nauwkeurigheid en convergentiesnelheid verbeteren over diverse modellen en benchmarks heen.

Oorspronkelijke auteurs: Ambuj Mehrish, Sebastiano Vascon

Gepubliceerd 2026-08-11

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ambuj Mehrish, Sebastiano Vascon

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin een superintelligënte robot probeert te leren hoe hij een lastige puzzel moet oplossen, maar er is niemand om hem te vertellen of hij het antwoord goed heeft. Dit is het dagelijkse leven van moderne AI-modellen wanneer ze geconfronteerd worden met nieuwe, ongelabelde vragen. Om te leren hebben deze modellen meestal een leraar nodig die zegt: "Goed gedaan!" of "Probeer het opnieuw!" op basis van een correct antwoordformulier. Maar wat gebeurt er als er geen antwoordformulier is? Hier komt een veld genaamd Test-Time Reinforcement Learning om de hoek kijken. Het is een slimme truc waarbij de AI zichzelf probeert te onderwijzen door veel verschillende pogingen (genaamd "roll-outs") te genereren voor hetzelfde probleem en vervolgens naar zijn eigen werk te kijken om te bepalen wat hij moet geloven.

De standaardmanier om dit te doen is als een klasstemming. Als de AI 64 verschillende antwoorden genereert, telt hij ze simpelweg op. Als 35 keer "42" zegt en 29 keer "17", neemt de AI aan dat "42" de waarheid is omdat het de meeste stemmen heeft. Hij beloont vervolgens elke poging die "42" zei en straft de rest af. Dit werkt meestal goed, maar het heeft een fataal gebrek: het behandelt een gelukkige gok hetzelfde als een briljante, goed onderbouwde oplossing, en het negeert de mogelijkheid dat de "meerderheid" er vol vertrouwen naast kan zitten. Als een kleine groep slimme, zelfverzekerde pogingen "17" zegt, terwijl een grotere, verwarde groep "42" roept, zal het stemsysteem de slimme minderheid verpletteren. Deze paper vraagt: Kunnen we een slimmere manier bouwen voor de AI om naar zichzelf te luisteren, een manier die waarde hecht aan hoe de antwoorden overeenkomen, en niet alleen aan hoeveel er overeenkomen?

Het Probleem met de Stembus

Stel je een groep detectives voor die proberen een misdaad op te lossen. In de oude manier (de "Meerderheidsstem"-methode) steken ze gewoon hun hand op. Als 60 detectives naar de butler wijzen en 40 naar de tuinman, dan is de butler schuldig. Maar wat als de 60 die naar de butler wijzen allemaal in de war zijn, terwijl de 40 die naar de tuinman wijzen eigenlijk de enige zijn die de aanwijzingen correct hebben gelezen? Het stemsysteem zou de slimme detectives straffen en de verwarde detectives belonen, waardoor het hele team na verloop van tijd dommer wordt.

Dit is precies wat er gebeurt met AI-modellen die standaard Test-Time Reinforcement Learning gebruiken. Ze genereren een reeks antwoorden, tellen de winnaars en gaan ervan uit dat de winnaar juist is. Als de AI een systematische fout maakt die toevallig populair is, versterkt hij die fout. Het is als een gebroken democratie waar de luidste stem wint, zelfs als ze onzin schreeuwen.

Ontmoet CoRE: De Ronde Tafel van de Detectives

De auteurs van deze paper, Ambuj Mehrish en Sebastiano Vascon, stellen een nieuwe methode voor genaamd CoRE (Consensus Rewards via Equilibrium). In plaats van alleen maar hoofden te tellen, behandelt CoRE de pogingen van de AI als een complex web van relaties.

Zo werkt het, met een eenvoudige analogie:
Stel je voor dat de 64 pogingen van de AI mensen zijn die in een kamer zitten.

De Graaf: In plaats van alleen maar antwoorden te roepen, vormen deze mensen een gigantisch web van verbindingen. Twee mensen zijn verbonden als ze hetzelfde antwoord gaven. Maar de verbinding is niet alleen "ja/nee". Het is gewogen op basis van hoe vergelijkbaar hun redenering was (gebruikten ze dezelfde logica?) en hoe zelfverzekerd ze klonken (spraken ze met zekerheid?).
Het Evenwicht: Het systeem voert vervolgens een wiskundige simulatie uit genaamd "replicator dynamics". Denk hierbij aan een spelletig stoelen dans waarbij de mensen die het meest worden ondersteund door hun zelfverzekerde, logische buren, beginnen op te staan en een strakke, sterke cirkel vormen. De "dominante verzameling" is de groep die de meeste wederzijdse steun vasthoudt.
De Beloning: In plaats van een simpel "geslaagd" of "gezakt" te geven aan iedereen die voor de winnaar stemde, geeft CoRE een gegradueerde score. Als jouw antwoord deel uitmaakte van een strakke, zelfverzekerde, logische cirkel, krijg je een hoge beloning. Als je deel uitmaakte van een zwakke, verwarde groep, krijg je een lage beloning. Zelfs als je in de minderheid was, als jouw groep de meest coherente en zelfverzekerde was, kan CoRE jou zelfs als de winnaar kiezen.

Wat Ze Hebben Gevonden

De onderzoekers hebben deze nieuwe "CoRE"-methode getest tegenover de oude "Meerderheidsstem"-methode bij zeven verschillende AI-modellen en vijf verschillende wiskunde- en wetenschapsbenchmarks. Ze voerden de experimenten uit met drie verschillende random seeds (eigenlijk drie verschillende startcondities) om er zeker van te zijn dat de resultaten echt waren.

De resultaten waren zeer veelbelovend:

Betere Scores: Gemiddeld verbeterden de modellen die CoRE gebruikten hun nauwkeurigheid met 21,7 punten ten op сравнению met hun startpunt zonder enige training. De oude stemmethode verbeterde slechts met 20,4 punten.
Winnen van de Betwiste Gevechten: De echte magie gebeurde wanneer de antwoorden verdeeld waren. In situaties waarin de AI onzeker was en de "stemming" spannend liep, versloeg CoRE de stemmethode met wel 7,5 punten. Het slaagde erin de "slimme minderheid" te redden die het stemsysteem zou hebben genegeerd.
Sneller Leren: CoRE werd niet alleen beter; het ging ook sneller. Het bereikte hetzelfde uiteindelijke nauwkeurigheidsniveau als de stemmethode in 54% tot 70% minder stappen. Dit suggereert dat de genuanceerde, gegradeerde beloningen van CoRE een duidelijker, helpender signaal geven voor de AI om van te leren.

De "Herstelzone"

De paper legt ook uit wanneer dit het beste werkt. Ze vonden een specifieke "herstelzone". Als de AI zo slecht is dat hij het probleem helemaal niet kan oplossen, of zo goed dat iedereen het perfect met elkaar eens is, gedraagt CoRE zich precies zoals de oude stemmethode (wat prima is). Maar in de rommelige middenweg — waar een kleine groep correcte, zelfverzekerde antwoorden vecht tegen een grotere groep foute, zelfverzekerde antwoorden — blinkt CoRE uit.

De auteurs toonden wiskundig aan dat als de juiste antwoorden zelfs maar iets zelfverzekerder zijn dan de foute antwoorden, CoRE het scenario kan omdraaien en het juiste antwoord kan kiezen, zelfs als het de minderheid is. Het is als een wijze rechter die beseft dat de 40 detectives met een solide alibi betrouwbaarder zijn dan de 60 detectives die gewoon gokten.

De Kern van het Verhaal

Deze paper suggereert dat we het stemmechanisme niet volledig hoeven weg te gooien; CoRE bevat stemmen eigenlijk als een speciaal geval. Maar door een laag van "sociale intelligentie" toe te voegen — kijken naar hoe de antwoorden elkaar ondersteunen en hoe zelfverzekerd ze zijn — kunnen we een breekbare, alles-of-niets stemming veranderen in een slim, gekalibreerd beloningssysteem.

De auteurs merken voorzichtig op dat dit geen toverstaf is die alles oplost. Als de AI totaal verdwaald is (de "competentievloer"), kan CoRE niet uit het niets een correct antwoord verzinnen. Maar voor de lastige problemen waarbij de AI bijna goed is maar in de war raakt door de massa, suggereert CoRE een manier om te luisteren naar de stille, zelfverzekerde stem van de rede in plaats van naar het luidste geschreeuw. Het verandert een simpele hoofdtelling in een verfijnd gesprek, waardoor AI-modellen sneller en slimmer leren van hun fouten.

Technische Samenvatting: CoRE – Consensus Rewards via Equilibrium voor Test-Time Reinforcement Learning

Probleemstelling

Test-time Reinforcement Learning (TTRL) beoogt het redeneervermogen van taalmodellen te verbeteren op ongelabelde testdata door supervisie af te leiden uit de eigen roll-outs van het model. De standaardmethode, Majority Voting (meerderheidsstemmen), behandelt de set van $N$ gesamplede antwoorden als een stembus: het identificeert het meest voorkomende antwoord als een pseudo-label en wijst een binaire beloning (1 of 0) toe aan trajecten die overeenkomen met dat label.

Deze aanpak lijdt onder drie kritieke beperkingen:

Breekbare Aggregatie: Het verwerpt correcte antwoorden als zij een minderheid vormen, zelfs als ze intern coherent zijn. Omgekeerd beloont het incorrecte meerderheidsclusters, wat systematische fouten potentieel kan versterken.
Binaire Beloningen: Het wijst identieke beloningen toe aan een goed ondersteunde afleiding en een gelukkige gok, waardoor het niet in staat is de kwaliteit van de overeenstemming te onderscheiden.
Uniforme Vraagweging: Het behandelt elke vraag als gelijkwaardig, ongeacht of de roll-outs een coherente consensus vormen of een gefragmenteerde set incompatibele oplossingen.

De kernuitdaging is het construeren van een beloningssignaal uit ongelabelde roll-outs dat de relationele structuur en de onderlinge ondersteuning tussen redeneerpaden vastlegt, in plaats van enkel stemmen te tellen.

Methodologie: CoRE

De auteurs stellen CoRE (Consensus Rewards via Equilibrium) voor, een methode die majority voting vervangt door een grafische evenwichtsaanpak. CoRE werkt op dezelfde $N$ roll-outs als standaard TTRL, maar verwerkt deze anders om verfijnde signalen te genereren.

1. Constructie van de Roll-out Graaf

CoRE construeert een gewogen graaf $G=(V, E, \omega)$ waarbij knopen de $N$ roll-outs vertegenwoordigen. De randen worden gedefinieerd door een affiniteitsmatrix $A'$ die drie signalen combineert:

Antwoordovereenkomst: Een harde kernel $K_{ans}$ zorgt ervoor dat er alleen randen bestaan tussen roll-outs met hetzelfde geëxtraheerde antwoord.
Redeneerovereenkomst: Een zachte kernel $K_{rsn}$ , gebaseerd op de cosinusovereenkomst van TF-IDF $n$ -gram vectoren van de redeneertekst, versterkt de banden binnen dezelfde antwoordklasse.
Confidence Calibration (Vertrouwenskalibratie): Knoopgewichten $w_i$ worden afgeleid van de generatie-betrouwbaarheid (gemiddelde token log-waarschijnlijkheid). Randen worden geschaald door het geometrisch gemiddelde van de vertrouwenswaarden van de eindpunten ( $\sqrt{w_i w_j}$ ), wat ervoor zorgt dat trajecten met een hoge betrouwbaarheid elkaar sterker versterken.

De uiteindelijke affiniteitsmatrix $A'$ is blokdiagonaal, waarbij elk blok overeenkomt met een unieke antwoordklasse.

2. Extractie van de Dominante Set via Replicator Dynamics

In plaats van stemmen te tellen, extraheert CoRE een Dominant Set (DS) uit de graaf met behulp van Replicator Dynamics (RD), een evolutionair speltheoretisch optimalisatieproces.

Initialisatie: Het systeem start vanuit het barycentrum van de simplex, waarbij een initiële massa wordt toegewezen die proportioneel is aan de grootte van elke antwoordklasse (effectief uitgaande van de meerderheidsstem).
Dynamiek: Het systeem werkt de massaverdeling $x$ iteratief bij op basis van de kwadratische vorm $x^\top A' x$ . Dit proces convergeert naar een stabiel punt $x^*$ waar de massa zich concentreert op de meest wederzijds ondersteunende subset van trajecten.
Resultaat: De support van $x^*$ (knopen met massa boven een drempelwaarde) definieert de consensus.

3. Generatie van Beloningen

Uit de evenwichtstoestand $x^*$ leidt CoRE drie verschillende signalen af:

Verfijnd Pseudo-label ( $y^*$ ): De antwoordklasse met de hoogste evenwichts-massa. Dit kan verschillen van de meerderheidsstem als een kleinere, zeer coherente minderheid als dominant naar voren komt.
Gegradeerde Beloningen ( $R_i$ ): Elke roll-out ontvangt een continue beloning die proportioneel is aan de affiniteit met de consensus, in plaats van een binaire 0/1.
Cohesiviteits-gate ( $w_q$ ): Een vraagniveau scalar die de algehele coherentie van de consensus meet. Deze gate schaalt de verliesfunctie in de policy-update (GRPO), waardoor vragen worden weggefilterd waar geen betrouwbare consensus bestaat.

Belangrijkste Bijdragen

1. Methodologische Innovatie

CoRE is de eerste test-time RL-methode die gebruikmaakt van Dominant Set extractie om beloningen te construeren. Het transformeert de roll-out groep van een "stembus" naar een "graaf", wat de extractie van correcte minderheidsclusters mogelijk maakt die coherent en zelfverzekerd zijn, zelfs wanneer zij in de minderheid zijn. Het integreert direct in GRPO zonder dat er hulpmodellen of extra roll-outs nodig zijn.

2. Theoretische Analyse

Het artikel biedt een rigoureus theoretisch kader:

Generalisatie: Er wordt bewezen dat majority voting een speciaal geval is van CoRE (wanneer redeneerovereenkomst wordt genegeerd en vertrouwen uniform is).
Recovery Threshold (Herstel-drempelwaarde): Een block-value analyse leidt de exacte drempelwaarde af waarbij een correcte minderheid een incorrecte pluraliteit kan omverwerpen. De drempelwaarde hangt af van de ratio van clustergroottes en hun interne coherentie.
Confidence Multiplication (Vertrouwensvermenigvuldiging): De analyse bewijst dat vertrouwen-kalibratie de herstel-drempelwaarde multiplicatief verlaagt. Specifiek, als correcte roll-outs meer zelfverzekerd zijn dan incorrecte roll-outs, neemt de vereiste coherentie voor een minderheid om te winnen exponentieel af met het verschil in vertrouwen.

3. Empirische Bewijsvoering

Geëvalueerd over 7 backbones (Qwen, DeepSeek, Llama, Mistral) en 5 benchmarks (AMC, AIME, MATH-500, MATH-L4/5, GPQA-Diamond) met 42 model-benchmark configuraties:

Prestaties: CoRE verbetert de nauwkeurigheid met gemiddeld +21,7 punten ten opzichte van de ongetrainde basis over alle 42 model-benchmark cellen, waarmee het de Majority-vote TTRL (+20,4 punten) verslaat. Opvallend genoeg laten wiskunde-gespecialiseerde modellen alleen een gemiddelde verbetering zien van +25,0 punten.
Betwiste Consensus: CoRE behaalt winsten tot +7,5 punten ten opzichte van voting, specifiek in scenario's waar de overeenstemming wordt betwist (bijv. MATH-L4/L5 subsets).
Sample Efficiëntie: CoRE bereikt het uiteindelijke nauwkeurigheidsplateau van de voting baseline in 54–70% minder optimalisatiestappen.
Ablatie: Het verwijderen van ofwel de grafische structuur of de vertrouwen-kalibratie vermindert de prestaties tot bijna het niveau van majority-vote, wat bevestigt dat de synergie tussen structurele coherentie en vertrouwen essentieel is.

Betekenis en Claims

Het artikel claimt dat consensus niet louter het tellen is. Door de wederzijdse ondersteuning tussen redeneerpaden te modelleren, zet CoRE een breekbaar voting-mechanisme om in een gekalibreerd, gegradeerd, zelf-gesuperviseerd beloningssignaal.

Mechanisme: De methode slaagt door supervisie te extraheren uit "kleinere, coherente en zelfverzekerde correcte groepen" die door stemtellingen gemist worden.
Operationele Regimes: De winsten zijn geconcentreerd in het "intermediaire regime", waar een coherente correcte minderheid bestaat maar niet de pluraliteit is. In "verzadigingsregimes" (bijna unanieme correcte antwoorden) of "competentie-vloerregimes" (willekeurige gokken), degradeert CoRE van nature naar of presteert het vergelijkbaar met majority voting, waardoor overfitting op ruis wordt voorkomen.
Zelf-supervisie: CoRE laat zien dat het behandelen van roll-outs als een graaf in plaats van onafhankelijke samples een dichter trainingssignaal oplevert, wat zowel de kwaliteit van het pseudo-label als de efficiëntie van de policy-update verbetert.

De auteurs concluderen dat CoRE een substantieel onderdeel vormt van zelf-gesuperviseerde RL, en een principiële manier biedt om om te gaan met onenigheid tijdens test-time adaptatie zonder externe supervisie.