CoVerRL: Breaking the Consensus Trap in Label-Free Reasoning via Generator-Verifier Co-Evolution

1. Het Probleem: De "Consensus Trap"

Huidige methoden voor label-vrije versterkingsleer (Reinforcement Learning, RL) bij Large Language Models (LLMs) vertrouwen vaak op meerderheidsstemming (majority voting) om pseudo-labels te genereren. Het idee is dat als een model meerdere redeneerpaden genereert en de meeste tot hetzelfde antwoord komen, dit antwoord waarschijnlijk correct is.

De auteurs identificeren echter een kritieke instabiliteit in deze aanpak, die ze de "Consensus Trap" noemen:

• Afname van diversiteit: Omdat de beloning (reward) gebaseerd is op consistentie, leert het model om steeds vaker hetzelfde (mogelijk foutieve) antwoord te geven.
• Zelfversterkende fouten: Als het model systematisch fouten maakt die consistent zijn (self-consistent errors), versterkt de meerderheidsstemming deze fouten in plaats van ze te detecteren.
• Verval van de reward-accuraatheid: Zodra het model in deze valstrik terechtkomt, daalt de kwaliteit van de trainingsdata (reward accuracy) drastisch, terwijl de output-diversiteit instort. Het model wordt zelfverzekerd over zijn eigen fouten en kan niet meer herstellen zonder externe supervisie.

2. Methodologie: CoVerRL Framework

Om deze valstrik te doorbreken, stellen de auteurs CoVerRL (Co-evolving Verifier and generator via Reinforcement Learning) voor. Dit is een raamwerk waarbij één enkel model twee rollen vervult die elkaar wederzijds verbeteren: een Generator en een Verifier.

Kerncomponenten:

1. Pseudo-Label Generatie met Filtering:

   • De Generator produceert meerdere redeneerpaden voor een vraag.
   • Een draft pseudo-label wordt bepaald via meerderheidsstemming.
   • Cruciaal verschil: De Verifier (hetzelfde model, maar in een andere rol) scant deze kandidaat-oplossingen op fouten in het redeneerproces, onafhankelijk van de antwoordfrequentie.
   • Als de meerderheid van de verificaties aangeeft dat een "consistente" oplossing fout is, wordt deze sample verworpen voordat het de training verpest. Dit filtert "self-consistent errors" eruit.

2. Online Dual-Rol Co-evolutie:

   • Het model wisselt continu tussen generator- en verifiersrollen binnen een multi-turn RL-proces.
   • Contrastieve Verifier Training: De verifier wordt getraind met contrastieve voorbeelden. Positieve voorbeelden zijn de meerderheidsantwoorden (die als correct worden beschouwd), en negatieve voorbeelden zijn de minst frequente antwoorden. Dit creëert een trainingsset zonder ground-truth labels.
   • Zelfcorrectie (Self-Correction): Als de verifier een fout detecteert in een generatie, wordt het model getriggerd om een nieuwe, gecorrigeerde oplossing te genereren op basis van de feedback.

3. Reward Design & Optimisatie:

   • De beloning bestaat uit een formaat-component en een nauwkeurigheids-component (gebaseerd op de geverifieerde pseudo-labels).
   • Er wordt gebruik gemaakt van een aangepaste versie van Group Relative Policy Optimization (GRPO), genaamd Answer-Anchored GRPO. Hierbij worden verificatiepaden gegroepeerd op basis van het doelantwoord (in plaats van alleen op de prompt-prefix), wat zorgt voor stabielere gradienten tijdens het trainen van de verifier.

3. Belangrijkste Bijdragen

• Identificatie van de Consensus Trap: Het paper biedt empirisch bewijs dat meerderheidsstemming alleen leidt tot een verval in reward-accuraatheid door het verlies van output-diversiteit en het versterken van systematische fouten.
• Co-evolutie zonder Ground Truth: CoVerRL lost de circulaire afhankelijkheid op (waarbij een model fouten moet kunnen detecteren om zichzelf te corrigeren, maar daarvoor eerst goed moet kunnen genereren) door beide capaciteiten simultaan te laten groeien via wederzijdse supervisie.
• Virtuele Cyclus: Een betere verifier leidt tot schonere labels, wat leidt tot betere beloningen voor de generator, wat op zijn beurt weer betere labels genereert voor de verifier.

4. Resultaten

De auteurs hebben CoVerRL getest op verschillende modellen (Qwen-familie en Llama-familie) en benchmarks (MATH, AMC, AIME24, GPQA-Diamond).

• Prestatieverbetering: CoVerRL presteert consequent beter dan de state-of-the-art label-vrije baseline (TTRL). Er werden gemiddelde verbeteringen geboekt van 4,7% tot 5,9% op wiskundige redeneerbenchmarks.
• Zelfverificatie Accuraatheid: De capaciteit van het model om zijn eigen redeneringen te verifiëren steeg drastisch, van ongeveer 55% naar meer dan 85% (bijvoorbeeld van 54,0% naar 86,5% op Qwen2.5-7B voor MATH500). Dit bewijst dat de twee vaardigheden echt samen evolueren.
• Stabiliteit: In tegenstelling tot TTRL, waarbij de reward-accuraatheid daalt naarmate het training vordert, blijft deze bij CoVerRL boven de 90% stabiel.
• Generalisatie: De verifiers getraind met CoVerRL generaliseren goed naar buiten-domein taken (zoals GPQA-Diamond) en presteren zelfs beter dan veel grotere modellen (bijv. een 3B-model met CoVerRL presteert beter dan een 70B-model op RewardBench).

5. Betekenis en Impact

CoVerRL is een doorbraak in het veld van label-vrije zelf-evolutie van LLMs.

• Het lost een fundamenteel probleem op in bestaande RL-methoden: het vermogen om systematische fouten te detecteren zonder externe grondwaarheid.
• Het toont aan dat een enkel model zowel een sterke generator als een sterke verifier kan worden door middel van een goed ontworpen co-evolutiecyclus.
• De methode maakt het mogelijk om complexe redeneertaken (zoals wiskunde) te trainen zonder de noodzaak van dure, handmatig gelabelde datasets, wat de schaalbaarheid van het trainen van intelligente agents aanzienlijk vergroot.

Kortom, CoVerRL transformeert de zwakte van consensus-methoden (blind vertrouwen op consistentie) in een kracht door het integreren van kritische zelfverificatie, waardoor modellen betrouwbaarder en nauwkeuriger worden in hun redeneerprocessen.