Technische Samenvatting: EVOLM – Zelfevoluerende Taalmodellen via Geco-evolueerde Discriminerende Rubrics

1. Probleemstelling

Huidige methoden voor post-training van Large Language Models (LLM's), met name Reinforcement Learning from Human Feedback (RLHF), zijn sterk afhankelijk van externe supervisie om beloningssignalen te genereren. Deze bronnen omvatten menselijke voorkeursannotaties, propriëtaire API-gebaseerde beoordelaars (LLM-as-a-judge), scalare beloningsmodellen of verifieerbare ground-truth antwoorden. Elk hiervan legt een fundamenteel plafond op aan modelverbetering: menselijk oordeel kan geen capaciteiten superviseren die verder gaan dan zijn eigen vermogen; propriëtaire API's creëren afhankelijkheden en kostenbarrières; scalare beloningsmodellen zijn vatbaar voor beloningshacking; en verifieerbare beloningen zijn beperkt tot domeinen met ground-truth antwoorden.

Hoewel LLM's aanzienlijke evaluatieve kennis coderen vanuit pretraining, slagen huidige methoden er niet in om deze latente kennis te structureren tot een betrouwbaar, zelfonderhoudend trainingssignaal. De centrale uitdaging is het extraheren en structureren van deze evaluatieve capaciteit in een vorm die betrouwbare scoring mogelijk maakt zonder externe supervisie, waardoor het model zichzelf kan verbeteren buiten de grenzen van statische evaluatiecriteria.

2. Methodologie: EVOLM

De auteurs stellen EVOLM voor, een post-trainingkader dat het mogelijk maakt dat een enkel taalmodel zijn eigen generatie (policy) en evaluatie (rubric) capaciteiten co-evolueert. De kerninnovatie is de expliciete structurering van evaluatieve kennis in discriminerende rubrics – natuurlijke taalcriteria die zijn geoptimaliseerd om een kleine, ingevroren beoordelaar te helpen onderscheid te maken tussen geprefereerde en niet-geprefereerde antwoorden.

2.1 Kerncomponenten

• Policy Model ($\pi_\theta$): Genereert antwoorden op vragen.
• Rubric Generator ($\rho_\phi$): Produceert instance-specifieke evaluatiecriteria (rubrics) in natuurlijke taal voor een gegeven vraag.
• Ingevroren Beoordelaar ($J$): Een kleine, vaste taalmodel (bijv. Qwen3-1.7B) die antwoorden scoort tegen de gegenereerde rubrics. De parameters van de beoordelaar blijven tijdens de training ingevroren.

2.2 Trainingsdoel en Mechanisme

EVOLM behandelt de rubric als een latente variabele en formaliseert de generatie van rubrics via variatie-inferentie. Het doel is het maximaliseren van de discriminerende bruikbaarheid van de rubric: een rubric is "goed" als deze, wanneer toegepast door de ingevroren beoordelaar, een hogere score toekent aan het geprefereerde antwoord ($a^+$) dan aan het niet-geprefereerde antwoord ($a^-$).

Het trainingsdoel maximaliseert de Evidence Lower Bound (ELBO), waarbij rubrics worden beloond die de scorekloof tussen geprefereerde en niet-geprefereerde antwoorden vergroten:
$$\mathcal{L}_{rubric}(\phi) = \mathbb{E}_{r \sim \rho_\phi(r|q)} [\log \sigma(J(q, r, a^+) - J(q, r, a^-))] - \text{KL}(\rho_\phi(r|q) \| \rho_{ref}(r|q))$$
In de praktijk wordt dit geoptimaliseerd met behulp van een op marge gebaseerde beloning gecombineerd met een formatbeloning om ervoor te zorgen dat de rubric voldoet aan een gestructureerd JSON-schema dat door de beoordelaar kan worden geparseerd.

2.3 Co-evoluerende Trainingslus

De methode wisselt af tussen twee fasen met behulp van het GRPO-algoritme (Group Relative Policy Optimization):

1. Fase 1 (Policy Update): De rubric generator is ingevroren. De policy genereert antwoorden, die worden gescoord door de ingevroren beoordelaar met behulp van de huidige rubrics. De policy wordt bijgewerkt om deze uit rubrics afgeleide beloningen te maximaliseren.
2. Fase 2 (Rubric Update): De policy is ingevroren. Voorkeursparen $(a^+, a^-)$ worden samengesteld uit de eigen outputs van de policy. De rubric generator produceert kandidaat-rubrics, die door de beoordelaar worden gescoord op beide antwoorden. De rubric generator wordt bijgewerkt om de scoremarge tussen het geprefereerde en het niet-geprefereerde antwoord te maximaliseren.

2.4 Constructie van Voorkeursparen

Om externe labels te vermijden, construeert EVOLM voorkeursparen volledig uit de eigen outputs van de policy met behulp van drie complementaire methoden:

• Temporeel Contrast: Koppelt een huidig antwoord ($a^+$) aan een eerdere antwoord ($a^-$) uit een eerdere training checkpoint. Naarmate de policy verbetert, creëert de temporele kloof een natuurlijk curriculum van toenemende moeilijkheidsgraad.
• Afgeleide Vraag (IQ): De policy leidt de vraag af die een geprefereerd antwoord adresseert, en genereert vervolgens een niet-geprefereerd antwoord op die afgeleide vraag om relevantie te testen.
• Rubric-geconditioneerd (RC): Genereert een geprefereerd antwoord geconditioneerd op de rubric en een niet-geprefereerd antwoord uitsluitend geconditioneerd op de vraag, waarmee de bruikbaarheid van de rubric wordt getest.

3. Belangrijkste Bijdragen

• Zelfevoluerend Kader: EVOLM is de eerste methode die rubrickwaliteit formeel definieert als discriminerende bruikbaarheid en een rubric generator end-to-end traint zonder externe supervisie, propriëtaire API's of taalspecifieke verifiers.
• Co-evolutie: Het kader vestigt een feedbacklus waarbij de verbetering van de policy de rubrics dwingt scherper te worden (om discriminerend te blijven), en scherpere rubrics meer informatieve beloningen bieden om verdere policyverbetering aan te drijven.
• Rubric Verrijking Mechanisme: Kwalitatieve analyse toont aan dat getrainde rubrics evolueren van abstracte labels naar concrete, verifieerbare checks. Ze bevatten specifieke verwachte waarden (bijv. "het antwoord is 144") en ontleden beperkingen in individueel controleerbare sub-taken, waardoor holistisch oordeel wordt omgezet in patroonherkenning die zelfs kleine beoordelaars betrouwbaar kunnen uitvoeren.
• Generalisatie: De geleerde rubrics transfereren effectief naar ongezette policies, verschillende model families en out-of-distribution domeinen (bijv. diep onderzoekstaken) zonder hertraining.

4. Experimentele Resultaten

Experimenten werden uitgevoerd met Qwen3-8B als policy/rubric generator en Qwen3-1.7B als ingevroren beoordelaar.

• Downstream Prestaties: De met EVOLM getrainde policy behaalde een gemiddelde van 69,3% op de OLMo3-Adapt suite (12 benchmarks), beter dan:
  • Policies getraind met GPT-4.1 gepromptte rubrics (66,7%).
  • Policies getraind met Qwen3-8B gepromptte rubrics (67,5%).
  • State-of-the-art scalare beloningsmodellen (SkyWork-RM-V2) op 59,7%.
  • Andere op rubrics gebaseerde RL-methoden (RAR, RRD, RLCER, RUBRIC-ARM) die varieerden van 66,7% tot 67,6%.
• Rubric Kwaliteit: De geleerde rubrics presteerden beter dan GPT-4.1 op RewardBench-2 met 25,7% (46,0% versus 20,3% in specifieke metrieken, hoewel het abstract een verbetering van 25,7% ten opzichte van GPT-4.1 rubrics op de benchmark citeert).
• Generalisatie:
  • Cross-Policy: Rubrics getraind op Qwen3-8B verbeterden de downstream prestaties op ongezette Qwen3-4B en Llama-3.1-8B policies in vergelijking met GPT-4.1 gepromptte rubrics.
  • Cross-Judge: Rubrics getraind met een 1.7B beoordelaar bleven effectief wanneer gekoppeld aan grotere beoordelaars (Qwen3-8B, OLMo-3-7B), met significante winsten ten opzichte van geprompte baselines.
  • Out-of-Distribution: Op diepe onderzoekstaken (HealthBench, ResearchQA) behaalden EVOLM rubrics een hogere paarsgewijze overeenstemming met expert menselijke rubrics dan GPT-4.1 (58,4% versus 52,5% op HealthBench).
• Ablatie Studies:
  • Beoordelergrootte: Een kleine 1.7B beoordelaar produceerde de beste downstream policy, wat suggereert dat de kwaliteit van de rubric-inhoud kritischer is dan de capaciteit van de beoordelaar.
  • Trainingsdynamiek: Co-evoluerende training presteerde beter dan sequentiële training (eerst rubrics trainen, dan policy), wat het belang van de adaptieve feedbacklus benadrukt.
  • Beloningsoptimalisatie: Het scalare beloningsmodel, ondanks dominantie op statische benchmarks (RewardBench-2: 86,4%), produceerde de zwakste downstream policy, wat bevestigt dat statische criteria niet kunnen aanpassen aan de verschuivende policy-distributie.

5. Betekenis en Claims

Het artikel claimt dat EVOLM aantoont dat het structureren van de evaluatieve capaciteit van een model in co-evoluerende discriminerende rubrics zelfverbetering mogelijk maakt zonder externe supervisie.

De auteurs betogen dat elke externe beloningsbron een plafond oplegt: menselijk oordeel kan niet superviseren buiten zijn eigen capaciteit, en statische criteria kunnen niet aanpassen aan de outputdistributie die een lerende policy creëert. Door de evaluatiecriteria te co-evolueren met de policy, verwijdert EVOLM deze beperkingen. De geleerde evaluatiestructuur blijkt overdraagbaar te zijn over ongezette policies, beoordelaars en domeinen, wat wijst op een weg naar autonome, schaalbare zelfverbetering in taalmodellen.

Het werk positioneert rubrics niet alleen als een hulpmiddel voor interpreteerbaarheid, maar als een mechanisme om latente evaluatieve kennis uit pretraining te extraheren en te structureren in een betrouwbaar, zelfonderhoudend trainingssignaal.