Technische Samenvatting van EvoRubrics

Probleemstelling

Reinforcement Learning (RL) staat centraal bij het afstemmen (alignment) van Large Language Models (LLMs), maar het succes ervan bij open eind taken (bijv. creatief schrijven, medisch consult) wordt gehinderd door het gebrek aan verifieerbare grondwaarheid-antwoorden. Hoewel rubriek-gebaseerde beloningen een veelbelovend alternatief bieden door gestructureerde, interpreteerbare evaluatiecriteria te leveren, lijden bestaande benaderingen aan een fundamentele beperking: statische rubrieken.

Pre-geconstrueerde rubrieken blijven ongewijzigd gedurende de training, wat een mismatch creëert met de evoluerende policy. Aanvankelijk kunnen ze te streng zijn, wat resulteert in uniform lage scores; naarmate de policy verbetert, raken ze verzadigd, waardoor ze niet langer in staat zijn om onderscheid te maken tussen kwalitatief hoogwaardige antwoorden. Dit leidt tot beloningsverzadiging (reward saturation), gestagneerd leren en beloningshacking (reward hacking), waarbij modellen oppervlakkige shortcuts aanleren om aan vaste criteria te voldoen zonder werkelijke kwaliteitsverbetering. Recente dynamische methoden proberen dit aan te pakken, maar leunen zwaar op externe frontier-modellen, opereren op grove temporele granulariteiten (bijv. epoch-niveau), of vereisen grondwaarheid-antwoorden, wat hun schaalbaarheid en toepasbaarheid in hulpbron-beperkte of nieuwe domeinen beperkt.

Methodologie: EvoRubrics

De auteurs stellen EvoRubrics voor, een co-evolutionair RL-framework dat ontworpen is om evaluatiecriteria in real-time dynamisch aan te passen. De kerninnovatie is de gezamenlijke optimalisatie van een Policy LLM en een Rubric Generator door middel van adversariële interactie binnen elke trainingsstap.

Architectuur

• Dual-LoRA Design: Zowel de Policy LLM als de Rubric Generator zijn geïnstantieerd vanuit een gedeelde backbone LLM met behulp van twee onafhankelijke LoRA-adapters. Dit ontwerp zorgt ervoor dat beide componenten een gemeenschappelijke kennisbasis en representatieruimte delen, waardoor de generator nauwkeurig de evoluerende capaciteiten van de policy kan volgen, terwijl de computationele kosten lager blijven vergeleken met het onderhouden van twee volledige modellen.
• Trainingslus: Het framework werkt in vier fasen per trainingsstap:
  1. Rollout Generatie: De Policy LLM genereert $M$ kandidaat-antwoorden, en de Rubric Generator produceert $N$ rubriek-sets voor dezelfde query.
  2. Cross-Evaluatie: Een judge-model scoort elke antwoord-rubriek paren, wat een $M \times N$ scorematrix vormt.
  3. Beloningsberekening:
     • Policy Beloning: De gemiddelde genormaliseerde score van een antwoord over alle $N$ rubriek-sets.
     • Rubriek Beloning: Een multi-objective beloningsfunctie die is ontworpen om ervoor te zorgen dat rubrieken effectief blijven.
  4. Model Update: Beide adapters worden sequentieel bijgewerkt met behulp van GRPO (Group Relative Policy Optimization).
• Rubric Generator Optimalisatie: De Rubric Generator wordt getraind om criteria te produceren die discriminerend, divers, gealigneerd en constructief zijn. De beloningsfunctie ($r_{rub}$) is een gewogen som van vier componenten:
  1. Discriminatie ($r_{disc}$): Maximaliseert de standaarddeviatie van de toegekende scores aan kandidaat-antwoorden, om te garanderen dat de rubriek kwaliteitsverschillen kan onderscheiden.
  2. Diversiteit ($r_{div}$): Moedigt criteria binnen een rubriek-set aan om orthogonale evaluatiedimensies te dekken (gemeten via de cosinusafstand van embeddings).
  3. Alignment ($r_{align}$): Verankert gegenereerde rubrieken aan vooraf geconstrueerde "gouden" rubrieken ($R^*$) om drift naar willekeurige of misalignede criteria te voorkomen.
  4. Constructiviteit ($r_{cons}$): Meet de verbetering in antwoordkwaliteit wanneer de Policy LLM zijn initiële output herziet op basis van de gegenereerde rubriek.
• Zelfgesuperviseerde Variant: Het paper introduceert ook een volledig zelfgesuperviseerde variant die de noodzaak voor externe gouden rubrieken wegneemt. In deze setting wordt de alignment-beloning verwijderd, en wordt constructiviteit gemeten door de zelfverbetering van de policy onder de gegenereerde rubriek zelf.

Belangrijkste Bijdragen

1. Inzicht: De auteurs identificeren dat rubrieken samen met de policy in real-time moeten co-evolueren om effectief te blijven. Ze demonstreren dat de adversariële dynamiek tussen generatie en evaluatie kan dienen als een zelfgeconteneerde bron van informatieve leersignalen, zelfs zonder externe supervisie.
2. Technisch Framework: EvoRubrics implementeert dit via een dual-LoRA architectuur waarbij een Policy LLM en een Rubric Generator binnen elke trainingsstap gezamenlijk worden geoptimaliseerd, wat real-time curriculum inductie mogelijk maakt.
3. Empirische Validatie: De methode presteert consistent beter dan statische en dynamische rubriek-baselines over in-domain en out-of-distribution (OOD) benchmarks. Cruciaal is dat de geleerde Rubric Generator generaliseert als een overdraagbaar reward model en begeleidingstool voor ongeziene queries.

Experimentele Resultaten

Experimenten werden voornamelijk uitgevoerd op de HealthBench dataset (medisch domein) met Qwen3-4B en Qwen3-8B backbones, met DeepSeek-V3.2 als judge.

• Policy Prestaties: EvoRubrics behaalde de sterkste algehele prestaties onder de rubriek-gebaseerde RL-methoden. Op de in-domain HealthBench Hard benchmark presteerde het substantieel beter dan zowel statische "Golden Rubrics" als dynamische baselines zoals OnlineRubrics. Opvallend genoeg overtrof EvoRubrics met kleinere backbones (4B/8B) grotere modellen (bijv. DeepSeek-V4-Flash) op specifieke in-domain taken.
• Generalisatie: In tegen tegenstelling tot eerdere methoden die vaak presteren minder op OOD-benchmarks (MT-Bench, FollowBench), behield EvoRubrics of verbeterde het de OOD-prestaties, wat suggereert dat co-geëvolueerde rubrieken meer overdraagbare optimalisatiesignalen bieden.
• Overdraagbaarheid: De getrainde Rubric Generator diende effectief als een standalone reward model op RubricBench, waarbij de nauwkeurigheid van pairwise judging werd verbeterd ten opzichte van SFT-baselines. Wanneer gebruikt als begeleiding tijdens inferentie, verbeterde het consequent de kwaliteit van de respons.
• Zelfgesuperviseerde Effectiviteit: De volledig zelfgesuperviseerde variant (zonder externe rubriek-ankers) leverde nog steeds betekenisvolle winst op ten opzichte van het basismodel en de Golden Rubrics, wat bevestigt dat de adversariële interactie alleen voldoende optimalisatiesignalen biedt.

Betekenis en Claims

Het paper claimt dat EvoRubrics de fundamentele mismatch tussen statische evaluatiecriteria en evoluerende modelcapaciteiten in open-ended RL aanpakt. Door een automatisch curriculum te induceren waarbij evaluatiestandaarden zich in real-time aanpassen aan de capaciteiten van de policy, vermijdt het framework beloningsverzadiging en hacking.

De auteurs benadrukken dat hun aanpak niet afhankelijk is van dure externe frontier-modellen of grondwaarheid-antwoorden, wat het schaalbaar maakt. De demonstratie dat een volledig zelfgesuperviseerde variant betekenisvolle winst kan behalen, suggereert dat de co-evolutie tussen generatie en evaluatie een krachtig, zelfvoorzienend mechanisme is voor het verbeteren van LLMs in domeinen waar verifieerbare antwoorden niet beschikbaar zijn.

Beperkingen: De auteurs erkennen dat de training voornamelijk in het medische domein is uitgevoerd, en hoewel de OOD-resultaten veelbelovend zijn, is bredere validatie over diverse domeinen (juridisch, creatief) nodig. Daarnaast waren de computationele experimenten beperkt tot modellen tot 8B parameters, en blijft het risico dat de co-evolutie van generatie en evaluatie gedeelde biases versterkt een punt van zorg voor toekomstig werk.