Alternating Reinforcement Learning with Contextual Rubric Rewards

Probleemstelling

Traditionele methoden voor het afstemmen van Large Language Models (LLMs) op menselijke voorkeuren, zoals Reinforcement Learning from Human Feedback (RLHF) en Reinforcement Learning with Verifiable Rewards (RLVR), maken vaak gebruik van scalarisatie. Dit betekent dat complexe, multidimensionale evaluaties (rubrics) worden samengevoegd tot één enkel scalair getal (een gewogen gemiddelde) om als beloningssignaal te dienen.

De auteurs identificeren twee kritieke beperkingen van deze benadering:

1. Verlies van nuance en correlaties: Het lineair comprimeren van vector-beloningen naar een scalair getal met vaste wegingen is gevoelig voor kunstmatige scoreontwerpen en faalt in het vastleggen van complexe, niet-lineaire correlaties tussen verschillende beoordelingscriteria.
2. Variance Contraction (Variantiecontractie): Door verschillende signalen te aggregeren, wordt de variantie en entropie van het feedbacksignaal gedempt. Dit zorgt ervoor dat het beleid (policy) moeite heeft om onderscheid te maken tussen hoogwaardige en middelmatige antwoorden binnen een groep van gegenereerde antwoorden (rollouts), wat de leerkracht verzwakt. Dit kan leiden tot "reward hacking", waarbij het model eenvoudige metrics maximaliseert (bijv. volledigheid) ten koste van moeilijkere, maar cruciale metrics (bijv. nauwkeurigheid).

Methodologie: ARL-RR

Het paper introduceert Alternating Reinforcement Learning with Rubric Rewards (ARL-RR), een framework dat de noodzaak voor vaste scalarisatie elimineert. De kern van de methode bestaat uit drie componenten:

1. Meta-class Decompositie:
   In plaats van alle criteria direct te aggregeren, worden de contextuele rubric-criteria (zoals nauwkeurigheid, volledigheid, instructievolging, contextbewustzijn en communicatiekwaliteit) gegroepeerd in een vaste set van meta-classes. Voor elke query wordt de beloning berekend op basis van slechts één specifieke meta-class, in plaats van een gewogen som van alles.

2. Alternatieve Optimalisatie:
   Het trainingsproces verloopt niet gelijktijdig voor alle doelen, maar alternerend. Het beleid wordt achtereenvolgens geoptimaliseerd voor elke meta-class in verschillende trainingsfasen (epochs).

   • Dit transformeert het multi-objectief probleem in een reeks gefocuste single-objectief sub-problemen.
   • Het dwingt het model om de nuances van elke dimensie expliciet te leren, zonder dat het een "makkelijk" doel mag maximaliseren om een "moeilijk" doel te maskeren.

3. Zoekgebaseerde Adaptatie (Meta-Class Searching):
   De volgorde waarin de meta-classes worden aangepakt, beïnvloedt de prestaties. De auteurs introduceren een lichtgewicht, zoekgebaseerde strategie waarbij het model dynamisch de meest effectieve volgorde van meta-classes selecteert op basis van prestaties op een subset van de data. Dit fungeert als een automatisch curriculum learning.

Theoretische Onderbouwing:
De auteurs bewijzen wiskundig (Theorema 3.1) dat scalarisatie leidt tot een variantiecontractie. Als de beloningen van verschillende meta-classes niet perfect gecorreleerd zijn ($\rho < 1$), is de variantie van het samengevoegde scalair getal strikt kleiner dan de variantie van individuele meta-classes. Een lagere variantie in de beloning betekent een zwakker leersein voor de policy, omdat het verschil tussen goede en slechte antwoorden minder duidelijk wordt. ARL-RR behoudt deze variantie en levert zo een rijker, meer discriminerend feedbacksignaal.

Belangrijkste Bijdragen

1. Nieuw Trainingsframework: ARL-RR is een innovatieve aanpak die vaste lineaire wegingen omzeilt om de structuur van multidimensionale evaluatiecriteria beter vast te leggen.
2. Meta-class Pipeline: Een gestructureerde pipeline die contextuele rubrics mapt naar een vaste set van semantische meta-classes, wat consistent training mogelijk maakt.
3. Dynamische Prioritering: Een zoekstrategie die het model in staat stelt om dynamisch prioriteit te geven aan specifieke meta-classes (bijv. eerst nauwkeurigheid, dan volledigheid) om de prestaties te maximaliseren.
4. Theoretisch Bewijs: Een wiskundige analyse die aantoont waarom scalarisatie de leerkracht verzwakt door variantie te reduceren.
5. Synthetische Meta-classificatie: Een methode om rubrics automatisch te classificeren in meta-classes wanneer expert-labels ontbreken, wat de toepasbaarheid in de praktijk vergroot.

Resultaten

De methode werd getest op het HealthBench-dataset (5.000 voorbeelden met expert-annotaties) met verschillende modelgroottes (Qwen3-1.7B, 4B, 8B en 14B).

• Prestaties: ARL-RR presteerde consistent beter dan traditionele scalarized RL-methoden (SRL) over alle modelgroottes heen.
  • Bijvoorbeeld, voor Qwen3-14B steeg de score van 0.762 (SRL) naar 0.788 (ARL-RR).
  • Voor Qwen3-1.7B steeg de score van 0.556 naar 0.576.
• TrainingsEfficiëntie: ARL-RR bereikte hogere scores in minder epochs en toonde een snellere convergentie.
• Variantie-analyse: Empirische data bevestigde de theorie: scalarisatie resulteerde in een variantie van slechts 0.10, terwijl individuele meta-classes varianties van 0.16 tot 0.20 behielden. Dit bevestigt dat ARL-RR een meer discriminerend signaal biedt.
• Robuustheid: De methode bleef effectief zelfs bij het gebruik van synthetische (automatisch gegenereerde) meta-classificaties, hoewel er een kleine prestatiedaling was ten opzichte van expert-labels.

Significantie

Dit werk markeert een belangrijke verschuiving in de post-training van LLMs. Het toont aan dat het loslaten van de traditionele "one-size-fits-all" scalarisatie niet alleen haalbaar is, maar essentieel voor het behalen van superieure prestaties in complexe, context-afhankelijke taken.

De belangrijkste implicaties zijn:

• Betere Veiligheid en Nauwkeurigheid: Door het maskeren van fouten in kritieke dimensies (zoals veiligheid of nauwkeurigheid) door het maximaliseren van andere dimensies te voorkomen, worden betrouwbaardere AI-systemen ontwikkeld.
• Efficiëntie: Het framework biedt een principieelere manier om multi-objectief optimalisatie aan te pakken zonder de complexiteit van zware criticus-modellen of complexe gewichts-tuning.
• Toepasbaarheid: De introductie van synthetische classificatie maakt de techniek toepasbaar in domeinen waar geen uitgebreide expert-rubrics beschikbaar zijn.

Kortom, ARL-RR biedt een robuustere en transparanere route om LLMs af te stemmen op complexe menselijke verwachtingen, waarbij de diversiteit van feedback wordt behouden in plaats van gereduceerd.