Does LLM Alignment Really Need Diversity? An Empirical Study of Adapting RLVR Methods for Moral Reasoning

Deze empirische studie toont aan dat LLM-afstemming op morele redenering geen diversiteitsbevorderende algoritmen vereist, omdat standaard RLVR-methode voor beloningsmaximalisatie even effectief zijn dankzij de geconcentreerde aard van hoogwaardige morele antwoorden.

De kern

Titel: Moet een slimme computer ook "divers" denken om morele vragen te beantwoorden?

Stel je voor dat je een zeer slimme robot hebt die goed is in wiskunde. Als je hem vraagt: "Hoeveel is 2 + 2?", dan is er maar één goed antwoord: 4. Als je hem vraagt om een code te schrijven die een lamp aan doet, is er ook maar één perfecte manier om dat te doen. De robot leert hierdoor door te zoeken naar dat ene, perfecte antwoord. Dit noemen onderzoekers beloningsmaximalisatie: "Zoek het beste antwoord en blijf daar vastzitten."

Maar wat gebeurt er als je de robot een morele vraag stelt? Bijvoorbeeld: "Is het eerlijk om een vriend te bedriegen om een promotie te krijgen?"
Hier denken veel mensen: "Wacht, er zijn hier misschien wel tien verschillende goede antwoorden, afhankelijk van je waarden, cultuur of situatie. De robot moet dus leren om divers te denken, niet alleen naar één oplossing te jagen."

Dit is precies wat de auteurs van dit papier wilden testen. Ze dachten: "Misschien moeten we de robot een andere manier van leren geven, die speciaal is ontworpen om veel verschillende goede antwoorden te vinden (diversiteit), in plaats van alleen het ene beste antwoord."

Maar wat ze ontdekten, is verrassend en tegenstrijdig aan wat we denken.

De Grote Experimenten: Twee Manieren van Leren

De onderzoekers testten twee soorten "leren" op een moeilijke morele test (genaamd MoReBench):

1. De "Jager" (Beloningsmaximalisatie): Deze robot probeert het ene, allerbeste antwoord te vinden en wordt daar heel goed in. Hij negeert de rest. (Voorbeelden: GRPO, DAPO).
2. De "Verzamelaar" (Distributie-matching): Deze robot probeert een hele verzameling van goede antwoorden te vinden, zodat hij divers is. Hij wil niet alleen het beste, maar ook de "tweede beste" en "derde beste" varianten. (Voorbeeld: FlowRL).

Het Verwachte Resultaat:
De onderzoekers dachten: "Voor morele vragen is de 'Verzamelaar' beter, want morele vragen hebben veel goede antwoorden."

Het Werkelijke Resultaat:
De "Jager" won het! De robot die gewoon het ene beste antwoord zocht, deed het beter dan de robot die probeerde divers te zijn.

Waarom is dit zo? De Analogie van de Schatkaart

Om dit uit te leggen, gebruiken de auteurs een mooie analogie met een schatkaart:

• Wiskundige problemen lijken op een eiland waar de schat verspreid ligt over een groot gebied. Je kunt de schat vinden op plek A, B, C of D. Als je alleen naar plek A kijkt, mis je de rest. Daarom helpt het om divers te zoeken (de "Verzamelaar" werkt hier goed).
• Morele problemen lijken echter op een eiland waar de schat ligt in één heel klein, diep gat. Hoewel het lijkt alsof er veel verschillende wegen naar de schat leiden, blijken alle goede antwoorden in feite naar precies hetzelfde punt te leiden.

De onderzoekers keken met een "bril" (een visuele techniek) naar de antwoorden van de robot. Ze zagen dat bij wiskundige vragen de goede antwoorden verspreid lagen over het hele eiland. Maar bij morele vragen zaten alle goede antwoorden dicht op elkaar gepakt, alsof ze allemaal in hetzelfde kleine gat zaten.

Wat betekent dit voor ons?

Het betekent dat we ons geen zorgen hoeven te maken over het bouwen van super-complexe robots die "divers" moeten denken om morele vragen te beantwoorden.

• De conclusie: Als je een robot goed wilt trainen om morele vragen te beantwoorden, hoef je niet te proberen hem "divers" te maken. Je kunt gewoon de standaard methode gebruiken die hij ook voor wiskunde gebruikt: Zoek het beste antwoord en ga daar zo goed mogelijk op zitten.
• De les: Morele vragen lijken op het eerste gezicht open en divers, maar onder de oppervlakte zijn de "goede" antwoorden vaak heel vergelijkbaar en dicht bij elkaar. De robot hoeft niet te zoeken naar 100 verschillende oplossingen; hij hoeft alleen de ene, sterke oplossing te vinden.

Samenvattend in één zin:

Je hoeft je robot niet te dwingen om "divers" te denken voor morele dilemma's; hij doet het gewoon beter door te focussen op het ene, beste antwoord, net zoals hij dat doet voor wiskunde. De "schat" van het juiste morele antwoord zit namelijk in één klein gat, niet verspreid over het hele eiland.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Does LLM Alignment Really Need Diversity? An Empirical Study of Adapting RLVR Methods for Moral Reasoning", vertaald en samengevat in het Nederlands.

Probleemstelling

Reinforcement Learning met verifieerbare beloningen (RLVR) heeft aanzienlijke successen geboekt in logische redeneertaken, zoals wiskunde en codering. Echter, de toepassing van deze methoden op LLM-afstemming (alignment) en moreel redeneren blijft onverkend.

De kernvraag van dit paper is of moreel redeneren fundamenteel andere aanpakken vereist dan logisch redeneren.

• Hypothese: Omdat morele dilemma's vaak meerdere geldige oplossingen hebben die verschillende ethische kaders vertegenwoordigen, wordt aangenomen dat afstemmingstaken algoritmen vereisen die gericht zijn op diversiteit (zoals distributie-matching methoden), in plaats van methoden die gericht zijn op het maximaliseren van een enkele optimale beloning (reward-maximizing).
• Doel: Onderzoeken of de sterke redeneercapaciteiten van RLVR (die vaak "mode-seeking" zijn) ook effectief kunnen worden overgedragen naar morele taken, of dat specifieke diversiteitsmechanismen noodzakelijk zijn.

Methodologie

1. Benchmark en Dataset:
De auteurs gebruiken MoReBench, een uitdagende benchmark voor moreel redeneren bestaande uit twee sub-taken:

• MoReBench-Public: Redeneren over waarden-beladen dilemma's in real-world scenario's.
• MoReBench-Theory: Redeneerconsistentie testen onder specifieke filosofische kaders (utilitarisme, deontologie, deugdethiek, etc.).

2. Beloningspijplijn (Reward Pipeline):
Omdat het gebruik van een groot model (zoals GPT-5) als rechter tijdens training te duur is, bouwen de auteurs een lokaal, schaalbaar systeem:

• Ze trainen een Qwen3-1.7B model als "judge" (beoordelaar).
• Dit model wordt gesuperviseerd met data gegenereerd door GPT-5, gebaseerd op gedetailleerde rubrics (beoordelingscriteria) die de complexiteit van moreel redeneren vastleggen.
• Dit resulteert in een dichte, verifieerbare beloningsfunctie $r(x, y)$ die normaliseert tussen -1 en 1.

3. Vergelijkende Experimenten:
De auteurs vergelijken twee paradigma's van RL-methoden op twee basismodellen (Qwen2.5-7B en Llama3.1-8B):

• Reward-Maximizing (Mode-Seeking): Methodes die streven naar het vinden van de ene beste strategie.
  • Baselines: PPO, REINFORCE++ (RFPP), GRPO, DAPO.
• Distribution-Matching (Diversiteit-Seeking): Methodes die proberen de beleidsdistributie af te stemmen op de beloningsdistributie om diverse oplossingen te vinden.
  • Baseline: FlowRL.

4. Evaluatiemetrics:

• Score@1: De score van één enkele gegenereerde respons.
• Avg@8: De gemiddelde score van 8 gegenereerde responsen (meting van stabiliteit en diversiteit).

Belangrijkste Bijdragen

1. Eerste Empirische Studie: Dit is het eerste uitgebreide empirische onderzoek dat reward-maximizing en distributie-matching methoden systematisch vergelijkt op morele redeneertaken.
2. Schalbare Judge: Ontwikkeling van een robuuste, op rubrics gebaseerde beloningspijplijn met een compact Qwen3-1.7B model, wat stabiele RLVR-training op MoReBench mogelijk maakt.
3. Paradigmaverschuiving: Het weerleggen van de conventionele wijsheid dat afstemmingstaken per se diversiteitsbehoudende algoritmen vereisen.

Resultaten

1. Prestaties (Reward-Maximizing wint):
Tegen de verwachting in presteren reward-maximizing methoden (zoals DAPO en RFPP) beter dan of gelijk aan distributie-matching methoden (FlowRL) op beide benchmarks.

• Op de Public benchmark behaalde DAPO een verbetering van 81,08% (Qwen) en 60,00% (Llama) ten opzichte van de basis, terwijl FlowRL aanzienlijk achterbleef (respectievelijk 64,86% en 33,33%).
• De rangorde was consistent: DAPO > FlowRL > RFPP > GRPO > PPO > Base.
• Dit suggereert dat de superioriteit van reward-maximizing methoden een fundamentele eigenschap is van de optimalisatie-algoritmen, niet een artefact van het specifieke model.

2. Analyse van Diversiteit (De verrassende bevinding):
Via semantische visualisatie (t-SNE) van hoge-beloningsresponsen in de semantische ruimte, ontdekten de auteurs het tegenovergestelde van wat men zou verwachten:

• Wiskundig redeneren: Toont een diverse verdeling van hoge beloningen; verschillende oplossingsstrategieën leiden tot even goede scores.
• Moreel redeneren: Toont een geconcentreerde verdeling. Hoge-beloningsresponsen clusteren strak rond één dominant semantisch gebied.
• Conclusie: Morele taken hebben blijkbaar minder "multi-modale" beloningslandschappen dan wiskundige taken. De "beste" morele antwoorden zijn vaak uniek of zeer vergelijkbaar in hun kern, ondanks de schijnbare openheid van het probleem.

3. Case Study:
Een kwalitatieve analyse van een dilemma (integriteit vs. carrière) toonde aan dat verschillende methoden (inclusief FlowRL) uiteindelijk naar zeer vergelijkbare redeneerpaden en conclusies convergeren (eerlijke feedback geven gecombineerd met privé communicatie). Er was weinig substantiële diversiteit in de onderliggende beslissingscriteria, alleen in oppervlakkige formulering.

Betekenis en Conclusie

Dit paper biedt een cruciale nuance voor het veld van LLM-afstemming:

• Geen noodzaak voor complexe diversiteitsmechanismen: Voor moreel redeneren zijn expliciete diversiteitsbehoudende algoritmen (zoals FlowRL) niet noodzakelijk om hoge prestaties te behalen. Standaard reward-maximizing RLVR-methoden (zoals DAPO) zijn even effectief, of zelfs superieur.
• Overdraagbaarheid: De optimalisatielandschappen van logisch en moreel redeneren zijn fundamenteel vergelijkbaar; beide hebben vaak een "mode-seeking" karakter waar de beste oplossing relatief uniek is binnen het gegeven kader.
• Implicatie: Onderzoekers kunnen bestaande, bewezen RLVR-methoden (die gericht zijn op het maximaliseren van beloning) direct toepassen op morele taken zonder eerst complexe diversiteitsmechanismen te moeten implementeren, zolang de beloningsfunctie (de judge) voldoende discriminerend is.

De auteurs merken op dat de definitie van "diversiteit" nog steeds een open discussie is en dat toekomstig werk nodig is om de generaliseerbaarheid van deze bevindingen op andere benchmarks en reward-definities te valideren.