Unsupervised Elicitation of Moral Values from Language Models

Technische Samenvatting: Ongesuperviseerde Elicitatie van Morele Waarden uit Taalmodellen

Probleemstelling
Nu AI-systemen steeds vaker worden ingezet in domeinen met een hoge impact (bijv. werving en selectie, de gezondheidszorg, autonome voertuigen), is het afstemmen van hun gedrag op menselijke waarden cruciaal. Huidige benaderingen leunen zwaar op het "onderwijzen" van morele waarden aan taalmodellen (LM's) via gesuperviseerde fine-tuning op door mensen geannoteerde data. Dit paradigma staat echter voor aanzienlijke knelpunten: de schaarste aan hoogwaardige morele labels, wijdverspreide discrepanties tussen annotatoren en de niet-monolithische aard van moraliteit over verschillende culturen en kaders heen. Boveraan sluiten bestaande alignment-methoden vaak onvoldoende aan bij het mitigeren van sociale vooroordelen en worstelen ze met generalisatie over diverse morele kaders. De centrale vraag die dit werk adresseert, is of vooraf getrainde (base) LM's beschikken over intrinsieke morele redeneercapaciteiten die kunnen worden blootgelegd zonder menselijk toezicht, waardoor de afhankelijkheid van schaarse en potentieel bevooroordeelde menselijke labels wordt verminderd.

Methodologie
De studie onderzoekt Internal Coherence Maximization (ICM), een algoritme voor ongesuperviseerde elicitatie, als alternatief voor gesuperviseerde morele alignment.

• Kernmechanisme: ICM zoekt naar labeltoewijzingen die een scorefunctie maximaliseren bestaande uit wederzijdse voorspelbaarheid (de sommatie van de log-waarschijnlijkheid van labels gegeven inputs en andere voorlopige labels) en logische consistentie (het bestraffen van tegenstrijdige toewijzingen). Het maakt gebruik van een zoekmethode in de stijl van simulated annealing om iteratief labels voor te stellen en op te lossen, waarbij het model wordt gefinetuned op zijn eigen gegenereerde labels in plaats van op externe menselijke annotaties.
• Experimentele Opzet: De auteurs evalueerden vier open-weight modellen (Llama-3.1-8B, Llama-3.1-70B, Mistral-7B-v0.3 en OLMo2-13B) met behulp van hun base pretrained gewichten (geen RLHF of instruction tuning).
• Benchmarks:
  1. Norm Bank: Een corpus van ~1,7 miljoen crowdsourced morele oordelen (gesampled naar 2.024 punten) die alledaagse ethiek beslaat.
  2. ETHICS: Een benchmark van 130.000 scenario's over vijf normatieve domeinen: Rechtvaardigheid (Justice), Deontologie (Deontology), Deugdethiek (Virtue Ethics), Utilitarisme (Utilitarianism) en Common Sense Morality.
  3. UDHR (Universele Verklaring van de Rechten van de Mens): Een bias-evaluatieset bestaande uit 8.094 stellingen die de bevestiging van rechten testen over 12 demografische identiteiten (bijv. ras, sociaaleconomische status, geslacht).
• Baselines: Vergelijkingen werden gemaakt met Zero-shot (Base), Zero-shot (Chat), Many-shot (Prompt-Human) en Fine-tuning op door mensen gelabelde data (FT-Human).

Belangrijkste Bijdragen

1. Demonstratie van Latente Morele Redenering: Het artikel levert bewijs dat substantiële morele redeneercapaciteiten intrinsiek gecodeerd zijn in vooraf getrainde base modellen en kunnen worden geactiveerd zonder expliciet menselijk toezicht.
2. Ongesuperviseerde Effectiviteit: De studie introduceert een schaalbare pipeline waarbij ICM-gegenereerde labels worden gebruikt om modellen te finetunen, waarbij prestaties worden behaald die vergelijkbaar zijn met of de resultaten overtreffen van modellen die getraind zijn op menselijk geannoteerde data.
3. Mitigatie van Vooroordelen: Het werk laat zien dat ongesuperviseerde elicitatie sociale bias-fouten in morele redenering aanzienlijk kan verminderen in vergelijking met zowel zero-shot als chat-aligned baselines.
4. Schaalbare Alignment: De auteurs hebben de aanpak succesvol geschaald naar het trainen van een ongesuperviseerd reward model en een Reinforcement Learning (RL) policy, waarmee wordt aangetoond dat ICM de plaats kan innemen van menselijke voorkeurdata in RLHF-achtige settings.

Resultaten

• Norm Bank Prestaties: ICM behaalde een nauwkeurigheid van minstens 81% over alle geteste modellen, waarmee het zero-shot en many-shot chatbot baselines overtrof. Fine-tuning op ICM-gegenereerde labels (FT-Unsupervised) presteerde op gelijke voet met of beter dan FT-Human, met name voor OLMo2-13B, Mistral-V03 en Llama-3.1-70B.
• ETHICS Kaders: ICM presteerde consequent beter dan zero-shot en chat baselines over alle vijf de morele kaders. De grootste relatieve winsten werden waargenomen in de domeinen Common Sense en Justice. Utilitarisme bleef de meest uitdagende dimensie, hoewel ICM nog steeds de prestaties verbeterde ten opzichte van de baselines. Schalings-effecten werden opgemerkt binnen de Llama-familie (70B > 8B), maar kleinere modellen zoals OLMo2-13B presteerden vergelijkbaar met de grootste Llama-variant.
• Reductie van Sociale Bias: Op de UDHR benchmark verminderde ICM de foutpercentages in morele redenering tot 4,1%, wat ongeveer een derde is van het foutpercentage van vooraf getrainde modellen (11,97%) en de helft van dat van chatbot-modellen (9,85%). De meest significante verbeteringen vonden plaats in categorieën gerelateerd aan ras, sociaaleconomische status en uiterlijk.
• Reward Modeling & RL: Een ongesuperviseerd reward model getraind via ICM bereikte een nauwkeurigheid van 71,3–75,4%, wat nauw aansluit bij menselijk gesuperviseerde baselines. Een RL-policy gestuurd door dit ongesuperviseerde reward model won 71,7% van de paarwijze vergelijkingen tegenover een menselijk gesuperviseerde baseline, wat de levensvatbaarheid van volledig ongesuperviseerde alignment-pipelines aantoont.

Betekenis en Claims
Het artikel claimt dat de heersende aanname — dat morele redenering expliciet "geleerd" moet worden aan LM's via gesuperviseerde data — incompleet is. In plaats daarvan bezitten vooraf getrainde modellen latente morele redeneercapaciteiten die betrouwbaar kunnen worden geëliciteerd via ongesuperviseerde methoden zoals ICM. Dit biedt een schaalbaar pad voor AI-alignment dat de afhankelijkheid van dure, bevooroordeelde en cultureel beperkte menselijke annotatie vermindert.

De auteurs hanteren een bescheiden standpunt met betrekking tot de reikwijdte van deze bevindingen:

• ICM is het meest effectief wanneer de doelconcepten (morele waarden) al prominent aanwezig zijn in de interne representaties van het vooraf getrainde model.
• Hoewel ICM de prestaties aanzienlijk verbetert, lost het niet universeel alle uitdagingen in morele redenering op (bijv. Utilitarisme blijft moeilijk).
• Menselijk toezicht blijft essentieel voor verificatie na de training en contextgevoelige evaluatie, met name waar de interne coherentie van het model mogelijk niet overeenkomt met complexe, evoluerende maatschappelijke normen.
• De studie suggereert dat ongesuperviseerde elicitatie een complementair mechanisme is voor, in plaats van een totale vervanging van, human-in-the-loop systemen, wat een fundament biedt voor een robuustere en cultureel bewuster AI-alignment.