🤖 AI

Learning the Value Systems of Societies with Preference-based Multi-objective Reinforcement Learning

Dit artikel stelt een voorkeursgebaseerd meerdoelversterkingsleerframework voor dat agenten clusteren om gezamenlijk sociaal afgeleide waarde-uitlijningsmodellen en onderscheiden waardesystemen te leren, waardoor het genereren van Pareto-optimale beleidslijnen mogelijk wordt die zich aanpassen aan diverse gebruikersvoorkeuren binnen een samenleving.

Oorspronkelijke auteurs: Andrés Holgado-Sánchez, Peter Vamplew, Richard Dazeley, Sascha Ossowski, Holger Billhardt

Gepubliceerd 2026-02-12

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Andrés Holgado-Sánchez, Peter Vamplew, Richard Dazeley, Sascha Ossowski, Holger Billhardt

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot-assistent hebt die je moet helpen in het huishouden. Maar er is een probleem: jij vindt een schoon huis het allerbelangrijkste, terwijl je partner vindt dat een gezellig en knus huis veel belangrijker is dan een steriel schoon huis. Als de robot alleen jouw regels volgt, krijgt je partner ruzie. Als de robot een compromis zoekt dat niemand tevreden is, is hij nutteloos.

Dit wetenschappelijke artikel beschrijft hoe we AI kunnen leren om niet alleen naar één persoon te luisteren, maar om de verschillende waarden van een hele samenleving te begrijpen en te groeperen.

Hier is de uitleg in begrijpelijke taal:

De kern: De "Waarden-detective"

De onderzoekers hebben een systeem gebouwd dat werkt als een soort sociale detective. In plaats van dat een programmeur vooraf zegt: "Een goede robot doet altijd X en Y", laat dit systeem de robot kijken naar hoe mensen keuzes maken.

Stel je een groep mensen voor die moeten kiezen tussen twee paden in een bos. De één kiest het pad dat het snelst is (efficiëntie), de ander het pad met de mooiste bloemen (esthetiek), en een derde het pad dat het veiligst is (veiligheid). De AI observeert deze keuzes en begint patronen te zien.

Hoe werkt het? (De metafoor van de Kleurkasten)

De AI gebruikt een techniek die we kunnen vergelijken met het sorteren van een enorme doos met duizenden verschillende kleuren kralen:

De Grondwet (Social Grounding): Eerst leert de AI wat de basisbegrippen betekenen. Wat bedoelen we eigenlijk met "veiligheid" of "snelheid"? Dit is de basis waarop iedereen het (meestal) eens is.
De Groepsindeling (Clustering): De AI ziet dat de kralen niet willekeurig door elkaar liggen. Er ontstaan groepjes: een groepje "snelle" kralen, een groepje "mooie" kralen, enzovoort. In de echte wereld zijn dit de verschillende 'culturen' of 'subculturen' in een samenleving. De AI zegt: "Ah, ik zie dat er drie soorten mensen zijn: de Pragmatici, de Estheten en de Voorzichtigen."
De Maatwerk-assistent (Policy Learning): Nu de AI weet welke groepen er zijn, kan hij voor elke groep een eigen "modus" aan hebben. Als hij met een Pragmaticus praat, schakelt hij naar de 'snelle modus'. Als hij met een Estheet praat, schakelt hij naar de 'mooie modus'.

Waarom is dit bijzonder?

Vroeger probeerden we AI te leren door één grote, gemiddelde regel voor iedereen te maken. Dat is alsof je een maaltijd kookt die precies in het midden zit tussen pittig en zoet: het is voor niemand echt lekker.

Dit nieuwe systeem (genaamd SVSL-P) doet iets anders:

Het is slim en efficiënt: Het vraagt niet aan mensen om duizenden ingewikkelde vragen te beantwoorden. Het leert door simpelweg te kijken naar keuzes die mensen al maken.
Het begrijpt diversiteit: Het probeert niet iedereen in één hokje te proppen, maar herkent dat een samenleving uit verschillende groepen met verschillende prioriteiten bestaat.
Het is eerlijk: Het probeert een balans te vinden tussen het nauwkeurig volgen van een groep (representativiteit) en het niet te ingewikkeld maken van het systeem (eenvoud).

Samenvattend

Dit onderzoek is een stap richting "Waarde-bewuste AI". In plaats van een robot die blindelings regels volgt, bouwen we een robot die begrijpt dat de wereld bestaat uit verschillende mensen met verschillende prioriteiten, en die in staat is om met elke groep op een respectvolle en passende manier om te gaan.

Technische Samenvatting: Learning the Value Systems of Societies with Preference-based Multi-objective Reinforcement Learning

1. Het Probleem (Problem Statement)

De kernuitdaging die dit onderzoek aanpakt, is het creëren van waarde-bewuste AI (Value-aware AI) die niet alleen menselijke waarden begrijpt, maar zich ook kan aanpassen aan de diverse en pluralistische waardesystemen binnen een samenleving.

Huidige methoden voor waarde-alignement kampen met drie belangrijke beperkingen:

Mis-specificatie: Het handmatig definiëren van waarden is foutgevoelig en contextafhankelijk.
Gebrek aan sociale representatie: Veel modellen proberen één algemene waarde voor de hele samenleving te vinden, terwijl individuen en groepen verschillende prioriteiten hebben (bijv. de balans tussen 'veiligheid' en 'efficiëntie').
Gebrek aan interpretabiliteit en adaptiviteit: Bestaande algoritmen voor personalisatie vereisen vaak handmatig ontworpen kenmerken of kunnen niet efficiënt omgaan met de diversiteit aan voorkeuren binnen groepen.

2. Methodologie (Methodology)

De auteurs stellen een nieuw algoritme voor genaamd SVSL-P (Social Value System Learning with Preference-based MORL). Dit algoritme werkt binnen het kader van Markov Decision Processes (MDP's) en combineert clustering met Preference-based Multi-Objective Reinforcement Learning (PbMORL).

De methodologie rust op drie pijlers:

Sociale Grounding (Waarde-alignement): Het algoritme leert een gedeelde 'grounding' (een beloningsvector $R$ ), die de betekenis van verschillende waarden (zoals professionaliteit of veiligheid) in de specifieke omgeving definieert. Er wordt vanuit gegaan dat er een consensus bestaat over de betekenis van een waarde, ook al verschillen de prioriteiten.
Waardesystemen en Clustering: In plaats van elk individu apart te modelleren, clustert het algoritme gebruikers met vergelijkbare voorkeuren. Elk cluster wordt gerepresenteerd door een lineaire scalarisatie (een set gewichten $W$ ) die de relatieve belangrijkheid van de waarden aangeeft.
Online Human-in-the-Loop (HiL) Feedback: Het algoritme maakt gebruik van een online leerproces waarbij het van menselijke agenten verzoeken krijgt voor pairwise preferences (vergelijkingen tussen twee trajecten). De feedback is tweeledig:
- Value alignment preferences: Welke trajecten zijn beter in lijn met een specifieke waarde?
- Value-based preferences: Welke trajecten passen beter bij het persoonlijke waardesysteem van de agent?

Het leerproces is geformuleerd als een bi-level optimalisatieprobleem: het maximaliseren van de representativiteit (hoe goed de clusters de mensen beschrijven) en de concisheid (hoeveel clusters er nodig zijn), terwijl de sociale grounding zo coherent mogelijk blijft.

3. Belangrijkste Bijdragen (Key Contributions)

Nieuw Conceptueel Model: Een wiskundige definitie van een "sociaal waardesysteem" dat zowel de sociale grounding als de diverse clusters van waardesystemen omvat.
SVSL-P Algoritme: Een innovatief algoritme dat clustering en multi-objective RL integreert om zowel de waarden als de bijbehorende optimale gedragingen (Pareto-efficiënte policies) te leren.
Efficiënte Feedback-loop: In tegenstelling tot eerdere methoden vraagt SVSL-P alleen om eenvoudige vergelijkingen, wat de cognitieve belasting voor de menselijke gebruiker minimaliseert.

4. Resultaten (Results)

Het algoritme is getest in twee gesimuleerde omgevingen: de Firefighters omgeving (focus op professionaliteit vs. nabijheid) en de Multivalued Car omgeving (focus op prestatie vs. veiligheid vs. comfort).

Representativiteit en Coherentie: SVSL-P presteert superieur aan de baseline (SVSL) en de state-of-the-art PbMORL-methode wat betreft de nauwkeurigheid waarmee de individuele voorkeuren van agenten worden gereproduceerd.
Pareto-efficiëntie: De geleerde gedragingen (policies) voor elk cluster benaderen de theoretische Pareto-fronten zeer nauwkeurig. Dit betekent dat de AI effectief handelt volgens de specifieke waarden van een groep.
Optimal Trade-off: Via de Ray-Turi index werd aangetoond dat SVSL-P de beste balans vindt tussen het nauwkeurig beschrijven van de samenleving (representativiteit) en het behouden van een overzichtelijk aantal groepen (concisheid).

5. Betekenis (Significance)

Dit onderzoek is cruciaal voor de ontwikkeling van sociaal-bewuste AI. Het biedt een schaalbare manier om AI-systemen te trainen die niet alleen "goed" handelen volgens een universele standaard, maar die de nuances van menselijke cultuur en sociale groepen begrijpen. Dit heeft directe toepassingen in autonome voertuigen, robotica in de zorg en beleidsvorming, waarbij het systeem moet kunnen schakelen tussen verschillende groepen gebruikers met uiteenlopende prioriteiten zonder dat dit handmatige herprogrammering vereist.