🤖 AI

AI Alignment From Social Choice Perspectives

Dit artikel onderzoekt recent onderzoek dat sociale keuzetheorie toepast op AI-alignment vanuit menselijke feedback, en laat zien hoe dit perspectief faalmodi identificeert bij het aggregeren van conflicterende menselijke oordelen en een bredere, principiële ontwerpplek onthult voor het omgaan met dergelijke onenigheid.

Oorspronkelijke auteurs: Daniel Halpern, Evi Micha, Ariel D. Procaccia, Benjamin Schiffer, Itai Shapira, Shirley Zhang

Gepubliceerd 2026-06-23

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Daniel Halpern, Evi Micha, Ariel D. Procaccia, Benjamin Schiffer, Itai Shapira, Shirley Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, maar nog vrij blanco robot probeert te leren hoe hij verhalen moet schrijven, advies moet geven of vragen moet beantwoorden. Je kunt niet voor elke mogelijke situatie een perfect regelboek schrijven, omdat menselijke waarden te complex en subtiel zijn. In plaats daarvan vraag je een groep menselijke beoordelaars om naar de antwoorden van de robot te kijken en te zeggen: "Ik vind deze liever dan die."

Dit artikel betoogt dat de manier waarop we momenteel al die menselijke meningen combineren tot één enkele set instructies voor de robot, gebrekkig is. Het stelt voor dat we dit proces moeten bekijken door de lens van de Sociale Keuzetheorie — dezelfde wiskunde die wordt gebruikt om te bepalen hoe je eerlijke verkiezingen organiseert.

Hier is de opbouw van de hoofdideeën van het artikel met behulp van eenvoudige analogieën:

1. Het Probleem: De "Eén-maat-voor-allelen"-stem

Momenteel, wanneer mensen het oneens zijn (bijvoorbeeld: de één vindt een grap grappig, de ander vindt hem beledigend), behandelt de standaardmethode (genoemd RLHF) deze onenigheid als "ruis". Het probeert deze uit te middelen om één "correct" antwoord te vinden.

De Analogie: Stel je een stad voor die probeert te beslissen over een nieuw park. Sommige mensen willen een speeltuin, anderen een tuin, en anderen een skatepark. De huidige AI-methode werkt als een stemming waarbij iedereen wordt gedwongen om slechts één winnaar te kiezen. Als de "speeltuin" met een kleine marge wint, bouwt de stad alleen een speeltuin, waardoor de liefhebbers van de tuin volledig worden genegeerd. Het papier zegt dat dit een slechte manier is om met een diverse populatie om te gaan. Het verandert een complex debat in een enkele, rigide score.

2. De Verborgen Stemregel: De "Borda Count"

De auteurs ontdekten dat de wiskunde die momenteel wordt gebruikt om deze robots te trainen (de Bradley-Terry methode genoemd) niet alleen een statistische truc is; het is stiekem een specifiek type stemregel dat bekend staat als de Borda Count.

De Analogie: In een Borda Count kies je niet alleen je favoriet; je rangschikt alles. Als je 5 opties hebt, krijgt je favoriet 5 punten, je tweede keuze 4, enzovoort. De winnaar is degene met de hoogste totale punten.
De Fout: Deze regel bevoordeelt "veilige" en "saaie" opties. Een reactie die "oké" is voor iedereen maar door niemand echt geliefd wordt, kan winnen van een reactie die "geweldig" is voor de helft van de mensen en "gehaat" door de andere helft. De AI leert saai en niet-beledigend te zijn in plaats van werkelijk uitmuntend of onderscheidend.

3. Het "Clone"-probleem: Kopieerders veranderen de winnaar

Het artikel wijst op een vreemde kwetsbaarheid in dit stemmechanisme: Clone Sensitivity (gevoeligheid voor klonen).

De Analogie: Stel je een verkiezing voor tussen een "Rode Auto" en een "Blauwe Auto". Als de Rode Auto wint, is dat prima. Maar wat als de fabrikant van de Rode Auto plotseling 100 licht verschillende versies van de Rode Auto uitbrengt (Rode Auto 1.0, Rode Auto 1.1, Rode Auto 1.2...)? In een Borda-stijl stemming splitsen deze "klonen" de stemmen op een manier die er per ongeluk voor kan zorgen dat de Blauwe Auto verliest, zelfs als de werkelijke voorkeuren van de kiezers niet zijn veranderd.
In AI: Grote taalmodellen genereren vaak veel licht verschillende versies van hetzelfde antwoord (parafrasen). Als de trainingsdata 10 versies van een "veilig" antwoord heeft en slechts 1 versie van een "gedurfd" antwoord, kan de AI denken dat het "veilige" antwoord objectief beter is, simpelweg omdat het vaker voorkomt in de trainingslijst, en niet omdat mensen het echt verkiezen.

4. De "Lineaire" Valstrik: Wanneer de wiskunde breekt

Het paper laat ook zien dat wanneer we de AI dwingen om te leren met een vereenvoudigde wiskundige structuur (om het sneller of gemakkelijker te maken), het de regels van eerlijkheid kan schenden.

De Analogie: Stel je een rechter voor die bedoeld is om elk argument te beluisteren. Maar als de rechter wordt gedwongen om een zeer korte, rigide checklist te gebruiken (een "lineair" model), kan hij de nuance missen. Zelfs als iedere persoon in de kamer het erover eens is dat Optie A beter is dan Optie B, kan dit rigide wiskundige model per ongeluk concluderen dat Optie B beter is. Het is een falen van het instrument, niet van de mensen.

5. De Oplossing: Stop met middelen, begin met spelen

De auteurs stellen een betere manier voor om onenigheid aan te pakken, geïnspireerd door speltheorie. In plaats van te proberen alle menselijke meningen te comprimeren tot één enkele "score", moeten we de AI laten leren om een spel tegen zichzelf te spelen.

De Analogie: In plaats van te vragen "Wat is het ene beste antwoord?", vragen we: "Als ik twee verschillende strategieën tegen elkaar laat spelen, welke wint dan vaker?"
De "Maximal Lottery": Het paper suggereert dat de AI een mengeling van strategieën moet leren. Als de helft van de mensen een tuin wil en de andere helft een skatepark, moet de AI niet één van beide kiezen. De AI moet leren om 50% tuin en 50% skatepark te zijn. Dit behoudt de onenigheid en zorgt ervoor dat geen enkele groep volledig wordt monddood gemaakt.
Het Voordeel: Deze methode (genoemd Nash Learning) is wiskundig bewezen de meest "eerlijke" manier om met de beperkte informatie om te gaan die we hebben. Het garandeert dat de AI geen verschrikkelijke fout maakt, enkel omdat de data schaars was of de stemmers verdeeld waren.

Samenvatting

Het artikel betoogt dat we momenteel AI trainen om een "compromismachine" te zijn die menselijke waarden middelt, wat vaak leidt tot saaie of bevooroordeelde resultaten. Door de wiskunde van eerlijke verkiezingen te gebruiken, kunnen we AI-systemen bouwen die:

Erkennen dat "veilig" niet altijd "het beste" is.
Kopieerantwoorden negeren die de stemming beïnvloeden.
Diverse standpunten behouden door een mix van opties aan te bieden in plaats van één enkele, rigide antwoord af te dwingen.

Het gaat om de verschuiving van de vraag "Wat wil de meerderheid?" naar "Hoe vertegenwoordigen we ieders waarden op een eerlijke manier?"

Technische Samenvatting: AI-alignment vanuit het perspectief van de sociale keuzetheorie

Probleemstelling

AI-alignment via menselijke feedback (bijv. Reinforcement Learning from Human Feedback, RLHF) vertrouwt op het aggregeren van heterogene menselijke oordelen om het gedrag van taalmodellen te sturen. Huidige methoden comprimeren deze oordelen doorgaans tot een enkel, universeel toepasbaar scalair beloningssignaal. Deze aanpak gaat impliciet uit van een gedeelde onderliggende menselijke intuïtie, waarbij tegenstrijdige voorkeuren worden behandeld als ruis rond een gemeenschappelijke grondwaarheid in plaats van als bewijs van waardepuralisme.

Wanneer annotatoren inherent van mening verschillen, wordt het aggregatieproces een vorm van voorkeursaggregatie die conflicterende individuele oordelen comprimeert tot één collectieve voorkeur. Dit artikel betoogt dat de standaard RLHF-pipeline impliciete aggregatieregels bevat met specifieke normatieve afwegingen en faalmodi die niet adequaat worden geadresseerd door louter statistische schatting alleen. Het kernprobleem is om alignment te analyseren door de lens van de sociale keuzetheorie (social choice theory) om deze ingebedde regels te identificeren, structurele tekortkomingen (zoals gevoeligheid voor de representatie van kandidaten en schendingen van unanimiteit) bloot te leggen en alternatieve aggregatiemechanismen te verkennen die beter omgaan met onenigheid.

Methodologie en Raamwerk

Het artikel onderzoekt alignment-onderzoek door de alignment-pipeline te modelleren als een formeel aggregatieproces: van geëliciteerde oordelen naar geleerde doelstellingen naar geoptimaliseerde beleidsregels (policies). De analyse steunt op de standaard notatie voor prompts ( $X$ ), responsen ( $Y$ ), annotatoren ( $A$ ) en beleidsregels ( $\pi$ ).

Belangrijke methodologische componenten zijn onder meer:

Beloningsleren als Aggregatie: Het artikel analyseert het Bradley-Terry (BT) model, de standaard verliesfunctie voor het leren van beloningsmodellen uit paarwijze vergelijkingen. Het demonstreert dat onder geïdealiseerde omstandigheden (niet-beperkte beloningsklasse, oneindige data), het minimaliseren van de BT-loss wiskundig equivalent is aan de Borda-count stemregel.
Sociale Keuze Axioma's: De auteurs passen standaard sociale keuze axioma's toe (bijv. clone-robuustheid, unanimiteit/Pareto-efficiëntie, distortie-grenzen) om de eigenschappen van geleerde beloningsmodellen en de resulterende beleidsregels te evalueren.
Alternatieve Aggregatieregels: Het artikel onderzoekt alternatieven voor scalaire beloningscompressie, specifiek Maximal Lotteries en Nash Learning from Human Feedback (NLHF), die direct opereren op paarwijze voorkeursrelaties zonder een transitieve scalaire rangschikking af te dwingen.

Belangrijkste Bijdragen en Resultaten

1. BT Beloningsleren als Borda-aggregatie

Het artikel stelt vast dat onbeperkt BT-beloningsleren impliciet de Borda-regel implementeert.

Mechanisme: De geleerde beloning $r^*(y)$ rangschikt responsen exact volgens hun Borda-scores, gedefinieerd als de verwachte waarschijnlijkheid dat een respons wordt verkozen boven een willekeurig getrokken kandidaat.
Implicatie: Deze regel bevoordeelt "consensus"- of "compromis"-responsen die breed acceptabel zijn, boven polariserende responsen met sterke maar smalle steun. Het rangschikt responsen die sterke oppositie oproepen inherent lager, zelfs als ze sterke steun hebben van een minderheid.
Impact van Preprocessing: Als zachte voorkeuren worden afgeplat naar binaire meerderheidsstemmen vóór de BT-fitting, verschuift de aggregatieregel naar de Copeland-regel (rangschikking op basis van het aantal paarwijze meerderheidswinsten).

2. Falen van Clone-robuustheid

Het artikel identificeert een kritieke faalmodus in taalmodel-omgevingen: gevoeligheid voor benaderende clones.

Probleem: In generatieve settings kan één inhoudelijk antwoord worden gerepresenteerd door vele bijna identieke strings (parafraasjes, herordeningen). Standaard BT/Borda-aggregatie is gevoelig voor het aantal dergelijke varianten; het toevoegen van bijna-duplicaten verandert de geaggregeerde beloning, waardoor de beleidsregel gevoelig wordt voor willekeurige sampling-artefacten in plaats van menselijke voorkeur.
Oplossing: De auteurs citeren werk dat een gewogen BT-objectief voorstelt. Door gewichten toe te kennen op basis van de "uniciteit" van een respons (het volume van de responsruimte dat het vertegenwoordigt), wordt de geleerde beloning robuust tegen de toevoeging van bijna-duplicaten, waarbij bijna-duplicaten worden behandeld als redundante representaties van dezelfde regio.

3. Schending van Unanimiteit in Parametrische Modellen

Hoewel onbeperkt BT voldoet aan unanimiteit (als iedereen $y_+$ verkiest boven $y_-$ , reflecteert de beloning dit), laat het artikel zien dat deze garantie vervalt onder parametrische beperkingen.

Mechanisme: In de praktijk worden beloningsmodellen beperkt tot een hypotheseklasse (bijv. lineaire functies van kenmerken). De noodzaak om een enkele set parameters aan alle vergelijkingen aan te passen, creëert afwegingen.
Resultaat: Het is mogelijk om scenario's te construeren waarbij een parametrisch beloningsmodel een ordening leert die unanimiteit schendt ( $r(y_-) > r(y_+)$ zelfs als alle annotatoren $y_+$ verkiezen), omdat de verliesfunctie prioriteit geeft aan het fitten van dominante vergelijkingsrichtingen boven het unanieme paar.

4. Welvaartsverlies en Distortie

Het artikel analyseert het informatieverlies dat optreedt wanneer beleidsregels worden geoptimaliseerd op basis van enkel paarwijze vergelijkingen (ordinale data) in plaats van kardinale utiliteiten.

Distortie: Het concept distortie meet de slechtst denkbare ratio tussen de optimale welvaart en de welvaart die wordt bereikt door een beleidsregel geleerd uit paarwijze data.
Beperkingen van BT: Onder het BT-model wordt de distortie van een via standaard beloningsleren geleerde beleidsregel begrensd door $O(\eta^2)$ , waarbij $\eta$ de inverse temperatuurparameter is.
Optimaliteit van Nash-leren: Het artikel benadrukt Nash Learning from Human Feedback (NLHF), dat direct tegen de paarwijze voorkeuren optimaliseert met behulp van een speltheoretische aanpak (Maximal Lotteries). NLHF bereikt een distortie-grens van $(1/2 + o(1))\eta$ , wat overeenkomt met de theoretische minimax lower bound voor anonieme paarwijze feedback. Dit geeft aan dat NLHF optimaal is in het minimaliseren van welvaartsverlies gegeven de informatiebeperkingen.

5. Directe Alignment via Maximal Lotteries

In plaats van voorkeuren te comprimeren tot een scalaire waarde, pleit het artikel voor Maximal Lotteries (of Nash-evenwichten in het voorkeursspel).

Mechanisme: Deze aanpak selecteert een distributie over responsen die de minimale verwachte marge tegen elke andere distributie maximaliseert.
Eigenschappen: Deze methode gaat natuurlijk om met Condorcet-cycli (intransitieve voorkeuren) door waarschijnlijkheidsmassa over de cyclus te verspreiden in plaats van deze willekeurig te doorbreken. Het is invariant voor exacte clones en bereikt optimale distortie-garanties.

Betekenis en Claims

Het artikel positioneert de sociale keuzetheorie niet louter als een theoretische curiositeit, maar als een noodzakelijk raamwerk voor het diagnosticeren en verbeteren van AI-alignment. De primaire claims zijn:

Transparantie van Normatieve Aannames: Het bekijken van alignment vanuit de sociale keuzetheorie maakt de normatieve aannames die in standaard methoden (zoals RLHF) besloten liggen expliciet. Het onthult dat standaard pipelines geen neutrale statistische schatters zijn, maar specifieke stemregels (Borda/Copeland) met bekende biases (bijv. het bevoordelen van banaliteit, gevoeligheid voor representatie).
Identificatie van Faalmodi: Het perspectief van de sociale keuzetheorie identificeert structurele faalmodi—zoals clone-gevoeligheid en schendingen van parametrische unanimiteit—die inherent zijn aan de aggregatielogica, en niet slechts artefacten van slechte data of training.
Uitbreiding van de Ontwerpplek (Design Space): Het artikel betoogt dat de "ontwerpplek" voor alignment breder is dan de huidige praktijken. Door aggregatiemethoden uit de sociale keuzetheorie te adopteren (bijv. gewogen BT, Nash-leren, maximal lotteries), kunnen onderzoekers verschillende normatieve doelstellingen (bijv. robuustheid tegen representatie, optimaliteit in welvaartsverlies) explicieter coderen.
Evaluatie op Beleidsniveau: Het artikel benadrukt dat de kwaliteit van een beloningsmodel moet worden geëvalueerd aan de hand van de beleidsregel (policy) die het induceert. Een beloningsmodel dat voldoet aan aggregatie-axioma's garandeert niet dat een beleidsregel dat ook doet, wat directe optimalisatie op beleidsniveau zoals NLHF noodzakelijk maakt.

De auteurs concluderen dat AI-alignment fundamenteel een probleem is van het vaststellen van eerlijke principes voor het incorporeren van diverse menselijke waarden, en dat de sociale keuzetheorie de wiskundige instrumenten biedt om de mechanismen te analyseren en te verbeteren die worden gebruikt om deze waarden te aggregeren.