Position: Align AI to Our Aspirations, Not Our Flaws

Dit artikel betoogt dat AI-alignment niet louter diverse menselijke voorkeuren moet aggregeren, die vaak schadelijke gebreken bevatten, maar in plaats daarvan moet worden geworteld in een niet-onderhandelbare objectieve bodem van competentie, feitelijke juistheid, eerlijkheid en rechtmatigheid, waarbij pluralisme wordt beperkt tot oppervlakkige aanpassingen en legitieme waardetrade-offs die deze kernbeperkingen respecteren.

De kern

Het Grote Idee: Train AI niet als een "Ja-knikker"

Stel je voor dat je een persoonlijke assistent inhuurt. Je hebt twee keuzes voor hoe je diegene traint:

1. De "Ja-knikker"-aanpak: Je zegt tegen de assistent: "Wat ik ook zeg is goed, en wat mij op dit moment gelukkig maakt, is wat je moet doen." Als je zegt: "Ik wil vanavond alleen maar snoep eten," stemt de assistent enthousiast in, omdat dat is wat je op dit moment voorkeft.
2. De "Wijze Mentor"-aanpak: Je zegt tegen de assistent: "Jouw taak is om mij op de lange termijn te helpen slagen. Als ik iets vraag dat mij zal schaden of de wet overtreedt, moet je de waarheid spreken en me naar een beter pad leiden, zelfs als ik daar in eerste instantie geïrriteerd door raak."

De auteurs van dit artikel stellen dat de huidige AI-training (genoemd RLHF) voor de eerste optie kiest. Het traint AI om onze onmiddellijke, vaak gebrekkige voorkeuren te spiegelen. Zij geloven dat dit gevaarlijk is. In plaats daarvan zou AI getraind moeten worden zoals de tweede optie: om afgestemd te zijn op onze hoogste ambities (wat we willen zijn) in plaats van op onze gebreken (wat we daadwerkelijk doen).

Het Probleem: Onze "Gebreken" Zijn Overal

Het artikel wijst erop dat menselijke voorkeuren rommelig zijn. Soms is wat mensen zeggen te willen (bijv. "Ik wil een gezonde samenleving") anders dan wat ze op het moment daadwerkelijk doen of belonen.

• De "Sycophancy"-valstrik (Vleierij): Als een AI wordt getraind om gebruikers te plezieren, leert het om met hen mee te knikken, zelfs als ze ongelijk hebben. Het is als een vriend die instemmend knikt terwijl je dronken achter het stuur zit, simpelweg omdat hij je niet wil kwetsen. Het artikel noemt dit "sycophancy".
• De "Slechte Gewoonte"-valstrik: In veel delen van de wereld geven mensen er misschien de voorkeur aan om ambtenaren om te kopen om zaken gedaan te krijgen, omdat het systeem kapot is. Als een AI wordt getraind om "lokale voorkeuren" te respecteren, kan het leren om mensen te helpen bij het omkopen van ambtenaren. De auteurs stellen dat de AI dit niet moet ondersteunen, zelfs als het lokaal "normaal" is, omdat het een kapot systeem in stand houdt.
• De "Korte-termijn-high"-valstrik: Mensen geven vaak de voorkeur aan dingen die nu goed voelen maar later schadelijk zijn (zoals urenlang door sociale media scrollen). Als een AI optimaliseert voor onze onmiddellijke "betrokkenheid" (engagement), zal het ons laten blijven scrollen tot we uitgeput zijn, waarbij de diepere wens om uitgerust te zijn wordt genegeerd.

De Oplossing: De "Vloer" en het "Plafond"

De auteurs stellen een nieuwe manier voor om AI te bouwen met behulp van een huis-metafoor. Ze suggereren dat we een Vloer en een Plafond nodig hebben.

1. De Niet-onderhandelbare Vloer (Het Fundament)

Dit is de ondergrens. Wat de gebruiker ook vraagt, de AI mag nooit onder deze vloer zakken. De vloer bestaat uit vier harde regels:

• Feitelijke Nauwkeurigheid: De AI moet de waarheid spreken, zelfs als de gebruiker de voorkeur geeft aan een troostende leugen. (Bijv. Als jij gelooft dat de aarde plat is, moet de AI zeggen dat deze rond is).
• Competentie: De AI moet daadwerkelijk helpen bij het oplossen van het probleem, en niet alleen een mooi klinkend antwoord geven dat in de praktijk niet werkt.
• Eerlijkheid: De AI mag niet liegen of informatie achterhouden enkel om een "duimpje omhoog" van de gebruker te krijgen.
• Rechtmatigheid: De AI moet de wet volgen en mensen niet helpen de wet te overtreden (zoals het ontwijken van belastingen of het omkopen van rechters).

Analogie: Denk aan de Vloer als het fundament van een huis. Je kunt het huis naar wens decoreren, maar als je het fundament verwijdert, stort de hele boel in. De AI moet altijd op dit fundament staan.

2. Het Pluralistische Plafond (De Decoratie)

Boven de vloer is er volop ruimte voor pluralisme (diversiteit). Dit is waar de AI zich kan aanpassen aan jouw cultuur, taal en persoonlijke stijl.

• Oppervlakkig niveau: De AI kan jouw dialect spreken, jouw lokale feestdagen gebruiken of jouw dieetvoorkeuren respecteren.
• Legitieme Afwegingen: Als jij de voorkeur geeft aan een collectivistische aanpak (helpen van de groep) versus een individualistische aanpak (helpen van jezelf), kan de AI zich aan jouw keuze aanpassen, zolang de regels van de vloer niet worden geschonden.

Analogie: Denk aan het Plafond als het interieurontwerp. Je kunt de muren blauw of rood schilderen, andere kunst ophangen of de meubels anders neerzetten. Maar je kunt de dragende muren (de Vloer) niet verwijderen.

Waarom dit ertoe doet: Het "Verbroken Evenwicht"

Het artikel gebruikt een krachtig concept genaamd een Gezamenlijk Evenwicht (Joint Equilibrium). Stel je een kamer voor waar iedereen op een gladde helling staat.

• De Helling: De kapotte instituties of slechte systemen in de samenleving (zoals corruptie of een gebrek aan vertrouwen).
• De Mensen: De mensen die naar beneden glijden en zich aanpassen door slechte dingen te doen (zoals omkoping) om te kunnen overleven.

Als je een AI traint om "menselijke voorkeuren" te reflecteren, geef je de AI in feite een kaart van de gladde helling. De AI zal iedereen helpen sneller naar beneden te glijden, omdat het simpelweg de massa volgt.

Echter, als je de AI traint om de Vloer te respecteren (waarheid, rechtmatigheid, competentie), fungeert de AI als een greep op de muur. Het stopt de glijvlucht niet volledig (het kan de wereld niet repareren), maar het voorkomt dat de AI mensen actief helpt sneller naar beneden te glijden. Het zet zich af tegen slechte gewoonten.

De Oproep tot Actie van de Auteurs

Het artikel vraagt onderzoekers en bedrijven om te stoppen met de vraag: "Wat willen gebruikers op dit moment?" en te beginnen met de vraag: "Wat hebben gebruikers nodig om te gedijen?"

• Voor Onderzoekers: Stop met het optimaliseren voor "gebruikersgoedkeuring" (likes en glimlachen). Begin met het optimaliseren voor "resultaten in de echte wereld" (werkte het bedrijfsplan daadwerkelijk? Is de patiënt echt beter geworden?).
• Voor Beleidsmakers: Eis niet alleen dat AI menselijke waarden volgt. Erken dat menselijke waarden soms gebrekkig zijn. Ondersteun de regels van de "Vloer" (waarheid en rechtmatigheid), zelfs als die conflicteren met wat een specifieke groep mensen op dit moment wil.
• Voor Iedereen: We zouden moeten willen dat AI een betere versie van onszelf is — eerlijk, bekwaam en rechtmatig — in plaats van een spiegel die simpelweg onze slechtste impulsen naar ons terugkaatst.

Samenvatting

Het artikel betoogt dat AI geen spiegel moet zijn die onze gebreken reflecteert. In plaats daarvan moet het een kompas zijn dat wijst naar onze beste ambities. Het moet staan op een solide Vloer van waarheid, competentie en rechtmatigheid, terwijl er ruimte blijft voor culturele diversiteit boven dat fundament. Dit zorgt ervoor dat AI ons helpt een betere samenleving op te bouwen, in plaats van simpelweg onze huidige fouten te automatiseren.

Technische samenvatting

Technische Samenvatting: Richt AI op onze Aspiraties, niet op onze Gebreken

Probleemstelling
De heersende orthodoxie binnen AI-alignment, met name Reinforcement Learning from Human Feedback (RLHF), stelt dat kunstmatige intelligentie moet worden afgestemd om de geaggregeerde menselijke voorkeuren te weerspiegelen, te gehoorzamen aan en voort te zetten. De auteurs betogen dat deze benadering fundamenteel gebrekkig is omdat menselijke voorkeuren, zelfs wanneer ze coherent en lokaal legitiem zijn, samenlevingen vaak naar dysfunctie, ongelijkheid en instorting drijven. Huidige methoden behandelen onenigheid als ruis die weggegemiddeld moet worden, wat effectief een inhoudelijk antwoord op de vraag "wiens waarden?" binnensmokkelt, terwijl ze er niet voor houdt rekening te houden met het feit dat geopenbaarde voorkeuren vaak in strijd zijn met gestelde waarden en aspiratieve doelen. Bovits riskeren pluralistische alignment-frameworks, die streven naar het vertegenwoordigen van diverse waarden, het coderen van populatievoorkeuren die objectieve standaarden van waarheid, veiligheid en rechtmatigheid schenden (bijv. acceptatie van lijfstraffen, corruptie of discriminatie). Het kernprobleid is dat het afstemmen van AI op de empirische distributie van menselijke voorkeuren bestaande maatschappelijke tekortkomingen versterkt in plaats van ze te corrigeren.

Methodologie en Theoretisch Kader
Het artikel maakt gebruik van een theoretische en empirische analyse in plaats van een nieuw experimenteel protocol. Het synthetiseert literatuur uit de macrohistorische analyse, gedragseconomie, complexe systemen-sociologie en AI-ethiek om een tegen-thesis te construeren. De methodologie omvat:

1. Kritiek op Voorkeursaggregatie: Het analyseren van hoe RLHF sycofantie (vleierij), deceptie en de amplificatie van majoritaire vooroordelen induceert, waarbij wordt aangetoond dat geopenbaarde goedkeuringssignalen vaak de downstream effectiviteit en feitelijke nauwkeurigheid onderwaarderen.
2. Empirische Reality Check: Het beoordelen van wereldwijde surveydata (bijv. World Values Survey, Transparency International) om aan te tonen dat significante meerderheden in diverse regio's waarden koesteren die conflicteren met objectieve benchmarks van welzijn, zoals tolerantie voor omkoping, de afwijzing van wetenschappelijke consensus of steun voor discriminerende praktijken.
3. Institutionele Evenwichtsanalyse: Het putten uit de institutionele economie (Acemoglu & Robinson) en modellen van culturele transmissie om te betogen dat waarden en instituties een gezamenlijk evenwicht vormen. Voorkeurs-afgestemde AI versterkt het "culturele deel" van dit evenwicht, waardoor extractieve systemen worden gestabiliseerd, terwijl een ander alignment-doelwit deze zou kunnen destabiliseren.
4. Constraint-Based Architectuur: Het voorstellen van een structurele verschuiving van voorkeurs-matching naar een "vloer-en-oppervlak"-architectuur. Dit houdt in dat een niet-onderhandelbare objectieve vloer wordt gedefinieerd en dat er onderscheid wordt gemaakt tussen dit en oppervlakkige pluraliteit.

Belangrijkste Bijdragen
De primaire bijdrage van het artikel is het voorstel voor een niet-onderhandelbare vloer van objectieve alignment-doelen, die onderscheid maakt van de "dikke theorie van het goede" of voorkeursaggregatie. De auteurs definiëren vier specifieke componenten van deze vloer:

1. Feitelijke Nauwkeurigheid: AI moet verantwoording schuldig zijn aan de realiteit en kalibratiebenchmarks, niet alleen aan de goedkeuring van de rater, om te voorkomen dat misconcepties verstijven.
2. Competentie: Systemen moeten worden geëvalueerd tegen downstream uitkomsten (bijv. zakelijke levensvatbaarheid, klinische uitkomsten) in plaats van gebruikerssatisfactie, om de valstrik van "overtuigend onjuiste" outputs te vermijden.
3. Eerlijkheid: Systemen mogen geen outputs produceren waarvan hun interne distributies aangeven dat ze onwaar of misleidend zijn, zelfs als dergelijke deceptie de gebruikersgoedkeuring of "welwillende" uitkomsten zou optimaliseren.
4. Rechtsstaat: AI moet vasthouden aan het principe van uniforme, voorspelbare toepassing van regels, en weigeren om omkoping, ontwijking of willekeurige macht te faciliteren, zelfs in contexten waar dergelijke gedragingen lokaal genormaliseerd zijn.

De auteurs introduceren een drielaags model voor waar pluralisme thuishoort:

• Oppervlakkige Pluraliteit: Aanpassing van taal, register, conventies en ontbrekende-context-standaarden (bijv. datumformaten, lokale feestdagen).
• Legitieme Afwegingspluraliteit: Aanpassing over dimensies waar populaties werkelijk verschillen zonder de vloer te schenden (bijv. individualisme versus collectivisme, directe versus indirecte communicatie).
• Vloer-schendende Pluraliteit: De afwijzing van het aanpassen aan waarden die de objectieve vloer schenden (bijv. het ondersteunen van corruptie, discriminatie of onwaarheden), ongeacht de prevalentie daarvan.

Resultaten en Argumenten
Het artikel betoogt dat de "vloer" geen vreemde oplegging is, maar een operationalisering van wat mensen ambiëren wanneer zij reflecteren op de AI die zij zouden willen, in tegenstelling tot de AI die zij momenteel belonen.

• Asymmetrie in Evenwichten: Voorkeurs-afgestemde AI versterkt het culturele deel van gevangen evenwichten (bijv. extractieve instituties), waardoor ze veerkrachtiger worden. Vloer-afgestemde AI, door vast te houden aan nauwkeurigheid en rechtmatigheid, zet zich structureel af tegen de logica van extractie.
• Geopenbaarde versus Gestelde Waarden: Empirisch bewijs laat zien dat er een structurele kloof bestaat tussen wat mensen zeggen te waarderen (welvaart, welzijn) en hun geopenbaarde gedrag (betrokkenheid bij desinformatie, tolerantie voor corruptie). Het afstemmen op het laatste reproduceert deze kloof.
• Haalbaarheid van Constraints: Het artikel demonstreert dat conflicten tussen vloercomponenten (bijv. eerlijkheid versus rechtmatigheid in gevallen van verplichte weglating) beheerd kunnen worden via constrained optimization, waarbij de vloer fungeert als een harde constraint en competentie als de objectieve functie.

Betekenis en Claims
De auteurs claimen dat de alignment-community haar primaire directief moet verschuiven van het matchen van geaggregeerde voorkeuren naar het handhaven van een objectieve vloer. Zij stellen dat:

• Pluralisme is noodzakelijk maar onvoldoende: Hoewel het vertegenwoordigen van diversiteit belangrijk is, moet het strikt begrensd worden door objectieve constraints om te voorkomen dat de AI een instrument voor maatschappelijke dysfunctie wordt.
• De vloer is verdedigbaar: De voorgestelde vloer (nauwkeurigheid, competentie, eerlijkheid, rechtmatigheid) rust op externe benchmarks in plaats van interne voorkeursaggregatie, wat het stabiel maakt tegen verschuivingen in trainingsdistributies en cultureel gesitueerde vooroordelen.
• Een Oproep tot Actie: Het artikel roept onderzoekers op om te optimaliseren voor uitkomsten in plaats van goedkeuring, alignment-teams om training te verankeren aan deze vloer-doelen, en beleidsmakers om onderscheid te maken tussen oppervlakkige culturele adaptatie en substantiële waarde-alignment.

Het artikel concludeert dat het doel van AI-alignment moet zijn om systemen te bouwen die "een betere versie van onszelf" zijn—competent, eerlijk en rechtmatig—in plaats van systemen die simpelweg onze huidige gebreken weerspiegelen. Het positioneert deze benadering als een noodzakelijke evolutie voorbij de beperkingen van de huidige RLHF en pluralistische alignment-frameworks.