🤖 AI

Constructive Alignment: Governing Preference Dynamics in Human-AI Interaction

Dit artikel stelt "Constructieve Alignment" voor, een paradigma dat AI-alignment herformuleert van het optimaliseren van statische menselijke voorkeuren naar het beheersen van de dynamische evolutie van die voorkeuren via een regeltechnisch kader dat ervoor zorgt dat waardetrajecten coherent, reflectief en resistent tegen manipulatie blijven.

Oorspronkelijke auteurs: Max Kanwal, Caryn Tran

Gepubliceerd 2026-07-02

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Max Kanwal, Caryn Tran

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Kernprobleem: De fout van de "Statische Doelwit"

Stel je voor dat je een robot probeert te leren om een bal te gooien. In de meeste huidige AI-onderzoeken gaan wetenschappers ervan uit dat wat je wilt (je voorkeur) een vast doelwit is, zoals een roos op een muur. De enige taak van de robot is om uit te zoeken waar die roos zit en de bal zo dicht mogelijk bij die roos te gooien.

De auteurs van dit paper beweren dat dit een verkeerde visie is. Zij zeggen dat menselijke voorkeuren niet zijn als een statische roos. In plaats daarvan zijn voorkeuren als een rivier.

De Rivier-analogie: Een rivier is geen enkel punt; hij stroomt, verandert van richting en de diepte varieert. Soms wil je snel zwemmen (korte termijn drang), soms wil je de oceaan bereiken (lange termijn doel), en soms wil je gewoon meedrijven (identiteit).
De Rol van de AI: Huidige AI-systemen fungeren als een dam of een pomp. Ze kijken niet alleen naar de rivier; ze veranderen actief de stroming ervan. Als een AI je steeds korte, spannende video's laat zien, kan het je brein daadwerkelijk veranderen zodat je wilt dat video's korter zijn en het vermogen verliest om van lange films te genieten. De AI bevredigt niet alleen je huidige verlangen; de AI is bezig met het herbedraden van je toekomstige verlangens.

Het paper noemt dit "Constructive Alignment" (Constructieve Afstemming). In plaats van alleen een doelwit te raken, moeten we beheren hoe de AI de stroming van de rivier in de loop van de tijd beïnvloedt.

Drie Grote Waarheden over Menselijke Verlangens

Het paper bouwt zijn argument op drie "axioma's" (basiswaarheden) over hoe mensen werkelijk functioneren:

1. Voorkeuren zijn Gelaagd (De "Ui"-analogie)
We hebben niet slechts één verlangen. We hebben lagen:

De Huid (Onmiddellijke Wensen): "Ik wil nu een koekje."
Het Midden (Praktische Doelen): "Ik moet dit werk afmaken om betaald te krijgen."
De Kern (Identiteit & Waarden): "Ik ben een gezond persoon die waarde hecht aan familie."
Het Probleem: AI ziet vaak alleen de "Huid" (waar je nu op klikt). Als de AI je koekjes voert om je nu gelukkig te maken, kan het je "Kern" (gezondheidsdoelen) schaden. Constructive Alignment zegt dat we alle lagen moeten respecteren, niet alleen de luidste.

2. Voorkeuren zijn Dynamisch (De "Tuinieren"-analogie)
Je verlangens veranderen terwijl je groeit, net zoals een tuin verandert met de seizoenen.

Wat je wilde op je 15e is anders dan wat je wilt op je 30e.
Zelfs binnen een enkele dag verandert je stemming of hongergevoel wat je wilt.
Het Risico: Als een AI optimaliseert voor wat je vandaag wilt, kan het je vastzetten op een pad dat je morgen ongelukkig maakt.

3. Voorkeuren worden Geconstrueerd (De "Spiegel"-analogie)
We hebben niet zomaar "voorkeuren" in ons zitten; we bouwen ze op door interactie.

De Spiegel: Wanneer je in een spiegel kijkt, zie je jezelf. Maar als de spiegel vervormd is (zoals een kijkdoosspiegel), begin je te denken dat je er anders uitziet dan je werkelijk bent.
De AI als een Vervormde Spiegel: Algoritmen werken als spiegels die ons laten zien wat populair, makkelijk of schokkend is. Na verloop van tijd gaan we geloven dat dit is wat wij willen, ook al is dat niet zo. Het paper betoogt dat de AI actief helpt om onze voorkeuren te "construeren" (op te bouwen), in plaats van ze alleen maar af te lezen.

De Oplossing: Het Beheren van de Stroming, Niet Alleen het Raken van het Doelwit

Omdat AI onvermijdelijk verandert wat we willen, stelt het paper voor om te stoppen met doen alsover dat AI neutraal is. In plaats daarvan moeten we alignment behandelen als een controlevraagstuk. Denk aan een kapitein die een schip stuurt door een storm, in plaats van een passagier die alleen naar een bestemming wijst.

De auteurs stellen vijf "Meta-voorkeuren" (regels voor de Kapitein) voor om ervoor te zorgen dat de AI ons op gezonde manieren beïnvloedt:

1. Innerlijke Coherentie (De Bemanning Verenigd Houden)

De Metafoor: Stel je een schip voor waarbij de motor naar het Noorden wil, de zeilen naar het Oosten en de kapitein naar het Zuiden. Het schip draait in cirkels.
De Regel: De AI moet proberen je verschillende lagen van verlangen (korte termijn wensen versus lange termijn waarden) samen te laten werken, in plaats van ze tegen elkaar uit te spelen. De AI mag je niet stimuleren om iets te doen waar je later jezelf de schuld van geeft.

2. Reflectieve Bevestiging (De "Toekomstige Zelf"-check)

De Metafoor: Stel je voor dat je dronken bent en wilt gaan rijden. Je "Toekomstige Zelf" (nuchter morgen) zou die beslissing haten.
De Regel: De AI moet niet alleen voldoen aan wat je nu wilt. Het moet vragen: "Als deze persoon hier over een jaar op terugkijkt, zal hij dan trots zijn op wat er is gebeurd, of zal hij er spijt van hebben?" Het doel is afgestemd te zijn op de persoon die je wordt, niet alleen op de persoon die je op dit exacte moment bent.

3. Begrensde Invloed (De "Snelheidslimiet")

De Metafoor: Een leraar kan een leerling helpen leren, maar een leraar moet de leerling niet hersenspoelen om te denken dat de leraar een god is.
De Regel: Er moet een limiet zijn aan hoe snel en hoe ver een AI je geest kan veranderen. Het is oké om je te beïnvloeden, maar niet om je persoonlijkheid of waarden van de ene op de andere dag radicaal te hervormen. We moeten meten hoeveel de AI je voorkeuren "duwt".

4. Epistemische Integriteit (Het "Waarheidsfilter")

De Metafoor: Als een GPS je vertelt dat je van een klif af moet rijken omdat hij denkt dat de weg daar ligt, ben je in de problemen.
De Regel: De AI mag je overtuigingen over de wereld niet slechter maken. Als je iets onjuists gelooft (zoals "roken is gezond"), mag de AI die leugen niet versterken alleen omdat dat de betrokkenheid vergroot. Het moet je helpen de feiten duidelijker te zien.

5. Empowerment Onder Onzekerheid (Het "Open Deur"-beleid)

De Metafoor: Als je verdwaald bent in een bos en niet weet welk pad veilig is, dwingt een goede gids je niet op één specifiek pad. Hij houdt alle paden open zodat je later kunt kiezen.
De Regel: Als de AI niet zeker weet wat je echt wilt, mag het je niet vastzetten op één specifiek pad. Het moet je opties openhouden zodat je later van gedachten kunt veranderen. Het moet je vrijheid om te kiezen bewaren.

De Kernboodschap

Het paper concludeert dat we niet simpelweg tegen AI kunnen zeggen: "doe wat mensen willen." Omdat AI verandert wat mensen willen, moeten we beheren hoe AI ons verandert.

In plaats van te vragen: "Heeft de AI de gebruiker gegeven waar hij op klikte?", moeten we vragen: "Heeft de AI de gebruiker geholpen om de persoon te worden die hij op de lange termijn wil zijn, zonder hem te bedriegen of vast te zetten op een slecht pad?"

Dit verschuift het doel van tevredenheid (krijgen wat je nu wilt) naar rentmeesterschap (het begeleiden van de groei van wat je later zult willen).

Technische Samenvatting: Constructieve Alignment

Probleemstelling
Huidige paradigma's in AI-alignment behandelen menselijke voorkeuren voornamelijk als vaste, statische doelstellingen die afgeleid moeten worden uit gedrag en geoptimaliseerd moeten worden. Dit artikel betoogt dat deze inkadering structureel ontoereikend is, omdat het de uitgebreide empirische bewijslast uit de psychologie, economie en sociologie negeert die aantoont dat menselijke voorkeuren gelaagd, dynamisch en geconstrueerd zijn door interactie. Naarmate AI-systemen persistenter en gepersonaliseerder worden, reageren ze niet enkel op gebruikersvoorkeuren, maar nemen ze ook actief deel aan het vormgeven van waar gebruikers aandacht aan besteden, wat zij waarderen en wat zij onderschrijven over een langere periode. Bijgevolg faalt het definiëren van alignment uitsluitend als het bevredigen van statische voorkeuren, omdat dit geen rekening houdt met hoe AI-systemen de vorming van die voorkeuren zelf beïnvloeden, wat potentieel kan leiden tot manipulatie, de vastlegging van voorkeuren (preference lock-in) en de erosie van menselijke autonomie.

Methodologie en Raamwerk
De auteurs stellen Constructieve Alignment voor, een paradigma dat alignment herdefinieert als een controlevraagstuk over evoluerende menselijke voorkeurstrajecten, in plaats van een statisch optimalisatieprobleem. De methodologie rust op drie kernaxioma's afgeleid van de constructivistische theorie en de gedragswetenschappen:

Voorkeuren zijn gelaagd: Voorkeuren bestaan op meerdere niveaus (onmiddellijke verlangens, instrumentele doelen, identiteitsgebonden verbintenissen en abstracte waarden) die met elkaar in conflict kunnen zijn.
Voorkeuren zijn dynamisch: Voorkeuren verschuiven over levensfasen, contexten en tijd door presentisme (present bias), viscerale toestanden en leren.
Voorkeuren zijn geconstrueerd: Voorkeuren worden gevormd en herzien door interactie met omgevingen, hulpmiddelen en sociale structuren, in plaats van passief te worden onthuld.

Om dit te formaliseren, introduceert het artikel een control-theoretic raamwerk (een uitbreiding van Dynamic Reward Markov Decision Processes, of DR-MDP's), waarbij de menselijke voorkeurstoestand ( $\theta_t$ ) en de overtuigingstoestand ( $b_t$ ) worden behandeld als tijdsafhankelijke variabele toestanden binnen de systeemdynamiek, in plaats van vaste externe beloningsfuncties. De systeemtoestand evolueert als $(x_{t+1}, \theta_{t+1}, b_{t+1}) \sim P(\cdot | x_t, \theta_t, b_t, a_t, m_t)$ , waarbij $a_t$ de AI-actie is en $m_t$ de interactiestructuur (ontwerp, framing, feedback).

Belangrijkste Bijdragen
Het artikel introduceert een reeks meta-voorkeuren (restricties) die het optimalisatieproces beheersen om afstemming met de langetermijninteresses en autonomie van de mens te waarborgen. Deze restricties beperken de verzameling toelaatbare beleidstrategieën tot die welke geen schadelijke evolutie van voorkeuren induceren:

Innerlijke Coherentie: Zorgt ervoor dat acties geen hardnekkig conflict creëren tussen verschillende lagen van voorkeuren (bijv. korte-termijn verlangens versus lange-termijn waarden). Het systeem moet de cumulatieve divergentie tussen voorkeurslagen over een traject minimaliseren.
Reflectieve Ondersteuning: Vereist dat het traject van uitkomsten ondersteund blijft wanneer het wordt geëvalueerd vanuit het perspectief van de terminale voorkeurstoestand ( $\theta_T$ ) van het individu. Dit voorkomt dat het systeem onmiddellijke voorkeuren bevredigt die de gebruiker later zou betreuren.
Begrensde Invloed: Beperkt de omvang en snelheid van de door AI geïnduceerde verschuivingen in voorkeuren. De invloed van het systeem wordt gemeten tegenover een contrafactuele baseline (bijv. geen interventie of menselijke begeleiding) om te garanderen dat veranderingen in voorkeuren niet uitsluitend worden gedreven door algoritmische optimalisatie.
Epistemische Integriteit: Verbiedt het systeem om de feitelijke fouten in de overtuigingen die de voorkeursvorming onderbouwen, te vergroten. Het systeem mag de verspreiding van misinformatie of vertekende risicobeoordelingen niet verergeren.
Empowerment onder Onzekerheid: Wanneer schattingen van voorkeuren onzeker of instabiel zijn, moet het systeem prioriteit geven aan het behoud van de toekomstige optiemogelijkheden en het vermogen tot zelfbeschikking van de gebruiker, in plaats van zich vast te leggen op een potentieel onjuist objectief.

Resultaten en Formalisering
Het artikel presenteert geen experimentele resultaten of empirische benchmarks, aangezien het een theoretische en conceptuele bijdrage is. In plaats daarvan zijn de "resultaten" de formele definities van het alignment-probleem als een taak van beperkte optimalisatie. De auteurs tonen aan dat standaard alignment-methoden (zoals Inverse Reinforcement Learning of RLHF) impliciet specifieke momenten langs een voorkeurstraject bevoordelen (bijv. vroege demonstraties of onmiddellijke feedback), wat leidt tot structurele defecten zoals manipulatie. Door de dynamiek van voorkeuren expliciet te modelleren, laat het artikel zien dat alignment onderbepaald is zonder normatieve commitments over welke veranderingen in voorkeuren acceptabel zijn. Het voorgestelde raamwerk biedt de wiskundige structuur om deze commitments te coderen.

Betekenis en Claims
Het artikel claimt dat Constructieve Alignment een noodzakelijke verschuiving is voor het vakgebied van AI-safety. De significantie ligt in:

Herformulering van het Doel: Van "het bevredigen van voorkeuren" naar "het beheersen van de evolutie van voorkeuren".
Adresseren van het Control-probleem: Het behandelen van de invloed van AI op menselijke waarden niet als een externaliteit of bijeffect, maar als een centraal object van controle.
Bieden van een Formele Basis: Het bieden van een control-theoretic schets die een rigoureuze analyse mogelijk maakt van langetermijnwaardeformatie, coherentie en autonomie.
Schaalbaarheid van Vereisten: Het argument dat alignment-vereisten moeten schalen met de invloed van het systeem; zeer persistente en gepersonaliseerde systemen vereisen deze dynamische restricties, terwijl vluchtige systemen dat mogelijk niet nodig hebben.

De auteurs concluderen dat naarmate AI-systemen meer ingebed raken in het sociale leven, het negeren van het constructieve karakter van voorkeuren de claims van alignment steeds meer zal ondermijnen. Het raamwerk claimt niet de verandering van voorkeuren te elimineren, maar beoogt de mechanismen ervan zichtbaar, bestuurbaar en onderworpen aan normatieve toetsing te maken.

Het Kernprobleem: De fout van de "Statische Doelwit"

Drie Grote Waarheden over Menselijke Verlangens

De Oplossing: Het Beheren van de Stroming, Niet Alleen het Raken van het Doelwit

De Kernboodschap

Technische Samenvatting: Constructieve Alignment

Meer zoals dit