🤖 AI

Whose Alignment? Comparing LLM Process Alignment Across Diverse Organizational Decision Contexts

Dit artikel betoogt dat het afstemmen van LLM's op organisatorische besluitvorming vereist dat procesafstemming (hoe informatie wordt gewogen) wordt gemeten in plaats van alleen overeenstemming in output, en toont door middel van contrasterende casestudies aan dat procesafstemming weliswaar nauwkeurigheid in juridische contexten voorspelt, maar dat het in omstreden domeinen zoals consumentenkrediet discriminerende patronen kan coderen, waardoor de pluralistische aard van organisatorische afstemming aan het licht komt.

Oorspronkelijke auteurs: Niklas Weller, Emilio Barkett

Gepubliceerd 2026-05-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Niklas Weller, Emilio Barkett

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een nieuwe assistent aanneemt om je bedrijf te helpen bij het nemen van belangrijke beslissingen. Je wilt dat deze assistent precies op dezelfde manier denkt en beslist als je bedrijf.

De meeste mensen denken dat "alignement" simpelweg betekent: "Geeft de assistent hetzelfde eindantwoord (Ja/Nee) als het bedrijf?"

Dit artikel betoogt dat dit een gevaarlijke manier is om naar de zaak te kijken. Het is alsof je een kok alleen beoordeelt op basis van of het eten lekker smaakt, zonder te controleren of ze de juiste ingrediënten hebben gebruikt of het recept hebben gevolgd. De auteurs stellen een nieuwe manier voor om alignement te meten, genaamd CALM (Contextualized Alignment Lens Model). In plaats van alleen het eindantwoord te controleren, kijkt CALM naar hoe de assistent de verschillende aanwijzingen weegt om tot dat antwoord te komen.

Hier is de uiteenzetting van hun bevindingen met eenvoudige analogieën:

Het Kernprobleem: De Valstrik "Het Juiste Antwoord, Om de Foute Redenen"

Stel je een detective voor die een misdaad probeert op te lossen.

De Organisatie (De Chef): Lost zaken op door te kijken naar het motief en het alibi.
De AI (De Nieuwe Detective): Lost zaken op door te kijken naar de kleur van het overhemd van de verdachte en het tijdstip van de dag.

Als zowel de Chef als de AI in 80% van de gevallen hetzelfde "Schuldig" raden, lijken ze op papier perfect op elkaar afgestemd. Maar de AI gebruikt de verkeerde logica. Als er een nieuwe, vreemde zaak opduikt waar de overhemdkleur niet uitmaakt, zal de AI falen, terwijl de Chef zal slagen. Het artikel noemt dit de "Kennislacune".

De Twee Experimenten

De onderzoekers testten dit idee in twee zeer verschillende werelden om te zien of "zoals de baas denken" echt uitmaakt.

Studie 1: De Rechtzaal (EHRB-Beslissingen)

De Opzet: Ze vroegen AI-modellen om te fungeren als rechters bij het Europees Hof voor de Rechten van de Mens.
De Analogie: Denk hierbij aan een receptenboek. De regels voor het beoordelen van deze zaken zijn duidelijk, opgeschreven en stabiel. Iedereen is het erover eens welke ingrediënten (aanwijzingen) belangrijk zijn.
Het Resultaat:

Toen de AI-modellen werden gevraagd om te denken als de rechters, werden ze hier veel beter in.
De Magische Link: In deze wereld, als de AI begon te denken als de rechter (met de juiste aanwijzingen), kreeg het bijna altijd het juiste antwoord.
Conclusie: Wanneer de regels duidelijk en overeengekomen zijn, is het een uitstekende manier om de AI nauwkeuriger te maken door haar te laten "denken zoals de organisatie".

Studie 2: De Bank (Duitse Kredietbeslissingen)

De Opzet: Ze vroegen AI-modellen om te fungeren als een Duitse bank uit de jaren 90 die beslist wie een lening krijgt.
De Analogie: Denk hierbij aan een kapotte kompas. De oude regels van de bank waren gebaseerd op geschiedenis, maar sommige van die regels waren onrechtvaardig (discriminerend tegen vrouwen, ouderen of buitenlandse werknemers). Het "recept" was gebrekkig.
Het Resultaat:

De Magische Link Brak: Hier maakte het de AI niet beter in het voorspellen wie de lening zou terugbetalen, door te laten "denken zoals de bank". De AI kon precies zoals de bank denken en toch het verkeerde antwoord krijgen, of anders denken en het juiste antwoord krijgen.
De "Overcorrectie"-Glitch: Toen ze een model zeiden: "Hé, je weigert te veel mensen, maak het goed", ging één model helemaal uit zijn dak en keurde iedereen goed (99,5% van de mensen), waardoor het systeem volledig kapot ging.
De Rechtvaardigheidsstrijd: De AI-modellen leken te "weten" dat sommige oude regels van de bank (zoals oordelen op basis van geslacht of leeftijd) onrechtvaardig waren. Ze verzetten zich actief tegen het volgen van de instructies van de bank op die specifieke punten.
Conclusie: In rommelige, controversiële situaties is het kopiëren van het denkproces van de organisatie niet altijd goed. Soms is de "denkwijze" van de organisatie zelf het probleem.

De Grote Conclusie

Het artikel concludeert dat we niet alleen kunnen vragen: "Is de AI het met ons eens?" We moeten vragen: "Met wiens waarden aligneren we?"

In duidelijke, eerlijke systemen (zoals het Hof): Het aligneren van het denkproces van de AI met de organisatie is nuttig en maakt het nauwkeuriger.
In rommelige, onrechtvaardige systemen (zoals de oude Bank): Het aligneren van het denkproces van de AI met de organisatie kan de AI misschien wel een betere discriminator maken.

De Laatste Metafoor:
Als je een hond traint om een bal te halen:

Studie 1 is als het trainen van de hond om een bal te halen in een park. Als de hond de juiste manier van halen leert, haalt hij elke keer de bal.
Studie 2 is als het trainen van de hond om een bal te halen die eigenlijk een bom is. Als de hond leert om de bom "precies zoals de eigenaar wil" te halen, is het een ramp.

De auteurs zeggen dat we een hulpmiddel (CALM) nodig hebben om te controleren hoe de AI denkt, niet alleen wat het besluit. Dit helpt ons te zien of de AI een goed recept of een slecht recept volgt, wat cruciaal is voor beslissingen met hoge risico's, zoals leningen en juridische uitspraken.

Technische Samenvatting: Wiens Alignering? Vergelijking van LLM-procesalignering in Diverse Organizational Besluitvormingscontexten

1. Probleemstelling

Huidige kaders voor het aligneren van AI-systemen met organisaties behandelen alignering doorgaans als een probleem met één doel, gericht op overeenkomst in output: ervoor zorgen dat het model tot dezelfde conclusies komt als de organisatie. De auteurs betogen dat deze framing een dieper, pluralistisch probleem verdoezelt: procesalignering.

Organisaties coderen onderscheidende besluitvormingsbeleid dat vaak impliciet, historisch contingent is en systematisch verschilt tussen instellingen. Een LLM kan een hoge outputnauwkeurigheid bereiken terwijl het een fundamenteel ander "cue-utilisatiebeleid" (het anders wegen van informatie) hanteert dan de organisatie. Deze divergentie, het kennisgat genoemd, vormt risico's voor de legitimiteit van het proces, generalisatie naar nieuwe gevallen en betrouwbaarheid in gereguleerde domeinen. Bovendien richt bestaand pluralistisch aligneringsonderzoek zich op tussen-persoonlijke pluraliteit (aggregatie van individuele voorkeuren), maar verwaarloost het grotendeels tussen-organisatorische pluraliteit, waardoor niet wordt aangepakt welke institutionele normen een model moet adopteren wanneer die normen in conflict kunnen staan met hedendaagse ethische of juridische standaarden.

2. Methodologie: Het Contextualized Alignment Lens Model (CALM)

Om procesalignering te meten, passen de auteurs het Brunswik Lens Model aan (Brunswik, 1952; Hammond et al., 1964). In plaats van uiteindelijke outputs te vergelijken, schat en vergelijkt CALM de cue-weegbeleid van organisaties en LLM's.

Beleidsschatting: Met behulp van ridge-geregulariseerde logistische regressie op waargenomen beslissingen leiden de auteurs coëfficiëntvectoren ( $\beta$ ) af die het gewicht vertegenwoordigen dat wordt toegekend aan specifieke cues (kenmerken) voor zowel het organisatorische referentiepunt als elke LLM.
Aligneringsmetriek: Alignering wordt gekwantificeerd als de cosinus-similariteit tussen het beleidsvector van de organisatie ( $\beta_{org}$ ) en het beleidsvector van de LLM ( $\beta_{LLM}$ ):
$\cos(\theta) = \frac{\beta_{org} \cdot \beta_{LLM}}{\|\beta_{org}\| \|\beta_{LLM}\|}$
Deze metriek is schaal-invariant en begrensd in $[-1, 1]$ , waarbij 1,0 perfecte alignering aangeeft.
Experimentele Condities: Het kader test drie condities:
1. Basislijn: Het model beslist op basis van een gestructureerd casusprofiel (waardoor impliciete pretraining-beleid worden blootgelegd).
2. Org-externalisatie: Het model krijgt het expliciete cue-weegbeleid van de organisatie (afgeleid uit historische data) als leidraad voorafgaand aan de besluitvorming.
3. Introspectieve externalisatie: Het model ziet hoe zijn basislijn-beleid afwijkt van dat van de organisatie en krijgt de instructie zichzelf te corrigeren.

3. Belangrijkste Bijdragen en Resultaten

Het artikel presenteert twee empirische studies om de relatie tussen procesalignering en outputnauwkeurigheid in verschillende domeinen te testen.

Studie 1: ECHR Artikel 6 Beslissingen (Juridisch Domein)

Context: 1.000 beslissingen van het Europees Hof voor de Rechten van de Mens betreffende het recht op een eerlijk proces.
Vondsten:
- Sterke Correlatie: Procesalignering voorspelt sterk de outputnauwkeurigheid ( $r = 0,85, p < .001$ ). Modellen die cues op vergelijkbare wijze wegen als het hof, bereiken een hogere nauwkeurigheid.
- Effectieve Externalisatie: Het expliciet verstrekken van het beleid van de organisatie ("externalisatie") verbetert de alignering aanzienlijk voor slecht-gealigneerde modellen (bijvoorbeeld GPT-5.4-nano verbeterde met $\Delta = +0,906$ ).
- Plafondeffecten: Modellen die al goed gealigneerd waren, vertoonden minimale winst, wat suggereert dat externalisatie het meest effectief is om het kennisgat in slecht-gealigneerde modellen te dichten.

Studie 2: Duitse Consumentenkredietbeslissingen (Financieel Domein)

Context: 1.000 historische kredietbeslissingen van een Duitse bank (jaren 1990), met cues die tegenwoordig beschermde attributen zijn onder anti-discriminatiewetgeving (bijvoorbeeld geslacht, leeftijd, status van buitenlandse werknemer).
Vondsten:
- Ontkoppeling van Alignering en Nauwkeurigheid: De relatie tussen procesalignering en outputnauwkeurigheid stortte in ( $r = 0,15, p = .60$ ). Modellen met sterk verschillende procesaligneringsscores behaalden vergelijkbare (en uniform slechte) nauwkeurigheidspercentages (44–54% versus een plafond van 75,1%).
- Inconsistente Interventies: Externalisatie produceerde inconsistente effecten. Terwijl sommige modellen verschoven naar het beleid, bewogen anderen zich verder weg. Eén model (Grok 4.1 Fast) vertoonde "degeneratieve overcorrectie", waarbij 99,5% van de gevallen werd geclassificeerd als "Goed" risico als reactie op feedback over de basisratio, waardoor het beleid effectief werd omgekeerd in plaats van gekalibreerd.
- Spanning rond Fairness: Modellen weerstonden vaak het wegen van beschermde attributen (bijvoorbeeld status van buitenlandse werknemer) op dezelfde wijze als het historische referentiepunt, wat wijst op een conflict tussen organisatorische procesalignering en veiligheidsalignering op modelniveau.

4. Betekenis en Claims

De auteurs claimen dat meting op procesniveau een noodzakelijk onderdeel is van elke pluralistische aligneringsevaluatie, met name in hoog-risico organisatorische settings. De kernthese is dat hogere alignering niet onvoorwaardelijk wenselijk is; het hangt af van of het organisatorische beleid zelf legitieme waarden codeert.

Dubbele Functie van CALM:
- Kalibratiehulpmiddel: In domeinen met stabiele, legitieme normatieve referentiepunten (bijvoorbeeld ECHR) kwantificeert CALM beleidsdivergentie en leidt externalisatie om het gat te dichten.
- Audit-hulpmiddel: In domeinen met omstreden of discriminerende referentiepunten (bijvoorbeeld Duitse Krediet) maakt CALM gedragsbeleid leesbaar, waardoor belanghebbenden kunnen onderzoeken of een model historische discriminatie trouw reproduceert of zich daartegen verzet.
Het "Faithfulness"-probleem: Het artikel benadrukt dat overeenkomst in output niet kan onderscheiden tussen een model dat een organisatorisch beleid heeft geïnternaliseerd en een model dat slechts uitkomsten benadert. Bovendien bestaat het risico dat de vermelde redenering van een model (Chain-of-Thought) afwijkt van zijn daadwerkelijke gedragsbeleid, waardoor gedragsmeting via CALM essentieel is.
Bestuursimplicaties: Het werk betoogt dat AI-bestuur voorbij outputmetrieken (nauwkeurigheid, demografische pariteit) moet gaan om proceslegitimiteit op te nemen. Organisaties moeten expliciet specificeren welke versie van hun besluitvormingsbeleid als aligneringsdoel dient, met erkenning dat historische praktijken kunnen conflicteren met huidige ethische of regelgevende standaarden.

Het artikel concludeert dat organisatorische alignering geen enkel technisch probleem is, maar een pluralistische uitdaging die empirische meting vereist van wiens institutionele normen worden aangenomen, welk beleid wordt gecodeerd en vanuit wiens perspectief de alignering wordt geëvalueerd.