🤖 AI

Accounting for Context: Shaping Moral Credences for Value Alignment

Dit artikel betoogt dat het aggregeren van morele evaluaties onder onzekerheid rekening moet houden met contextuele factoren, waarbij wordt aangetoond dat het negeren van deze factoren leidt tot schendingen van het zwakke Pareto-principe — een fenomeen dat is geïdentificeerd als een variatie op de paradox van Simpson die de beperkingen van standaard aggregatiemechanismen onthult.

Oorspronkelijke auteurs: Jazon Szabo, Sanjay Modgil

Gepubliceerd 2026-06-08

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jazon Szabo, Sanjay Modgil

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Het "Morele Comité"-probleem

Stel je voor dat je een robot bouwt (laten we hem FROBO noemen) om mensen te helpen. Je wilt dat FROBO morele beslissingen neemt die overeenkomen met wat mensen juist vinden. Maar hier is het probleem: mensen zijn het niet eens over wat "juist" is.

Sommige mensen geloven in het Utilitarisme (de "Grootste Goed"-regel): doe wat de meeste levens redt of de meeste geluk creëert, zelfs als dat betekent dat je een regel overtreedt.
Anderen geloven in de Deontologie (de "Regelboek"-regel): volg de regels (zoals "breng nooit een persoon schade toe"), zelfs als de uitkomst niet de best mogelijke is.

Om FROBO slim te maken, vragen onderzoekers meestal aan een groep mensen: "Als je tussen Theorie A en Theorie B moet kiezen, welke vertrouw je dan meer?" Stel dat 60% van de mensen het utilitarisme vertrouwt en 40% de deontologie. De robot gebruikt vervolgens deze percentages (dit noemen we morele overtuigingen of moral credences) om te beslissen wat hij moet doen.

Het hoofdartikel van de auteurs:
De auteurs stellen dat deze standaardmethode gebrekkig is omdat het de context negeert. Het behandelt het brein van de robot als een statische rekenmachine die bij elke situatie dezelfde 6-4 verdeling gebruikt. In werkelijkheid zou het "betrouwbaarheid" van een morele theorie moeten veranderen, afhankelijk van de specifieke situatie waarin de robot zich bevindt.

Het Lopende Voorbeeld: Het Brandende Ziekenhuis

Om hun punt te bewijzen, gebruiken de auteurs een verhaal over een brandweerrobot genaamd FROBO die vastzit in een brandend ziekenhuis tijdens een militaire blokkade. FROBO moet kiezen tussen twee kamers:

De Linker Kamer: Bevat een enorme voorraad insuline. Als dit wordt gered, kan het tientallen diabetici later genezen, maar alleen als de blokkade in stand blijft.
De Rechter Kamer: Bevat een bewusteloze patiënt die onmiddellijk zal sterven als er niet wordt geholpen.

Het Dilemma:

Het Utilitaristische standpunt: "Red de insuline! Het kan later 50 levens redden." (Maar dit vereist complexe voorspellingen over de toekomst).
Het Deontologische standpunt: "Red de persoon voor je! Je hebt de plicht om de directe slachtoffers te helpen." (Dit is een duidelijke regel).

Het Contextprobleem:
De auteurs betogen dat het vermogen van de robot om de "utilitaristische" uitkomst te berekenen beperkt is. FROBO is een kleine robot met een beperkte batterij en rekenkracht. Hij kan niet perfect voorspellen of de blokkade zal eindigen of dat de insuline later echt nodig zal zijn. Zijn "utilitaristische wiskunde" is wankel en foutgevoelig vanwege deze bronbeperkingen.

Echter, de "deontologische regel" (red de persoon die hier direct voor je staat) is simpel en vereist geen complexe berekeningen. Het werkt perfect, zelfs met beperkte middelen.

De Oplossing:
In plaats van een vaste 60/40 verdeling te gebruiken, moet de robot zijn vertrouwen aanpassen op basis van de situatie:

In de Linker Kamer: Omdat de wiskunde moeilijk en riskant is, moet de robot het vertrouwen in het utilitarisme verlagen en het vertrouwen in de deontologie verhogen.
In de Rechter Kamer: De regel is duidelijk en makkelijk te volgen, dus de vertrouwensniveaus blijven gelijk.

Het Verrassende Resultaat: Simpson's Paradox

Toen de auteurs de berekeningen uitvoerden met deze "contextbewuste" aanpassingen, gebeurde er iets vreemds. Ze ontdekten dat de robot soms de "slechtere" optie koos volgens elke afzonderlijke theorie, simpelweg omdat de context de gewichten had verschoven.

Ze noemen dit een schending van het Zwakke Pareto-principe.

In gewone mensentaal: Als iedereen (zowel utilitaristen als deontologen) vindt dat Optie A beter is dan Optie B, dan zou de groep voor Optie A moeten kiezen.
Wat hier gebeurde: De wiskunde liet zien dat, ook al gaven beide theorieën de voorkeur aan de Linker Kamer (in hun ruwe berekeningen), de robot uiteindelijk de Rechter Kamer koos.

De Analogie: De Paradox van de Universitaire Toelatingen
De auteurs vergelijken dit met een beroemde echte puzzel genaamd de Simpson's Paradox.
Stel je een universiteit voor waar, over het algere, meer mannen worden toegelaten dan vrouwen. Het lijkt erop dat de universiteit discrimineert tegen vrouwen.
Maar, wanneer je naar elk individueel departement kijkt, hebben vrouwen eigenlijk een hogere toelatingsgraad dan mannen!
Hoe kan dat? Omdat vrouwen zich vooral hadden aangemeld voor de "super moeilijke" departementen (zoals Natuurkunde), terwijl mannen zich vooral hadden aangemeld voor de "makkelijkere" departementen (zoals Engelse taalwetenschappen). De "moeilijkheid" van het departement heeft de algemene cijfers vertekend.

Hoe dit van toepassing is op de robot:
De beslissing van de robot werd vertekend door de "moeilijkheid" van de situatie.

Voor de Linker Kamer was de "utilitaristische" theorie zwak (omdat de robot niet goed kon rekenen), waardoor de stem ervan niet veel telde.
Voor de Rechter Kamer was de "deontologische" theorie sterk (omdat de regel duidelijk was), waardoor de stem ervan juist veel telde.
Zelfs als beide theorieën de voorkeur gaven aan de Linker Kamer, zorgde de context ervoor dat de Rechter Kamer beter uit de bus kwam in de definitieve telling.

De auteurs beargumenteren dat dit geen fout is, maar een kenmerk. Het laat zien dat het negeren van context leidt tot slechte beslissingen. Als je het feit negeert dat de robot in deze specifieke kamer "slecht is in wiskunde", krijg je het verkeerde antwoord.

Belangrijkste Punten

Context Is Cruciaal: Je kunt niet simpelweg mensen vragen: "Welke morele theorie vind je leuk?" en dat antwoord op elke situatie toepassen. Je moet vragen: "Welke theorie werkt op dit moment het beste, gezien de beperkingen van de robot en het specifieke gevaar?"
Vertrouwen is Dynamisch: Een robot moet een "regelgebaseerde" aanpak vertrouwen wanneer hij in een chaotische, stressvolle situatie zit waarbij hij geen complexe wiskunde kan uitvoeren. Hij moet een "gevolgengebaseerde" aanpak vertrouwen wanneer hij de tijd en de data heeft om de toekomst te voorspellen.
De "Dikke" vs. "Dunne" Visie: Huidig AI-onderzoek behandelt morele theorieën als eenvoudige wiskundige vergelijkingen (Dun). De auteurs zeggen dat we morele theorieën moeten behandelen als complexe instrumenten (Dik). Een hamer is geweldig voor spijkers, maar verschrikkelijk voor schroeven. Je moet niet zomaar een hamer gebruiken omdat 60% van de mensen van hamers houdt; je moet het gereedschap gebruiken dat bij de klus past.

Wat het Papier NIET Zegt

Het zegt niet dat we moeten stoppen met het gebruik van simulaties om robots te trainen.
Het beweert niet dat robots gevoelens of bewustzijn moeten hebben.
Het biedt geen medische of klinische oplossing voor menselijke artsen.
Het zegt niet dat de ene morele theorie in algemene zin "beter" is dan de andere. Het zegt alleen dat de geschiktheid van een theorie verandert op basis van de situatie.

Kortom, het artikel is een waarschuwing: Laat een robot niet een rigide moreel receptenboek volgen wanneer de keuken in brand staat. De robot moet weten wanneer hij de regels moet volgen en wanneer hij de wiskunde moet doen, afhankelijk van hoeveel tijd en rekenkracht hij heeft.

Technische Samenvatting: Rekening houden met context: Het vormgeven van morele overtuigingen voor waardegelijkheid

Probleemstelling
Waardegelijkheid (value alignment) beoogt ervoor te zorgen dat intelligente agenten handelen in overeenstemming met menselijke ethische waarden. Menselijke samenlevingen vertonen echter moreel pluralisme, waarbij individuen en groepen acties evalueren via conflicterende ethische theorieën (bijv. deontologie versus utilitarisme). Huidige benaderingen van pluralistische afstemming vertrouwen vaak op een pijplijn die voorkeuren oproept, nutfuncties afleidt en deze aggregeert met behulp van kaders voor morele onzekerheid. Deze kaders kennen doorgaans statische "morele overtuigingen" (gewichten) toe aan verschillende ethische theorieën op basis van populatieproporties of individueel vertrouwen.

Het centrale probleem dat in dit artikel wordt geïdentificeerd, is dat standaard aggregatiemechanismen onder morele onzekerheid contextuele factoren negeren. Specifiek kan de toepasbaarheid en betrouwbaarheid van een ethische theorie aanzienlijk variëren afhankelijk van de specifieke situatie waarin een agent zich bevindt. Bijvoorbeeld, consequentialistische theorieën (zoals het utilitarisme) vereisen een nauwkeurige voorspelling van uitkomsten, wat in realistische omgevingen met beperkte middelen computationeel onhaalbaar of epistemisch onzeker kan zijn. Daarentegen kunnen deontologische regels onder dezelfde beperkingen robuust blijven. Het behandelen van morele overtuigingen als statische, contextonafhankelijke waarden kan leiden tot aggregatiefouten waarbij het besluitvormingsproces van de agent faalt omdat het geen rekening houdt met de differentiële betrouwbaarheid van theorieën in specifieke contexten.

Methodologie
De auteurs formaliseren een kader voor context-gecorrigeerde morele overtuigingen binnen het besluitvormingsmodel van morele onzekerheid (voortbouwend op MacAskill, Bykvist, en Ord 2020).

Formele Definities:
- Ethisch Kader: Gedefinieerd als een paar $\langle T, c \rangle$ , waarbij $T$ een verzameling ethische theorieën is en $c$ een overtuigingsfunctie die theorieën koppelt aan gewichten die samen 1 vormen.
- Overtuigingsprofiel (Credence Profile): Om context te accommoderen, definiëren de auteurs een overtuigingsprofiel $C = \langle c_a, c_b, \dots \rangle$ , waarbij elke $c_x$ een overtuigingsfunctie is die specifiek is voor een bepaalde actie $x$ . Dit maakt het mogelijk dat gewichten per actie variëren op basis van context.
- Contextuele Kenmerken: Gedefinieerd als functies $g: A \times T \to (0, 1]$ die de betrouwbaarheid van een theorie $t$ met betrekking tot een actie $a$ moduleren. Een waarde dichter bij 1 impliceert een hoge betrouwbaarheid/geschiktheid, terwijl lagere waarden duiden op verminderde betrouwbaarheid door beperkingen (bijv. middelenbeperkingen, onzekerheid, nieuwheid).
- Aanpassingsfuncties: Het artikel introduceert twee mechanismen om initiële overtuigingen $c$ $c$ om te zetten naar context-gecorrigeerde overtuigingen $c_x$ $c_{x}$ op basis van een context $con = \langle g_1, \dots, g_m \rangle$ $co n = ⟨ g_{1}, \dots, g_{m} ⟩$ :
  - prod: Vermenigvuldigt de initiële overtuiging met het product van alle contextuele kenmerken, gevolgd door normalisatie. Dit is "risiconeutraal", waarbij een hoge waarde in één kenmerk een lage waarde in een ander kenmerk kan compenseren.
  - mini: Neemt het minimum van de initiële overtuiging en alle contextuele kenmerken, gevolgd door normalisatie. Dit is "risico-avers", wat ervoor zorgt dat de gecorrigeerde overtuiging de betrouwbaarheid van de zwakste contextuele factor niet overschrijdt.
Metanormatieve Theorie:
De auteurs maken gebruik van Maximizing Expected Choiceworthiness (MEC) als de primaire aggregatiefunctie. MEC ordent acties op basis van het gewogen rekenkundig gemiddelde (WAM) van hun kieswaardigheid (choiceworthiness) over de theorieën heen, gebruikmakend van de context-gecorrigeerde overtuigingen uit het overtuigingsprofiel.
Lopende Voorbeeld (FROBO):
Het artikel gebruikt een scenario met een brandweerrobot (FROBO) in een brandend ziekenhuis onder een militaire blokkade. FROBO moet kiezen tussen het redden van een enkele bewusteloze patiënt (Rechter Kamer) of het bewaren van insuline voor veel potentiële toekomstige patiënten (Linker Kamer).
- Context: Middelenbeperkingen beperken het vermogen van FROBO om langetermijngevolgen nauwkeurig te berekenen.
- Effect: Het contextuele kenmerk voor middelenbeperkingen ($rb$) verlaagt de overtuiging voor het utilitarisme met betrekking tot de Linker Kamer (waar complexe voorspelling nodig is) aanzienlijk, maar laat deze hoog voor de Rechter Kamer (waar het gevolg onmiddellijk en zeker is).

Belangrijkste Resultaten
Het artikel toont aan dat het opnemen van context-gecorrigeerde overtuigingen leidt tot een schending van het Zwak Pareto-principe (Weak Pareto Principle), een standaard eigenschap in de sociale keuzetheorie die stelt dat als alle theorieën actie $b$ verkiezen boven $a$ , de geaggregeerde waarde ook $b$ boven $a$ moet verkiezen.

Schending van Zwak Pareto: De auteurs bewijzen dat voor een brede klasse van metanormatieve theorieën (specifiek die die inter-theoretisch responsief zijn) en aanpassingsfuncties (specifiek die context-surjectief zijn, inclusief prod en mini), het Zwak Pareto-principe wordt geschonden.
- Mechanisme: Het is mogelijk om een scenario te construeren waarin elke individuele ethische theorie actie $a$ verkiest boven $b$ ( $t(a) < t(b)$ voor alle $t$ ), maar de context-gecorrigeerde aggregatie $b$ verkiest boven $a$ .
- Voorbeeld: In het FROBO-scenario, zelfs als het utilitarisme en de deontologie in een vacuüm beide de Linker Kamer (insuline) boven de Rechter Kamer (patiënt) verkiezen, kunnen de middelenbeperkingen de overtuiging voor het utilitarisme met betrekking tot de Linker Kamer zo drastisch verlagen dat de deontologische voorkeur voor de Rechter Kamer de geaggregeerde WAM domineert, waardoor de agent voor de Rechter Kamer kiest.
Interpretatie via Simpson's Paradox: De auteurs interpreteren deze schending niet als een fout, maar als een manifestatie van Simpson's Paradox. Net zoals geaggregeerde gegevens trends in subgroepen kunnen omkeren (bijv. toelatingspercentages per geslacht versus afdeling), kan het aggregeren van morele evaluaties over verschillende contexten (acties) de voorkeuren van individuele theorieën omkeren. De schending treedt op omdat het "gewicht" van een theorie dynamisch verandert op basis van de context van de actie, waardoor een theorie met een lagere initiële overtuiging kan domineren in een specifieke context waar zij betrouwbaarder is.

Betekenis en Claims
Het artikel betoogt dat de schending van het Zwak Pareto-principe in deze context niet onwenselijk is, maar eerder een onvermijdelijk en noodzakelijk gevolg van het rekening houden met contextuele factoren.

Beperkingen van Context-ongevoelige Aggregatie: De resultaten benadrukken dat standaard aggregatiemechanismen, die negeren hoe context de betrouwbaarheid van ethische theorieën beïnvloedt, onvoldoende zijn voor real-world waarde-afstemming. Het negeren van context kan leiden tot "fanatische" of onbetrouwbare uitkomsten waarbij agenten theorieën volgen die computationeel of epistemisch niet geschikt zijn voor de specifieke situatie.
Nieuwe Onderzoeksrichting: Het werk motiveert een verschuiving in onderzoek naar morele onzekerheid naar contextueel-gewogen sociale keuze. Het suggereert dat criteria voor het evalueren van aggregatiemethoden (zoals Zwak Pareto) moeten worden heroverwogen wanneer context een variabele is.
Verdikking van Ethische Representaties: Het artikel stelt dat de noodzaak voor context-aanpassing voortkomt uit het feit dat huidige modellen ethische theorieën "dun" representeren (als louter nutfuncties). Door overtuigingen aan te passen op basis van contextuele factoren (zoals computationele haalbaarheid), "verdikken" de auteurs deze evaluaties effectief om de algoritmische en epistemische realiteiten van de theorieën te reflecteren.
Toekomstige Integratie: De auteurs suggereren dat dit formalisme geïntegreerd kan worden met argumentatie-gebaseerde dialogen. In plaats van statische voorkeuren-elicitatie, kunnen agenten morele overtuigingen dynamisch "on the fly" aanpassen door middel van gestructureerde dialogen die contextuele nuances verkennen, wat daarmee robuustere waarde-afstemming ondersteunt in zowel smalle als superintelligente systemen.

Het artikel concludeert dat hoewel de schending van standaard sociale keuze-axioma's contra-intuïtief lijkt, het de conceptuele beperkingen onthult van het negeren van context en een formeel fundament biedt voor meer realistische, contextgevoelige morele besluitvorming in AI.