Technische Samenvatting: Het bouwen van interpreteerbare modellen voor morele besluitvorming

Probleemstelling

Naarmate AI-systemen steeds vaker geconfronteerd worden met morele dilemma's (bijv. autonome voertuigen, contentmoderatie), is er een dringende behoefte om niet alleen te begrijpen wat beslissingen deze systemen nemen, maar ook hoe ze redeneren en waar morele vooroordelen binnen hun architecturen ontstaan. Huidige benaderingen vertrouwen vaak op post-hoc analyse van opengewerkte, grootschalige taalmodellen (LLM's), wat een mechanisch begrip beperkt. Dit artikel behandelt de uitdaging van het bouwen van een transparant, kleinschalig model dat in staat is om algemene morele principes te leren van de Moral Machine-dataset (Awad et al., 2018) om een gedetailleerde interpreteerbaarheidsanalyse te faciliteren.

Methodologie

Architectuurontwerp

De auteurs stellen een aangepast, 2-laags transformer-model voor dat specifits is geoptimaliseerd voor gestructureerde morele redeneertaken. In tegenstelling tot algemene LLM's, maakt deze architectuur gebruik van de compositionele aard van trolleyproblemen.

• Inputrepresentatie: Elk moreel dilemma wordt gerepresenteerd als een paar uitkomsten ($O_0, O_1$). Elke uitkomst wordt gecodeerd als een sequentie van tokens die overeenkomen met 23 karaktertypen (bijv. Man, Vrouw, Crimineel, Dokter). Voor elk karakter $c$ met cardinaliteit $n_c$ in uitkomst $t$ wordt een compositionele embedding geconstrueerd:
  $$e^{(t)}_c = [E_{char}(c) ; E_{card}(n_c) ; E_{team}(t)]$$
  Dit ontwerp is gebaseerd op de hypothese dat moreel redeneren uiteenvalt in het identificeren van belanghebbenden, het kwantificeren van impact en het oplossen van concurrerende belangen.
• Modelconfiguratie: Het model gebruikt een embeddingdimensie $d=64$, 2 attention heads en 2 transformerlagen ($L=2$). Het verwerkt een sequentie van 46 tokens (23 per uitkomst) voorafgegaan door een leerbaar [CLS] token.
• Symmetrie-afdwinging: Om zijde-invariantie te garanderen (waarbij de voorkeur voor Groep A boven B het complement is van B boven A), middelt het inferentieproces de voorspellingen van beide invoerordes:
  $$p(O_1 \succ O_0) = \frac{1}{2} [\sigma(f(O_0, O_1)) + (1 - \sigma(f(O_1, O_0)))]$$
• Classificatie: De uiteindelijke [CLS] representatie gaat door een twee-laags MLP om een scalaire logit te produceren, die via een sigmoid wordt omgezet in een waarschijnlijkheid. Deze probabilistische output stelt het model in staat om onzekerheid te leren wanneer het geconfronteerd wordt met tegenstrijdige trainingsvoorkeuren.

Interpreteerbaarheidstechnieken

Het artikel maakt gebruik van drie complementaire methoden om de interne mechanismen van het model te analyseren:

1. Causale Interventie: Met behulp van het DoWhy-framework schatten de auteurs het Average Treatment Effect (ATE) van specifieke karaktertypen op de besluituitkomsten, waarbij gecontroleerd wordt voor groepsgrootte-confounders.
2. Laag-gewijze Attributie: Attention weights worden geëxtraheerd uit elke laag en gecorreleerd met bias-scores over vijf dimensies (legaliteit, geslacht, sociale rol, leeftijd, soort) om te lokaliseren waar vooroordelen ontstaan.
3. Circuit Probing: Er worden sparse binaire maskers getraind over een bevroren model om specifieke neuronen (in MLP-blokken en attention heads) te identificeren die causaal de morele hiërarchie implementeren. Dit wordt gevalideerd via gerichte ablatie.
4. Lokale Relevantie: Gradient-weighted attention relevantie wordt berekend om de bijdrage van individuele tokens aan specifieke beslissingen te verklaren.

Belangrijkste Resultaten

Prestaties

• Het 2-laags model bereikt een nauwkeurigheid van 77,1% op uitgestelde Moral Machine-scenario's (met gebruik van de configuratie $d=64, H=2, L=2$).
• Hoewel een grotere configuratie ($d=64, H=4, L=3$) een nauwkeurigheid van 77,5% behaalde, kozen de auteurs voor het kleinere model om de prioriteit te geven aan interpreteerbaarheid en computationele efficiëntie.
• Het model demonstreert dat transparantie en voorspellende capaciteit in morele keuzes geen wederzijds uitsluitende grootheden zijn.

Interpretatiebevindingen

• Morele Hiërarchie (Causale Interventie): Het model leert een impliciete hiërarchie van morele waarde die onafhankelijk is van utilitaire aantallen. "Zwangere" (ATE +0,12) en "Wandelaar" (ATE +0,11) vertonen de sterkste positieve invloed, terwijl "Crimineel" (ATE -0,10) de sterkste negatieve invloed vertoont. Generieke categorieën zoals "Man" en "Vrouw" clusteren nabij nul en dienen als morele baselines.
• Bias Lokalisatie:
  • Legaliteitsbias: Lokaliseert bijna volledig in Laag 0, wat suggereert dat criminele status vroeg wordt geïdentificeerd via karakter-embeddings.
  • Soort-bias: Emergeert voornamelijk in Laag 1, wat aangeeft dat onderscheid tussen mens en dier compositioneel redeneren over meerdere karakters vereist.
  • Functionele Specialisatie: Specifieke attention heads specialiseren zich in verschillende biases (bijv. Laag 0 Head 1 voor legaliteit; Laag 1 Head 1 voor soort-discriminatie).
• Circuit Ontdekking: Circuit probing identificeerde een zeer sparse subnetwerk (45 van de 256 neuronen, 17,6% sparsity) in de MLP-blok van Laag 1 dat causaal het morele score-signaal implementeert. Het ableren van dit circuit verminderde de overeenstemming met model-score labels met 1,2 procentpunt, wat ongeveer 8,3% van de marge van het model boven toeval verklaart.
• Token Relevantie: In specifieke scenario's (bijv. 3 Mannen vs. 3 Criminalen) wordt de beslissing primair gedreven door de "Crimineel" token (relevantiescore 0,27), terwijl demografische tokens zoals "Man" zwak bijdragen.

Betekenis en Claims

Het artikel claimt dat morele competentie geen grote, vooraf getrainde modellen vereist; een simpel, structureel beperkt model dat getraind is op de intuïtieve structuur van trolleyproblemen is voldoende om menselijke morele vooroordelen te leren en te coderen.

De primaire betekenis ligt in transparantie. Door een klein, aangepast architectuur te bouwen, demonstreren de auteurs dat:

1. Morele vooroordelen niet monolithisch zijn maar lokaliseren naar afzonderlijke computationele stadia (bijv. vroege lagen voor identiteitsgebaseerde biases, latere lagen voor compositioneel redeneren).
2. Deze granulariteit maakt gerichte interventiestrategieën mogelijk. Bijvoorbeeld, weten dat de criminele bias lokaliseert naar Laag 0 Head 1 maakt specifieke debiasing-technieken mogelijk (zoals het orthogonaliseren van representaties of het vastzetten van attention weights) in plaats van grove dataset-herbalancering.
3. Dit werk legt een fundament voor het verkennen van moreel redeneren in grotere LLM's, waarbij dit interpreteerbare model dient als basis voor het begrijpen van hoe morele principes worden gecodeerd in complexere systemen.

De auteurs erkennen dat trainen op geaggregeerde menselijke voorkeuren inherent culturele vooroordelen overneemt, maar stellen dat de transparantie van hun benadering een noodzakelijke stap is naar het begrijpen en potentieel mitigeren van deze vooroordelen in AI-systemen.