Technische Samenvatting: Uitlegerechtigheid in Grootte Taalmodellen

1. Probleemstelling

Hoewel er uitgebreid onderzoek bestaat naar besluitniveau-echtheid in Grootte Taalmodellen (LLM's) — met de focus op de correlatie tussen beschermde kenmerken en nadelige uitkomsten — is er een kritieke lacune wat betreft uitlegerechtigheid. Dit artikel definieert uitlegerechtigheid als de systematische variatie in de kwaliteit, diepte, toon en linguïstische verfijning van rechtvaardigingen die door LLM's worden geboden aan verschillende demografische groepen, zelfs wanneer het onderliggende besluit identiek is.

De auteurs betogen dat een model evenwichtige besluiten kan nemen terwijl het deze ongelijk uitlegt (bijvoorbeeld door uitgebreide, respectvolle rechtvaardigingen aan de ene groep te bieden en kortaf, afwijzende aan de andere). Deze discrepantie is onderscheidend van besluitgerechtigheid en heeft aanzienlijke dringende regelgevende urgentie, vooral in het licht van de EU-wetgeving inzake kunstmatige intelligentie (artikel 13), die voorschrijft dat hoog-risico AI-systemen transparante rechtvaardigingen moeten bieden die voldoende zijn voor individuen om besluiten te begrijpen en aan te vechten. Als de kwaliteit van de uitleg systematisch lager is voor minderheidsgroepen, wordt de naleving van het "recht op uitleg" aangetast.

2. Methodologie

2.1 Experimenteel Ontwerp

De studie hanteert een gecontroleerd empirisch ontwerp met behulp van naamsubstitutie binnen prompt-sjablonen, een standaardmethodologie in correspondentiestijl auditonderzoek.

• Domeinen: Vier consequente besluitdomeinen werden geselecteerd: Werving, Medische Triage, Kredietbeoordeling en Juridisch Oordeel.
• Sjablonen: Er werden 80 prompt-sjablonen geconstrueerd (20 per domein). In elk paar wordt de scenario-inhoud (kwalificaties, omstandigheden, besluituitkomst) constant gehouden, terwijl het demografische kenmerk (naam) wordt gevarieerd om verschillende groepen te vertegenwoordigen (Geslacht, Ras, Leeftijd, Religie en Intersectionele identiteiten).
• Modellen: Vijf LLM's werden geëvalueerd: GPT-4.1, Claude Sonnet, LLaMA 3.3 70B, GPT-OSS 120B en Qwen3 32B.
• Datavolume: Tot 400 prompt-paren werden geëvalueerd over alle modellen heen. Voor de 'Decision-Linked Explanation'-metriek werd voor elke prompt een contrastieve uitleg opgevraagd (die het tegenovergestelde besluit rechtvaardigt in hetzelfde scenario) om proxies voor betrouwbaarheid te berekenen.

2.2 De Uitlegerechtigheidstaxonomie (EFT)

Het artikel introduceert de Uitlegerechtigheidstaxonomie (EFT), een pragmatisch raamwerk dat bestaat uit vijf formeel gedefinieerde, operationaliseerbare dimensies. Deze dimensies zijn meetbaar via black-box-metrieken zonder toegang tot modelinterne details:

1. Verbositeit Dispariteit: Gemeten aan de hand van woordtelling en verhalingsdiepte (aantal semantisch onderscheiden redenen geïdentificeerd via zinsembedding-clustering).
2. Sentiment Dispariteit: Gemeten aan de hand van de VADER compound-score om emotionele valentie te beoordelen (positief, negatief, neutraal).
3. Epistemisch Hedging Dispariteit: Gemeten aan de hand van de Hedging Density Score (HDS), een gewogen lexicon-gebaseerde metriek die de frequentie van onzekerheidsmarkers kwantificeert (bijv. "zou kunnen", "mogelijk", "onzeker").
4. Besluit-gekoppelde Uitleg Dispariteit: Gemeten aan de hand van de Explanation Faithfulness Proxy (EFP). Deze heuristiek berekent de structurele dissimilariteit (via cosinusafstand van embeddings) tussen een uitleg voor een besluit ($d$) en een uitleg voor het tegenovergestelde besluit ($\neg d$) in hetzelfde scenario. Een lagere EFP geeft aan dat de uitleg invariant is ten opzichte van het besluit, wat wijst op een gebrek aan genuanceerd redeneren.
5. Lexicale Complexiteit Dispariteit: Gemeten aan de hand van Flesch-Kincaid Grade Level (FKGL), Type-Token Ratio (TTR) en domein-termdichtheid.

2.3 Statistische Analyse

Dispariteiten werden gekwantificeerd met behulp van absolute verschillen tussen demografische paren. Statistische significantie werd getest met de one-sample Wilcoxon signed-rank test, met effectgroottes berekend via Cohen's $d$. Meerdere vergelijkingen werden gecorrigeerd met de Benjamini-Hochberg (BH)-procedure.

3. Belangrijkste Bijdragen

1. Operationele Taxonomie: De definitie van de EFT, die vijf onderscheiden, meetbare dimensies van uitlegniveau-dispariteit biedt.
2. Nieuwe Metrieken: De introductie van HDS en EFP als praktische, black-box heuristieken voor het auditen van uitlegerechtigheid zonder dat modelgewichten of interne toegang vereist zijn.
3. Empirisch Benchmark: Een grootschalige studie over 80 prompt-sjablonen, 4 domeinen en 5 LLM's, met resultaten die systematische dispariteiten tonen over alle metrieken heen.
4. Mitigatie-analyse: Een evaluatie van twee prompt-interventies ("Blind" en "Fairness" instructies) op de modellen met de hoogste dispariteit om te bepalen of implementatieniveau-instructies deze problemen kunnen oplossen.

4. Belangrijkste Resultaten

4.1 Bestaan van Dispariteiten (RQ1)

Alle acht EFT-metrieken (inclusief sub-metrieken voor lexicale complexiteit) toonden statistisch significante dispariteiten over alle prompt-paren heen ($p_{BH} < 10^{-62}$). Effectgroottes (Cohen's $d$) varieerden van klein tot groot:

• Grote Effecten: Lexicale Complexiteit (FKGL, $d=0,856$) en Epistemisch Hedging (HDS, $d=0,810$).
• Gemiddelde Effecten: Verhalingsdiepte, Sentiment, TTR, Domeindichtheid en EFP ($d \approx 0,57–0,77$).
• Kleine Effecten: Verbositeit (Woordaantal, $d=0,457$).
  De verdeling van dispariteiten was rechts-scheef, wat betekent dat hoewel de gemiddelde dispariteiten gematigd waren, specifieke demografische koppelingen extreme ongelijkheid vertoonden.

4.2 Demografische Assen (RQ2)

Dispariteiten varieerden per demografische as maar volgden geen enkel uniform patroon van schade:

• Religie: Toonde de hoogste gemiddelde dispariteit ($d=0,822$), met name in verhalingsdiepte en lexicale complexiteit, hoewel de steekproefgrootte voor deze as klein was ($n=40$).
• Directionaliteit: De richting van de dispariteit was niet uniform. Bijvoorbeeld, sollicitanten met een moslimnaam ontvingen aanzienlijk kortere en minder uitgebreide uitleg dan sollicitanten met een christelijke naam. Omgekeerd ontvingen vrouwelijke sollicitanten langere en uitgebreidere uitleg dan mannelijke sollicitanten, hoewel dit niet correleerde met een positievere sentiment.

4.3 Modelvariatie (RQ3)

De keuze van het model was sterk geassocieerd met de omvang van de dispariteit:

• Qwen3 32B vertoonde de hoogste dispariteiten, met verbositeitsdispariteiten 5,9 keer groter dan bij LLaMA 3.3 70B. Het produceerde frequent minimalistische outputs voor één demografische groep terwijl het in identieke scenario's gedetailleerde antwoorden genereerde voor een andere.
• GPT-OSS 120B toonde de hoogste dispariteit in de EFP-proxy, met name in het juridische domein, wat suggereert dat zijn uitleg minder gevoelig was voor besluitwijzigingen voor bepaalde groepen.
• GPT-4.1 en LLaMA 3.3 70B waren de meest rechtvaardige modellen, gerangschikt op de 4e en 5e plaats, hoewel ze nog steeds statistisch significante dispariteiten vertoonden.

4.4 Mitigatie via Prompting (RQ4)

Twee prompt-interventies ("Blind" en "Fairness") werden getest op Qwen3 32B en GPT-OSS 120B:

• EFP Proxy: Beide interventies resulteerden in significante reducties (78–95%) in EFP-dispariteit. De auteurs merken echter op dat dit dubbelzinnig is; het kan wijzen op een consistentere besluitgevoeligheid of simpelweg op uniform generieke uitleg.
• Stijldimensies: Geen enkele interventie produceerde significante reducties in verbositeit, sentiment, hedging of lexicale complexiteit. In sommige gevallen namen dispariteiten toe (hoewel niet significant).
• Conclusie: Prompting alleen is onvoldoende om stilistische uitlegongelijkheden op te lossen.

5. Betekenis en Claims

Het artikel claimt dat uitlegerechtigheid een onderscheiden, meetbare en wettelijk consequente dimensie van AI-veiligheid is, los van besluitgerechtigheid.

• Regelgevende Implicaties: De bevindingen suggereren dat organisaties de "letter" van de EU-wetgeving inzake kunstmatige intelligentie kunnen voldoen (het verstrekken van een uitleg) terwijl ze de "geest" ervan falen (het verstrekken van een uitleg van gelijke kwaliteit en toegankelijkheid). De EFT biedt een reproduceerbaar, black-box auditraamwerk om deze asymmetrieën te detecteren voorafgaand aan het handhavingsvenster van 2026.
• Implementatiegids: De studie identificeert modelselectie als de interventie met de hoogste hefboomwerking. Beoefenaars wordt geadviseerd dat eenvoudige promptstrategieën stilistische dispariteiten niet kunnen oplossen; in plaats daarvan vereist het aanpakken van deze gaten waarschijnlijk interventies op trainingsniveau (bijv. contrastief gebalanceerde data of gerichte fine-tuning).
• Beperkingen: De auteurs stellen expliciet dat EFP een heuristische proxy is die menselijke validatie vereist, dat de studie vertrouwt op geautomatiseerde metrieken zonder menselijk beoordeelde grondwaarheid, en dat het ontwerp met naamsubstitutie correlatieve signalen vastlegt in plaats van causale toewijzing aan specifieke demografische attributen.

Kortom, het artikel stelt vast dat LLM's besluiten systematisch verschillend rechtvaardigen op basis van demografische framing, dat deze dispariteiten robuust zijn over modellen en domeinen heen, en dat ze niet eenvoudig kunnen worden opgelost via implementatieniveau-prompting, wat noodzaakt tot een verschuiving naar remediatie op trainingsniveau en rigoureuze geautomatiseerde audits.