💻 computer science

Quantifying and Mitigating Gender Bias in Legal Large Language Models:A Counterfactual Fairness Framework

Dit artikel auditeert juridische grote taalmodellen op genderbias in de berekeningen van ontslagvergoedingen in China, waarbij wordt onthuld dat contrafeitelijke instabiliteit in plaats van directionele bias de primaire foutmodus is, en stelt twee effectieve oplossingen voor — Counterfactual Symmetric Calibration en Fairness-Constrained Fine-Tuning — om deze fouten te mitigeren door ontbrekende formulekennis aan te pakken.

Oorspronkelijke auteurs: Yikuan Feng, Xiao Li

Gepubliceerd 2026-08-07

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yikuan Feng, Xiao Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een gigantische, hightech bibliotheek binnenloopt waar de bibliothecarissen superintelligente robots zijn. Deze robots hebben bijna elk boek ooit geschreven gelezen en kunnen vragen beantwoorden over alles, van kookrecepten tot ruimtereizen. Maar er is een addertje onder het gras: soms, wanneer je ze een vraag stelt, geven ze je een ander antwoord, simpelweg omdat je één klein detail over jezelf hebt veranderd, zoals je naam of je geslacht. Dit is een groot ding in de wereld van "Artificiële Intelligentie" (AI), specifelijk in een vakgebied dat "Machine Learning" wordt genoemd. Denk aan deze AI-modellen als digitale hersenen die patronen leren van data. Een van de grootste zorgen voor wetenschappers en juristen is "bias" (vooringenomenheid). Bias is als een gekleurde bril; als de AI een bril draagt die mannen anders ziet dan vrouwen, kan het onrechtvaardige beslissingen nemen. Meestal maken we ons zorgen over het feit dat de AI consistent onrechtvaardig is – zoals altijd betere antwoorden aan mannen geeft dan aan vrouwen. Maar wat als de AI niet consistent onrechtvaardig is, maar gewoon willekeurig in de war is? Wat als hij de ene dag een geweldig antwoord geeft en de volgende dag een verschrikkelijk antwoord, alleen maar omdat je een woord in je vraag hebt veranderd? Dat is het mysterie dat dit artikel probeert op te lossen.

De onderzoekers in deze studie besloten om vier van de meest populaire "Legal Large Language Models" (denk aan superintelligentie-robot-advocaten) op de proef te stellen. Ze kozen een zeer specifieke, wiskundig zware taak: berekenen hoeveel geld een werknemer zou moeten krijgen als hij onterecht wordt ontslagen in China. De wet is hier als een strikt recept: als je 5 jaar hebt gewerkt en $1.000 per maand verdiende, moet de robot precies $10.000 berekenen. Er is geen ruimte voor gokken. Als de robot $12.000 zegt, is het fout. Als hij $8.000 zegt, is het ook fout. De wetenschappers creëerden 50 verschillende "wat als"-verhalen. In elk verhaal vroegen ze de robot om de uitbetaling voor een man te berekenen, en vroegen daarna exact dezelfde vraag opnieuw, maar veranderden ze het geslacht van de werknemer naar een vrouw. Ze deden dit in totaal 400 keer.

Hier is de verrassende wending die ze vonden. Ze verwachtten dat de robots consistent bevooroordeeld zouden zijn, zoals een weegschaal die altijd te ver naar links doorslaat. In plaats daarvan vonden ze iets veel vreemders: instabiliteit. De robots waren niet consistent bevoordelend voor mannen of vrouwen. In plaats daarvan gedroegen ze zich als een nerveuze rekenmachine. Voor de meeste verhalen gaf de robot exact hetzelfde antwoord voor zowel mannen als vrouwen. Maar voor een paar specifieke verhalen gingen de robots volledig los. Ze gaven een man een enorme uitbetaling en de vrouw een piepkleine, of andersom, zonder enig patroon om dat te verklaren. Het was als een muntworp die soms op kop landde, soms op munt, en soms op de zijkant. De onderzoekers noemen dit "counterfactual instability" (tegenfeitelijke instabiliteit). Het is een angstaanjagende vorm van onrechtvaardigheid, omdat je het niet kunt oplossen door simpelweg een "correctiefactor" toe te voegen aan het brein van de robot. Als de robot willekeurig fout zit, kun je niet voorspellen wanneer hij de mist in gaat.

Om dit op te lossen, probeerde het team twee verschillende "pleisters". De eerste was een slim trucje genaamd Counterfactual Symmetric Calibration (CSC). Stel je voor dat je een robot hebt die soms het verkeerde antwoord geeft. In plaats van te proberen de robot opnieuw te trainen (wat moeilijk en duur is), plaats je gewoon een vangnet onder hem. Elke keer wanneer de robot een ander antwoord geeft voor een man en een vrouw, negeer je de robot en gebruik je gewoon de wiskundige formule uit het wetboek. Dit werkte verbazingwekkend goed. Voor sommige robots verbeterde dit de juridische nauwkeurigheid met wel 72 procentpunten! Het was alsoals het opvangen van een vallend bord voordat het de grond raakt.

De tweede oplossing was een diepere operatie genaamd Fairness-Constrained Fine-Tuning (FCFT). Hierbij namen de onderzoekers een kleinere robot en leerden deze de wiskundige formule direct aan, terwijl ze er ook bij zeiden: "Hé, zorg ervoor dat je mannen en vrouwen precies hetzelfde behandelt." Ze ontdekten iets zeer belangrijks: de robots waren niet gemeen of seksistisch met opzet. Ze waren gewoon slecht in wiskunde! De belangrijkste reden dat ze foutieve antwoorden gaven, was dat ze de formule in het wetboek niet echt kenden. Zodra ze de formule leerden, verdween de "geslachtsbias" grotendeels. Het bleek dat de robots niet met een gekleurde bril keken; ze wisten gewoon niet hoe ze moesten optellen.

Uiteindelijk vertelt dit artikel ons dat wanneer we AI gebruiken voor juridische beslissingen, we niet simpelweg kunnen vertrouwen op het feit dat het "praat" als een advocaat. Als de wet een wiskundig probleem is, moet de AI zich gedragen als een rekenmachine, niet als een verhalenverteller. Het grootste gevaar is niet dat de AI een bepaalde groep mensen haat; het is dat de AI onvoorspelbaar in de war kan zijn. Het goede nieuws is dat we vangnetten kunnen bouwen om die fouten op te vangen, en dat we de robots de regels kunnen leren zodat ze stoppen met gokken. Het is een herinnering aan het feit dat het in de wereld van AI soms niet gaat om hoe slim de robot klinkt, maar of hij eenvoudige wiskunde kan doen zonder over zijn eigen voeten te struikelen.

Technische Samenvatting: Kwantificering en Mitigatie van Genderbias in Juridische Large Language Models

1. Probleemstelling

Het artikel behandelt de kritieke kwestie van algoritmische bias in juridische Large Language Models (LLM's), met een specifieke focus op genderbias binnen de context van vergoedingen bij onterecht ontslag onder Artikel 87 van de Chinese Arbeidsovereenkomstenwet (LCL). In tegenstelling tot common-law systemen waar uitkomsten probabilistisch zijn (bijv. recidivegevaar), biedt dit domein een unieke "schone" experimentele testomgeving: het eerlijke vergoedingsbedrag wordt uniek bepaald door een wettelijke formule ( $Vergoeding = Dienstjaren \times Maandsalaris \times 2$ ).

De auteurs stellen dat bestaand onderzoek naar bias vaak een specifieke foutmodus over het hoofd ziet: contrafactische instabiliteit. Terwijl eerder werk zich richt op directionele bias (bijv. systematisch een voorkeur hebben voor één gender), onderzoekt deze studie of een enkele-token gendervervanging in een verder identieke prompt onvoorspelbare, caseload-specifieke afwijkingen in het aanbevolen vergoedingsbedrag veroorzaakt. Dergelijke instabiliteit schendt contrafactische rechtvaardigheid (Kusner et al., 2017) en ondermijnt procedurele rechtvaardigheid, omdat het "technische willekeur" introduceert waarbij juridisch irrelevante attributen (gender) onvoorspelbaar de uitkomsten veranderen.

2. Methodologie

2.1 Contrafactisch Rechtvaardigheidskader

De studie definieert genderbias met behulp van de Bias Shift Rate ( $\Delta$ ):
$\Delta = \frac{R_{mannelijk} - R_{vrouwelijk}}{\bar{R}}$
Waarbij $R_{mannelijk}$ en $R_{vrouwelijk}$ de vergoedingsbedragen zijn die worden aanbevolen voor identieke scenario's die enkel verschillen in het gender van de eiser, en $\bar{R}$ hun gemiddelde is.

Grondwaarheid ( $R^*$ ): De wettelijke waarde berekend via de LCL-formule.
Wettelijke Naleving: Een output is compliant als deze binnen $\pm 10\%$ van $R^*$ valt.
Bias Drempelwaarde: Een scenario wordt als biased beschouwd als $|\Delta| > 0,05$ .

2.1 Experimenteel Ontwerp

Scenario's: Er zijn 50 contrafactische scenario-paren geconstrueerd, variërend in dienstjaren (1–12 jaar), salaris (4k–30k CNY), en inclusief juridisch irrelevante context (opleiding, gezinssituatie) om realistische ruis te simuleren.
Modellen: Vier mainstream LLM's werden geëvalueerd via hun officiële API's:
- Qwen 3.6 Plus (Alibaba)
- DeepSeek V4 Flash (DeepSeek)
- Gemini 3.1 Flash Lite (Google)
- Claude Sonnet 4.6 (Anthropic)
Inference Protocol: 400 deterministische inferenties ( $K=1$ , temperatuur $= 0$ ) werden uitgevoerd. Dit ontwerp isoleert deterministische sensitiviteit voor de gender-token, waardoor sampling-variantie wordt uitgesloten.

2.3 Remediatiestrategieën

Twee complementaire strategieën werden voorgesteld en getest:

Counterfactual Symmetric Calibration (CSC): Een post-processing veiligheidsnet voor closed-source modellen. Als $|\Delta| > 0,05$ , worden beide gender-afhankelijke outputs vervangen door de wettelijke waarde $R^*$ . Dit vereist geen hertraining van het model.
Fairness-Constrained Fine-Tuning (FCFT): Een parameter-niveau benadering voor open-source modellen (getest op Qwen1.5-1.8B-Chat). De trainingsdoelstelling combineert standaard taalverlies met een rechtvaardigheidsregularisator:
$L_{totaal} = L_{LM} + \lambda \cdot L_{rechtvaardigheid}$
Waarbij $L_{rechtvaardigheid}$ de KL-divergentie tussen gender-geconditioneerde outputdistributies bestraft. Een ablatie-studie vergeleek vier varianten: Baseline, Alleen Data Alignment, Alleen KL Loss, en Volledige FCFT.

3. Belangrijkste Resultaten

3.1 Detectie van Bias: Instabiliteit boven Richting

Over alle vier de modellen heen vond de studie geen statistisch significante directionele bias (alle Wilcoxon $p > 0,28$ ). Echter, alle modellen vertoonden duidelijke contrafactische instabiliteit:

DeepSeek V4 Flash: Laagste instabiliteit (Gemiddelde $|\Delta| = 0,082$ ), waarbij 86% van de scenario's identieke aanbevelingen vertoonde.
Qwen 3.6 Plus & Claude Sonnet 4.6: Hoogste instabiliteit (Gemiddelde $|\Delta| = 0,266$ en $0,214$ respectievelijk), waarbij 74% van de scenario's bias vertoonde.
Distributie: De distributie van $|\Delta|$ is heavy-tailed. Hoewel de mediaan-afwijking voor sommige modellen nul was, produceerde een minderheid van de gevallen extreme afwijkingen, wat aangeeft dat fouten sporadisch en onvoorspelbaar zijn in plaats van uniform.

3.2 Juridische Naleving

DeepSeek behaalde de hoogste baseline juridische naleving (78%).
Claude en Gemini vertoonden systematische negatieve afwijkingen van de wettelijke formule, zelfs in genderneutrale scenario's, wat resulteerde in zeer lage baseline naleving (2% en 6%, respectievelijk).
Bevinding: Hoge vloeiendheid en professionele formulering (zoals te zien in de outputs van Claude) correleren niet met juridische nauwkeurigheid.

3.3 Effectiviteit van Remediatie

CSC Prestaties: Het toepassen van CSC verbeterde de juridische naleving drastisch:
- Qwen: +60 procentpunten (34% $\to$ 94%).
- Claude: +72 procentpunten (2% $\to$ 74%).
- DeepSeek: +14 procentpunten (78% $\to$ 92%).
- De methode elimineerde succesvol de bias in getriggerde scenario's ( $\Delta \to 0$ ).
FCFT Ablatie: De diagnostische fine-tuning onthulde dat ontbrekende formulekennis, en niet gecodeerde gendervoorkeur, de primaire drijfveer van bias is.
- Variant B (Alleen Data Alignment): Bereikte 97,29% juridische nauwkeurigheid en de laagste $|\Delta|$ (0,0213), wat bewijst dat het aanleveren van wettelijke labels de meeste problemen oplost.
- Variant D (Volledige FCFT): Verlaagde de KL-divergentie verder (0,0010) maar ten koste van een lichte daling in nauwkeurigheid vergeleken met Variant B, wat suggereert dat de rechtvaardigheidsregularisator als een smoothing-constraint werkt.

4. Betekenis en Claims

Het artikel claimt drie primaire bijdragen:

Eerste Grootschalige Contrafactische Audit: Het biedt de eerste systematische audit van juridische LLM's in een civielrechtelijke, door formules bepaalde setting, waarbij contrafactische instabiliteit wordt gekarakteriseerd als de dominante vorm van bias, verschillend van directionele discriminatie.
Remediatie Pipeline: Het valideert CSC als een goedkoop en impactvol veiligheidsnet voor closed-source API's en FCFT als een diagnostisch instrument voor open-source modellen.
Architecturaal Inzicht: De resultaten pleiten voor het ontkoppelen van juridische berekening van taalgeneratie. Aangezien de grondwaarheid een deterministische functie is, introduceert het overlaten van numerieke berekeningen aan generatieve modellen onnodige variantie. De auteurs stellen een neuro-symbolische architectuur voor waarbij symbolische modules de uitvoering van formules afhandelen, en LLM's de context en uitleg verzorgen.

De auteurs benadrukken dat deze vorm van bias (inconsistentie) onzichtbaar is voor aggregatieve audits op groepsniveau en niet kan worden gecorrigeerd door scalaire aanpassingen, wat individuele contrafactische testen noodzakelijk maakt. Ze concluderen dat voor door formules bepaalde juridische taken, reguleringsstandaarden contrafactische rechtvaardigheidsaudits en de integratie van formule-uitvoeringsmodules moeten verplichten om procedurele rechtvaardigheid te waarborgen.