A Computational Audit of Demographic Association Encoding in ClinicalBERT Language Predictions

Dit artikel presenteert een computationele audit van ClinicalBERT die onthult dat representatieve bias in het model primair opereert door middel van interne amplificatie van demografische associaties in plaats van eenvoudige overerving uit de trainingsdata, zoals blijkt uit systematische afwijkingen tussen modelvoorspellingen en empirische corpusfrequenties over ras- en gendercategorieën heen.

De kern

Stel je een hoogopgeleide medische stagiair voor genaamd ClinicalBERT. Deze stagiair heeft niet geleerd uit tekstboeken of van echte patiënten, maar heeft miljoenen pagina's met oude ziekenhuisnotities (specifiek uit de MIMIC-III database) gelezen om te leren hoe artsen schrijven en denken. Het doel van dit artikel is om te controleren of deze stagiair een aantal slechte gewoonten of oneerlijke stereotypen heeft opgepikt uit die aantekeningen.

De auteur, Kehinde Temitayo Soetan, treedt op als een digitale detective die een audit uitvoert. Ze vraagt de stagiair niet om een diagnose te stellen voor een patiënt; in plaats daarvan speelt ze een "invul-het-gat"-spel om te zien welke woorden de stagiair verwacht te zien wanneer er verschillende typen patiënten worden genoemd.

Hier is hoe het onderzoek werkt, onderverdeeld in eenvoudige concepten:

1. De "Vul-het-gat-in"-test

De onderzoekers namen 98 echte zinnen uit ziekenhuisnotities en verstopten in elke zin een specifiek woord.

• De Opzet: Ze namen een zin als: "De [DEMOGRAFISCHE GROEP] patiënt werd [MASKER] toen de verpleegkundige probeerde hen te verplaatsen."
• De Variabele: Ze vervingen de demografische invulling door verschillende identiteiten: "Witte man", "Zwarte man", "Zwarte vrouw", "Hispanic vrouw", enzovoort.
• De Vraag: Wanneer de het model "Zwarte vrouw patiënt" ziet, denkt het dan dat het verborgen woord eerder geagiteerd, verward of weigerde is vergeleken met wanneer het "Witte man patiënt" ziet?

2. De Twee Belangrijkste Instrumenten

De detective gebruikte twee verschillende vergrootglazen om naar vooroordelen te zoeken:

• De "Gedrag & Houding" Lens (LPBA): Dit controleert woorden die beschrijven hoe een patiënt handelt (zoals geagiteerd of verward) of hoe zij tegenover artsen staan (zoals weigerde of coöperatief).
• De "Wie is de Baas?" Lens (MLM): Dit controleert woorden die laten zien wie de beslissingen neemt. Heeft de patiënt iets verzocht (actief)? Heeft de patiënt iets afgewezen (actief)? Of hebben zij zich simpelweg gepresenteerd (passief)?

3. De Grote Verrassing: Het Model "Versterkt" Vooroordelen

Normaal gesproken, wanneer we ons zorgen maken over AI-vooroordelen, denken we dat het simpelweg een kopie is van wat in de trainingsdata staat. Als de trainingsdata 10% vooroordelen bevat, verwachten we dat de AI ook 10% vooroordelen heeft.

Dit artikel vond iets anders.
De onderzoekers vergeleken de gokken van de AI met de werkelijke frequentie van woorden in de ziekenhuisnotities waarop het getraind is.

• De Bevinding: In 65,6% van de gevallen waarin de AI een sterk vooroordeel vertoonde, ging het vooroordeel in de tegenovergestelde richting van de werkelijke data.
• De Analogie: Stel je een bibliotheek voor waar boeken over "Zwarte patiënten" het woord "geagiteerd" net zo vaak gebruiken als boeken over "Witte patiënten". Echter, de AI-stagiair, wanneer gevraagd wordt om het volgende woord voor een Zwarte patiënt te raden, denkt plotseling dat "geagiteerd" veel waarschijnlijker is dan het in werkelijkheid is.
• De Conclusie: De AI herhaalt niet alleen de geschiedenis van de bibliotheek; het verzint en overdrijft stereotypen die er niet eens in de brontekst staan. Het is als een student die, na het lezen van een geschiedenisboek, verhalen begint te vertellen die veel dramatischer en bevooroordeeld zijn dan het boek zelf.

4. Specifieke Voorbeelden van de "Versterking"

Het artikel belicht enkele zeer specifieke, verontrustende patronen:

• De "Zwarte Patiënt" Paradox:
  • In de Data: Zwarte patiënten gebruikten in werkelijkheid woorden als "weigerde" en "verzocht" vaker dan Witte patiënten in de echte notities.
  • In de AI: Het model voorspelde dat Zwarte patiënten minder waarschijnlijk dingen zouden weigeren of verzoeken. Het wist hun stem en handelingsbekwaamheid effectief uit, waardoor ze passiever leken dan ze daadwerkelijk waren in de dossiers.
• De "Zwarte Vrouw" Dubbele Klap:
  • Wanneer de onderzoekers specifiek naar Zwarte vrouwen keken, liet de AI hen nog minder actief lijken in hun besluitvorming (noch coöperatief, noch weerstand biedend) en meer als passieve objecten van medische zorg. Dit is een specifiek vooroordeel dat alleen zichtbaar wordt wanneer men ras en gender samen bekijkt, en niet alleen ras alleen.
• De "Geagiteerde" Wissel:
  • De AI vond het minder waarschijnlijk dat een Zwarte patiënt "geagiteerd" was (hoewel de data lieten zien dat zij dat net zo vaak waren), maar was wel eerder geneigd om een Hispanic of Aziatische man als "geagiteerd" te bestempelen. Dit laat zien dat de AI niet op een algemene manier "racistisch" is; het past zeer specifieke, verschillende stereotypen toe op verschillende groepen.

5. Wat dit Betekent (Volgens het Artikel)

Het artikel concludeert dat het oplossen van dit probleem door simpelweg "de data op te schonen" (het herbalanceren van de trainingsnotities) waarschijnlijk niet zal werken.

• De Metafoor: Als het probleem slechts een vuile spiegel was, zou het schoonmaken van de spiegel de reflectie oplossen. Maar dit artikel suggereuert dat het probleem het glas zelf is. De AI heeft een structuur in zijn "brein" gebouwd die het beeld automatisch vervormt, ongeacht wat het ziet.
• De Les: De bias is model-gegenereerd, niet alleen data-geërfd. De AI creëert actief nieuwe, oneerlijke associaties die verder gaan dan wat hem is geleerd.

Samenvatting

Dit artikel is een waarschuwing voor een specifiek type medische AI. Het laat zien dat zelfs wanneer een AI getraind is op echte ziekenhuisverslagen, de AI een "persoonlijkheid" kan ontwikkelen die patiënten op oneerlijke wijze stereotypeert — specifiek door Zwarte patiënten passiever te laten lijken dan de dossiers tonen, en door andere negatieve stereotypen toe te passen op Hispanic en Aziatische patiënten. De AI herhaalt niet alleen het verleden; het versterkt de slechtste delen ervan.

Technische samenvatting

Technische Samenvatting: Een Computationele Audit van Demografische Associatie-encodering in de Taalvoorspellingen van ClinicalBERT

Probleemstelling
Hoewel transformer-gebaseerde klinische taalmodellen zoals ClinicalBERT steeds vaker worden geïntegreerd in hoog-risico besluitvormingspipelines, blijven de computationele mechanismen waarmee in de medische documentatie gecodeerde demografische associaties doorwerken in de waarschijnlijkheidsverdelingen van het model empirisch ondergespecificeerd. Bestaande literatuur over algoritmische bias in klinische NLP richt zich voornkelelijk op uitkomstgerichte ongelijkheden (bijv. het onderschatten van de zorgbehoeften van zwarte patiënten) in plaats van op de interne representatieve structuren die demografische associaties coderen. Bovendien blijft het onduidelijk of geobserveerde biases in modeloutputs louter een overerving zijn van de verdelingen in de trainingsdata of dat ze worden versterkt door de interne verwerking van het model. Deze studie adresseert de kloof tussen statistische discrepantie (verschillen in data) en bias-amplificatie (door het model gegenereerde divergentie van de data) binnen de context van representatieve schade—gedefinieerd als schade toegebracht door de symbolische weergave en categorisering van sociale groepen.

Methodologie
De studie presenteert een systematische computationele audit van ClinicalBERT (Alsentzer et al., 2019), een BERT-gebaseerd model dat vooraf is getraind op MIMIC-III ontslagbrieven. De audit hanteert twee complementaire probing-methodologieën toegepast op 98 echte klinische zinsentemplates, rechtstreeks geëxtraheerd uit het MIMIC-III corpus, om de ecologische validiteit te waarborgen. Deze templates worden geïnstantieerd over acht intersectionele race-gendercombinaties (Witte Man, Zwarte Man, Zwarte Vrouw, Hispanic Man, Hispanic Vrouw, Aziatische Man, Aziatische Vrouw, Witte Vrouw), waarbij de Witte Man dient als de referentiegroep ($D_0$).

1. Log Probability Bias Analysis (LPBA): Deze methode kwantificeert de door demografische descriptoren geïnduceerde verschuivingen in de gemaskeerde token-waarschijnlijkheidsverdelingen voor gedragsmatige ($\beta$) en evaluatieve ($E$) semantische categorieën. Het berekent het log-waarschijnlijkheidsverschil tussen een doel-demografische groep ($D_i$) en de referentiegroep ($D_0$) voor identieke zinscontexten.
2. Masked Language Model-based Analysis (MLM): Deze methode probeert de interne representatieve structuur voor de codering van agency-toeschrijving ($\alpha$). In tegen tegenstelling tot LPBA, werkt MLM op basis van ruwe gemaskeerde token-waarschijnlijkheden om absolute waarschijnlijkheidstoewijzingen te beoordelen voor termen die actieve weerstand, actieve coöperatie en passieve ontvangst van klinische actie aanduiden.
3. Corpus Frequentie Analyse: Om statistische discrepantie te onderscheiden van bias-amplificatie, benchmarkt de studie de model-waarschijnlijkheidsoutputs ($P_M$) tegen de empirische termfrequenties ($f_C$) in het MIMIC-III trainingscorpus. Een bevinding wordt geclassificeerd als bias-amplificatie (model-gegenereerd) indien de richting van de waarschijnlijkheidsverschuiving van het model de richting van de corpus-frequentieverschuiving tegenspreekt ($\text{sign}(\Delta S) \neq \text{sign}(\Delta C)$).

Statistische significantie werd bepaald via gepaarde t-testen ($p < 0,05$) met een Benjamini–Hochberg false discovery rate-correctie.

Belangrijkste Resultaten
De audit identificeerde 32 statistisch significante modelbevindingen over gedragsmatige taal, evaluatieve inkadering en agency-toeschrijving. De kernbevindingen onthullen een dominant patroon van model-interne amplificatie in plaats van data-overerving:

• Algemeen Contradictiepercentage: 65,6% (21/32) van de significante bevindingen week tegenover de geobserveerde corpusverdelingen.
• Demografische Specificiteit: Het contradictiepercentage was het hoogst voor zwarte patiënten, namelijk 80,0% (12/15).
• Agency-toeschrijving: De MLM-gebaseerde analyse vertoonde het hoogste contradictiepercentage van 87,5% (7/8), wat aangeeft dat biases met betrekking tot patiënt-agency bijna uitsluitend model-gegenereerd zijn.
• Specifieke Linguïstische Mechanismen:
  • Gedragsmatige Taal: Het model onderdrukte systematisch de waarschijnlijkheid van "agitated" (geagiteerd) voor zwarte patiënten (beide genders) terwijl het dit voor Hispanic en Aziatische mannen versterkte, ondanks bijna gelijke corpusfrequenties voor "agitated" tussen witte en zwarte patiënten.
  • Evaluatieve Inkadering: Het model onderdrukte de waarschijnlijkheid van "refused" (geweigerd) bij meerdere demografische groepen, inclusief zwarte en Hispanic patiënten, ondanks dat "refused" bijna twee keer zo vaak voorkwam in de notes van zwarte patiënten in het corpus (15,38 vs. 7,75 per 10.000 tokens).
  • Agency-toeschrijving: Zwarte patiënten kregen significant lagere waarschijnlijkheden toegewezen voor termen van actieve coöperatie ("requested", "agreed") en actieve weerstand ("declined") vergeleken met witte mannen. Daarentegen werden zwarte vrouwen vaker gecodeerd als passieve ontvangers ("presented"). Dit intersectionele patroon—de simultane onderdrukking van actieve agency en de versterking van passiviteit voor zwarte vrouwen—was onzichtbaar bij een analyse op enkel raceniveau.

Significantie en Claims
Het artikel claimt het eerste directe empirische bewijs te leveren in het domein van klinische NLP dat een breed ingezet klinisch taalmodel demografische associaties versterkt boven wat de trainingsdata rechtvaardigt. De studie operationaliseert het onderscheid tussen statistische discrepantie en bias-amplificatie, en demonstreert dat de representatieve bias in ClinicalBERT een structurele eigenschap van het model is en niet louter een reflectie van de onevenwichtigheden in de trainingsdata.

De auteurs stellen dat deze bevindingen directe implicaties hebben voor bias-auditing en klinische AI-governance. Specifiek suggereren de resultaten dat het herbalanceren van trainingsdata of het toepassen van post-training alignment-procedures onvoldoende kan zijn, aangezien de geïdentificeerde biases voornamelijk worden gegenereerd door de interne representatieve structuur van het model. De studie pleit voor voortdurende audits over intersectionele demografische combinaties en de ontwikkeling van governance-frameworks die gedragsmatige karakterisering, evaluatieve inkadering en agency-toeschrijving als concrete auditing-doelwitten behandelen. Het voorgestelde probing-framework wordt gepresenteerd als een reproduceerbare methodologie voor het beoordelen van representatieve schade in klinische AI.