Adversarial Fragility and Language Vulnerability in Clinical AI: A Systematic Audit of Diagnostic Collapse Under Imperceptible Perturbations and Cross-Lingual Drift in Low-Resource Healthcare Settings

Technische Samenvatting: Adversariële Fragiliteit en Taalgevoeligheid in Klinische AI

Probleemstelling
Huidige klinische kunstmatige intelligentie (AI)-systemen worden voornamelijk geëvalueerd op schone, gestandaardiseerde Engelstalige datasets, waardoor een "fragiliteitsomhulsel" ontstaat dat de realiteit van gezondheidszorg in gebieden met beperkte middelen niet weerspiegelt, met name in Sub-Sahara Afrika. Deze studie identificeert twee orthogonale veiligheidskwetsbaarheden die de inzet van AI in Nigeriaanse Centra voor Basale Gezondheidszorg (PHC's) bedreigen:

1. Adversariële Beeldfragiliteit: De vatbaarheid van deep learning-modellen voor onwaarneembare verstoringen die leiden tot diagnostische ineenstorting.
2. Taalgebonden Diagnostische Drift: De verslechtering van het redeneren van Large Language Models (LLM's) wanneer patiënten zich presenteren in lokale dialecten (Nigeriaans Pidgin/Naija) of Yoruba-geïnfecteerd Engels in plaats van Standaard Amerikaans Engels (SAE).

Methodologie
De studie voerde een systematische dubbele audit uit met twee distincte experimentele tracks:

• Track 1: Adversariële Robuustheid (Beeldanalyse)

  • Architectuur: DenseNet121 (de ruggengraat van CheXNet), fijngefineerd op de COVID-QU-Ex dataset (85.318 afbeeldingen).
  • Dataset: Een gestratificeerde testset van 150 afbeeldingen (50 per klasse: COVID-19, Niet-COVID Pneumonie, Normaal).
  • Aanvalsvector: Fast Gradient Method (FGM) toegepast over 15 epsilon ($\epsilon$)-niveaus van 0 tot 0,3.
  • Stress-test voor Mitigatie: Drie defensieve strategieën geëvalueerd bij de kritieke drempel van $\epsilon=0,021$: Gaussische smoothing ($\sigma=1,0$), Ensemble Voting (via geometrische augmentaties) en Mini Adversarial Training.
  • Omgeving: Experimenten uitgevoerd op Apple Silicon MPS-versnelling; modellen ingekapseld in de Adversarial Robustness Toolbox (ART).

• Track 2: Taalfragiliteit (LLM-analyse)

  • Modellen: Vergelijking van een algemeen doelmodel (Llama3.1:8b) met een model voor Afrikaanse context (NatLAS/N-ATLAS).
  • Dataset: 20 geschreven klinische casuïstieken die dezelfde drie diagnostische klassen behandelen, gepresenteerd in drie registers: Standaard Engels, Nigeriaans Pidgin (Naija) en Yoruba-geïnfecteerd Engels (60 totale queries).
  • Maten: Diagnostische nauwkeurigheid en taaloverstijgende consistentie (overeenstemming met de voorspelling in Standaard Engels).
  • Inferentie: Lokale uitvoering via Ollama API met temperatuur ingesteld op 0,0 voor reproduceerbaarheid.

Belangrijkste Resultaten

• Adversariële Ineenstorting: Het fijngefineerde DenseNet121-model behaalde een baseline-nauwkeurigheid van 89,3%. Onder een minimale verstoring van $\epsilon=0,021$ (2,1% per-pixel intensiteitsverandering, onwaarneembaar voor het menselijk oog), stortte de nauwkeurigheid in tot 62,0% (een daling van 27,3 procentpunten). Bij $\epsilon=0,300$ daalde de nauwkeurigheid tot 34,7%, niet te onderscheiden van willekeurige kans.

  • Invloed per Klasse: "Normale" patiënten leden de zwaarste degradatie, met een daling van 78,0% naar 42,0% nauwkeurigheid, wat leidde tot een hoog percentage vals-positieven (gezonde patiënten ten onrechte gediagnosticeerd met longontsteking).
  • Defensief Falen: Standaard verdedigingen slaagden er niet in de veiligheid te herstellen. Gaussische smoothing verlaagde de nauwkeurigheid verder tot 34,7% (slechter dan de onbeschermden baseline), terwijl Ensemble Voting slechts een gedeeltelijk herstel bereikte (72,7%), nog steeds 16,6 punten onder de schone baseline.

• Taalfragiliteit: Beide modellen vertoonden significante degradatie van de nauwkeurigheid wanneer de invoer afweek van Standaard Engels.

  • Llama3.1:8b: De nauwkeurigheid daalde van 80,0% (Engels) naar 65,0% (Pidgin) en 60,0% (Yoruba-Engels). De consistentie van de diagnose daalde tot 85% voor Pidgin.
  • NatLAS: Ondanks een hogere Engelse baseline-nauwkeurigheid (85,0%), vertoonde het een "Localisatieparadox", instortend tot 55,0% op Nigeriaans Pidgin (een daling van 30 punten). Cruciaal: de consistentie van de diagnose op Pidgin daalde tot 50%, wat betekent dat het model in de helft van de Pidgin-gevallen een andere diagnose stelde voor dezelfde patiënt dan bij zijn Engelse output.

Belangrijkste Bijdragen

1. Eerste Kwantitatieve Audit: Leverde de eerste kwantitatieve beoordeling van adversariële robuustheid voor DenseNet121 op COVID-19 borstfoto's binnen een Nigeriaanse klinische context.
2. Systematische Drift-evaluatie: Voerde een head-to-head evaluatie uit van diagnostische drift over drie Nigeriaanse taalregisters, waarbij bleek dat zelfs modellen ontworpen voor Afrikaanse contexten (NatLAS) ernstige fragiliteit vertonen in gemeenschapsniveau-dialecten.
3. Ondoeltreffendheid van Defensie: Empirisch aangetoond dat standaard defensieve strategieën (smoothing, ensembling) ontoereikend zijn om klinische veiligheid te herstellen onder deze specifieke adversariële en linguïstische omstandigheden.
4. Definitie van het Falingsomhulsel: Een kwantitatief "falingsomhulsel" voor klinische AI vastgesteld, waarbij $\epsilon=0,021$ wordt geïdentificeerd als een kritieke drempel waarbij de diagnostische betrouwbaarheid instort.

Betekenis en Claims
Het artikel betoogt dat huidige klinische AI-systemen mogelijk al opereren binnen hun "adversariële gevarenzone" vanwege routinematige digitale artefacten (compressie, transmissieruis) die aanvalsmagnitudes nabootsen. De bevindingen benadrukken een kritieke "algoritmische ongelijkheid" waarbij patiënten die communiceren in inheemse dialecten systematisch verschillende en minder nauwkeurige klinische beoordelingen ontvangen.

De auteurs concluderen dat veilige inzet in Afrikaanse PHC-omgevingen vereist:

• Verplichte Audit: De publicatie van "Adversariële Robuustheidskaarten" en "Taaloverstijgende Driftprofielen" voordat er inzet plaatsvindt.
• Architecturale Verharding: Een verschuiving van standaard architecturen naar adversariaal verharde ontwerpen.
• Linguïstische Inclusie: Training op gemeenschapsniveau Naija-corpora in plaats van alleen formele geschreven registers om de "Localisatieparadox" aan te pakken.

De studie dient als een oproep aan regelgevende kaders in Nigeria en Sub-Sahara Afrika om deze specifieke veiligheidsevaluaties verplicht te stellen, met de opmerking dat huidige standaarden (zoals de EU AI Act) nog niet zijn vertaald naar lokale regelgevende contexten.