🤖 machine learning

Adversarial Fragility and Language Vulnerability in Clinical AI: A Systematic Audit of Diagnostic Collapse Under Imperceptible Perturbations and Cross-Lingual Drift in Low-Resource Healthcare Settings

Diese Studie führt eine systematische Prüfung klinischer KI-Systeme durch und zeigt auf, dass diese unter unmerklichen adversariellen Störungen und sprachübergreifenden Verschiebungen zu ressourcenarmen Sprachen wie nigerianischem Pidgin und Yoruba-infiziertem Englisch katastrophale Einbrüche der diagnostischen Genauigkeit erleiden, wodurch kritische Sicherheitslücken bei ihrem Einsatz in diversen, realen Gesundheitssystemen offengelegt werden.

Ursprüngliche Autoren: Anthonio Oladimeji Gabriel, Ahmad Rufai Yusuf

Veröffentlicht 2026-05-19

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Anthonio Oladimeji Gabriel, Ahmad Rufai Yusuf

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen superintelligenten medizinischen Roboterarzt gebaut. Dieser Roboter ist darauf trainiert, Röntgenbilder zu betrachten und Patient:innenbeschreibungen zu hören, um festzustellen, ob jemand COVID-19 hat, eine gewöhnliche Lungenentzündung oder völlig gesund ist. Im Labor ist dieser Roboter ein Genie und stellt die Diagnose in fast 90 % der Fälle richtig.

Dieser Studie liegt jedoch eine beunruhigende Frage zugrunde: Was passiert, wenn wir den Roboter mit winzigen, unsichtbaren Störungen täuschen oder wenn die Patient:innen statt perfektem Schulenglisch einen lokalen Dialekt sprechen?

Die Forscher:innen stellten fest, dass dieser „superintelligente" Roboter in der realen Welt – konkret in Kliniken in Nigeria – tatsächlich ziemlich zerbrechlich ist. Hier ist eine Aufschlüsselung ihrer Erkenntnisse unter Verwendung einfacher Analogien.

1. Der unsichtbare „Glitch"-Angriff (Adversarial Fragility)

Die Analogie: Stellen Sie sich einen Sicherheitsbeamten vor, der hervorragend darin ist, eine bestimmte Art von gefälschtem Ausweis zu erkennen. Wenn jedoch jemand einen winzigen, unsichtbaren Staubfleck auf den Ausweis setzt – so klein, dass das menschliche Auge ihn nicht sehen kann –, hält der Wächter plötzlich den gefälschten Ausweis für echt oder umgekehrt.

Was die Studie herausfand:

Das Setup: Die Forscher:innen testeten die Fähigkeit des Roboters, Röntgenbilder zu lesen (unter Verwendung eines Modells namens DenseNet121), an 150 Thorax-Röntgenaufnahmen.
Der Trick: Sie fügten den Bildern einen mathematischen „Glitch" hinzu. Dieser Glitch war so klein (eine Änderung der Pixel-Farbe um lediglich 2,1 %), dass ein menschlicher Arzt, der das Röntgenbild betrachtet, absolut keinen Unterschied sehen würde.
Das Ergebnis: Sobald der Roboter diesen unsichtbaren Glitch sah, brach seine Intelligenz zusammen. Seine Treffergenauigkeit sank von 89 % auf 62 %.
Die Gefahr: Der Roboter begann, gefährliche Fehler zu machen. Er sagte gesunden Menschen, dass sie krank seien (falsche Alarme), und sagte kranken Menschen, dass es ihnen gut gehe (übersehene Diagnosen).
Das Scheitern des „Pflasters": Die Forscher:innen versuchten, dies zu beheben, indem sie die Bilder unscharf machten (wie einen Fingerabdruck verwischen) oder fünf verschiedene Roboter um eine Abstimmung über die Antwort baten. Es funktionierte nicht. Tatsächlich machte das Unschärfemachen der Bilder den Roboter noch dümmer, da es die winzigen Details verwischte, die der Roboter sehen musste.

2. Das Problem der „Sprachbarriere" (Cross-Lingual Drift)

Die Analogie: Stellen Sie sich einen Übersetzer vor, der perfektes, formales Englisch spricht. Wenn Sie ihn auf eine strenge, formale Weise fragen, übersetzt er es perfekt. Wenn Sie dieselbe Frage jedoch mit lokalem Slang, Straßenjargon oder einer Mischung aus Sprachen stellen (wie nigerianisches Pidgin oder Yoruba-infiziertes Englisch), gerät der Übersetzer in Verwirrung und beginnt zu raten.

Was die Studie herausfand:

Das Setup: Sie gaben dem Roboter zwei verschiedene „Gehirne" (KI-Modelle: Llama3.1 und NatLAS) 20 Patientengeschichten zur Diagnose. Sie erzählten die Geschichten auf drei Arten:
1. Standard-Englisch (Formal).
2. Nigerianisches Pidgin (Lokaler Straßenjargon).
3. Yoruba-infiziertes Englisch (Eine Mischung aus lokalem Akzent und Englisch).
Das Ergebnis:
- Der allgemeine Roboter (Llama3.1): Machte es im formellen Englisch gut (80 % richtig), fiel aber auf 65 % ab, wenn die Patient:innen Pidgin sprachen.
- Der „lokale" Roboter (NatLAS): Dies war die Überraschung. Dieser Roboter wurde speziell entwickelt, um afrikanische Sprachen zu verstehen. Er leistete im formellen Englisch Großartiges (85 % richtig). Allerdings sank seine Treffergenauigkeit, wenn Patient:innen Pidgin sprachen, auf 55 %.
Das „Paradoxon": Der für Afrika gebaute Roboter war tatsächlich schlechter darin, lokalen Straßenjargon zu verstehen, als der allgemeine Roboter.
Die Konsequenz: Wenn eine Patient:in Pidgin sprach, gab der lokale Roboter eine völlig andere Diagnose ab als bei englischsprachigen Patient:innen. In 1 von 2 Pidgin-Fällen änderte der Roboter seine Meinung nur aufgrund der verwendeten Sprache.

3. Warum dies für echte Kliniken wichtig ist

Die Studie argumentiert, dass diese Roboter derzeit in „sauberen" Laboren getestet werden (perfektes Englisch, perfekte Bilder), aber in „unordentlichen" realen Kliniken arbeiten sollen (wo Menschen lokale Dialekte sprechen und digitale Bilder möglicherweise Kompressionsartefakte aufweisen).

Die „Fehlerhülle": Die Forscher:innen stellten fest, dass die Roboter unter Bedingungen versagen, die im echten Leben tatsächlich sehr häufig sind (wie kleine Bild-Glitches oder lokale Akzente).
Kein Sicherheitsnetz: Die üblichen Tricks, um KI sicherer zu machen (wie das Unschärfemachen von Bildern oder Abstimmungen), beheben diese spezifischen Probleme nicht.
Der Aufruf zum Handeln: Die Autor:innen sagen, wir können diesen medizinischen Robotern in Orten wie Nigeria nicht vertrauen, bis wir:
1. Sie gegen diese „unsichtbaren Glitches" testen und die Ergebnisse veröffentlichen.
2. Sie mit echten lokalen Sprachen (wie Pidgin) testen, nicht nur mit formellem Englisch.
3. Neue Roboter bauen, die robust genug sind, um diese reale Unordnung zu bewältigen, ohne zu zerbrechen.

Kurz gesagt: Die Studie zeigt, dass unsere aktuelle medizinische KI wie ein Rennwagen ist, der auf einer glatten Strecke perfekt funktioniert, aber sofort in sich zusammenfällt, sobald er über ein Schlagloch fährt oder von einem lokalen Taxifahrer gelenkt wird. Wir müssen das Auto reparieren, bevor wir es auf die echten Straßen lassen.

Technisches Fazit: Adversarische Fragilität und Sprachverwundbarkeit in klinischer KI

Problemstellung
Aktuelle klinische Künstliche-Intelligenz-Systeme (KI) werden überwiegend an sauberen, standardisierten, englischsprachigen Datensätzen evaluiert, was einen „Fragilitätsbereich" schafft, der die Realitäten der Gesundheitsversorgung in ressourcenarmen Settings, insbesondere in Subsahara-Afrika, nicht widerspiegelt. Diese Studie identifiziert zwei orthogonale Sicherheitsverwundbarkeiten, die den Einsatz von KI in primären Gesundheitszentren (PHCs) in Nigeria bedrohen:

Adversarische Bildfragilität: Die Anfälligkeit von Deep-Learning-Modellen für unmerkliche Perturbationen, die zu einem diagnostischen Kollaps führen.
Sprachübergreifender diagnostischer Drift: Die Verschlechterung des Schlussfolgerns von Large Language Models (LLMs), wenn Patienten in lokalen Dialekten (nigerianisches Pidgin/Naija) oder yoruba-geprägtem Englisch statt in Standard-Amerikanisch-Englisch (SAE) vorstellig werden.

Methodik
Die Studie führte eine systematische Dual-Auditierung unter Verwendung zweier unterschiedlicher experimenteller Tracks durch:

Track 1: Adversarische Robustheit (Bildanalyse)
- Architektur: DenseNet121 (das Rückgrat von CheXNet), feinabgestimmt auf den COVID-QU-Ex-Datensatz (85.318 Bilder).
- Datensatz: Ein geschichteter Testdatensatz mit 150 Bildern (50 pro Klasse: COVID-19, Nicht-COVID-Pneumonie, Normal).
- Angriffsvektor: Fast Gradient Method (FGM) angewendet über 15 Epsilon-Level ( $\epsilon$ ) von 0 bis 0,3.
- Stresstest für Gegenmaßnahmen: Evaluierung dreier defensiver Strategien an der kritischen Schwelle von $\epsilon=0,021$ : Gaußsche Glättung ( $\sigma=1,0$ ), Ensemble-Voting (via geometrischer Augmentierungen) und Mini-Adversarial Training.
- Umgebung: Experimente auf Apple Silicon MPS-Beschleunigung ausgeführt; Modelle in der Adversarial Robustness Toolbox (ART) gekapselt.
Track 2: Sprachfragilität (LLM-Analyse)
- Modelle: Vergleich eines allgemeinen Modells (Llama3.1:8b) mit einem afrika-kontextuellen Modell (NatLAS/N-ATLAS).
- Datensatz: 20 verfasste klinische Fallvignetten, die dieselben drei diagnostischen Klassen abdecken, präsentiert in drei Registern: Standardenglisch, nigerianisches Pidgin (Naija) und yoruba-geprägtes Englisch (insgesamt 60 Abfragen).
- Metriken: Diagnostische Genauigkeit und sprachübergreifende Konsistenz (Übereinstimmung mit der Vorhersage im Standardenglisch).
- Inferenz: Lokale Ausführung über die Ollama-API mit auf 0,0 gesetzter Temperatur zur Reproduzierbarkeit.

Hauptergebnisse

Adversarischer Kollaps: Das feinabgestimmte DenseNet121-Modell erreichte eine Basisgenauigkeit von 89,3 %. Unter einer minimalen Perturbation von $\epsilon=0,021$ (2,1 % Intensitätsänderung pro Pixel, für das menschliche Auge unmerklich) kollabierte die Genauigkeit auf 62,0 % (ein Abfall von 27,3 Prozentpunkten). Bei $\epsilon=0,300$ fiel die Genauigkeit auf 34,7 %, was nicht von einem Zufallsergebnis zu unterscheiden ist.
- Auswirkung pro Klasse: „Normale" Patienten erlitten die schwerwiegendste Verschlechterung, wobei die Genauigkeit von 78,0 % auf 42,0 % sank, was zu einer hohen Rate an falsch-positiven Ergebnissen führte (gesunde Patienten wurden fälschlicherweise mit einer Pneumonie diagnostiziert).
- Versagen der Verteidigung: Standardverteidigungen konnten die Sicherheit nicht wiederherstellen. Die Gaußsche Glättung reduzierte die Genauigkeit weiter auf 34,7 % (schlechter als die ungeschützte Basislinie), während das Ensemble-Voting nur eine teilweise Erholung (72,7 %) erreichte und damit 16,6 Punkte unter der sauberen Basislinie blieb.
Sprachfragilität: Beide Modelle zeigten eine signifikante Verschlechterung der Genauigkeit, wenn die Eingaben vom Standardenglisch abwichen.
- Llama3.1:8b: Die Genauigkeit sank von 80,0 % (Englisch) auf 65,0 % (Pidgin) und 60,0 % (Yoruba-Englisch). Die Diagnosekonsistenz fiel für Pidgin auf 85 %.
- NatLAS: Trotz einer höheren Basisgenauigkeit im Englischen (85,0 %) zeigte es ein „Lokalisierungs-Paradoxon" und kollabierte auf 55,0 % bei nigerianischem Pidgin (ein Abfall von 30 Punkten). Entscheidend fiel die Diagnosekonsistenz bei Pidgin auf 50 %, was bedeutet, dass das Modell in der Hälfte der Pidgin-Fälle eine andere Diagnose stellte als bei seiner englischen Ausgabe für denselben Patienten.

Hauptbeiträge

Erste quantitative Auditierung: Bereitstellung der ersten quantitativen Bewertung der adversarischen Robustheit von DenseNet121 bei COVID-19-Thorax-Röntgenaufnahmen im nigerianischen klinischen Kontext.
Systematische Drift-Evaluierung: Durchführung eines direkten Vergleichs des diagnostischen Drifts über drei nigerianische Sprachregister hinweg, wobei sich zeigte, dass selbst für afrikanische Kontexte entwickelte Modelle (NatLAS) eine schwere Fragilität in gemeindebasierten Dialekten aufweisen.
Ineffektivität der Verteidigung: Empirischer Nachweis, dass Standardverteidigungsstrategien (Glättung, Ensembling) unter diesen spezifischen adversarischen und linguistischen Bedingungen nicht ausreichen, um die klinische Sicherheit wiederherzustellen.
Definition des Versagensbereichs: Etablierung eines quantitativen „Versagensbereichs" für klinische KI, wobei $\epsilon=0,021$ als kritische Schwelle identifiziert wurde, bei der die diagnostische Zuverlässigkeit kollabiert.

Bedeutung und Behauptungen
Die Arbeit argumentiert, dass aktuelle klinische KI-Systeme aufgrund routinemäßiger digitaler Artefakte (Komprimierung, Übertragungsrauschen), die Angriffsstärken nachahmen, möglicherweise bereits in ihrer „adversarischen Gefahrenzone" operieren. Die Ergebnisse unterstreichen eine kritische „algorithmische Ungleichheit", bei der Patienten, die in Muttersprachdialekten kommunizieren, systematisch unterschiedliche und weniger genaue klinische Bewertungen erhalten.

Die Autoren schließen, dass ein sicherer Einsatz in afrikanischen PHC-Umgebungen Folgendes erfordert:

Obligatorische Auditierung: Die Veröffentlichung von „Adversarial Robustness Maps" und „Cross-Lingual Drift Profiles" vor dem Einsatz.
Architektonische Härtung: Ein Wechsel von Standardarchitekturen hin zu adversarisch gehärteten Designs.
Sprachliche Inklusion: Training an gemeindebasierten Naija-Korpora statt nur an formellen geschriebenen Registern, um das „Lokalisierungs-Paradoxon" zu adressieren.

Die Studie dient als Aufruf an regulatorische Rahmenwerke in Nigeria und Subsahara-Afrika, diese spezifischen Sicherheitsbewertungen zu verpflichtend zu machen, wobei angemerkt wird, dass aktuelle Standards (wie der EU-KI-Akt) noch nicht in lokale regulatorische Kontexte übersetzt wurden.

1. Der unsichtbare „Glitch"-Angriff (Adversarial Fragility)

2. Das Problem der „Sprachbarriere" (Cross-Lingual Drift)

3. Warum dies für echte Kliniken wichtig ist

Technisches Fazit: Adversarische Fragilität und Sprachverwundbarkeit in klinischer KI

Mehr davon