💻 computer science

SAMD: A Tool for Identifying False Data Injection Scenarios in AI/ML-enabled Medical Devices

Das Papier stellt SAMD vor, ein automatisiertes Werkzeug, das Large Language Models und Schwachstellen-Datenbanken nutzt, um im Designprozess eine STPA-Sec-Analyse für KI/ML-fähige medizinische Geräte durchzuführen, wodurch Risiken durch falsche Dateninjektion effektiv identifiziert und relevante Angriffsszenarien mit hoher Präzision und Genauigkeit generiert werden.

Ursprüngliche Autoren: Mohammadreza Hallajiyan, Xueren Ge, Athish Pranav Dharmalingam, Gargi Mitra, Shahrear Iqbal, Homa Alemzadeh, Karthik Pattabiraman

Veröffentlicht 2026-05-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Mohammadreza Hallajiyan, Xueren Ge, Athish Pranav Dharmalingam, Gargi Mitra, Shahrear Iqbal, Homa Alemzadeh, Karthik Pattabiraman

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein modernes medizinisches Gerät, wie eine intelligente Insulinpumpe oder eine Kamera, die Augenerkrankungen diagnostiziert, als einen hochqualifizierten, aber leicht naiven Koch vor. Dieser Koch (die KI) ist brillant darin, Gerichte zuzubereiten (medizinische Entscheidungen zu treffen), basierend auf den Zutaten (Patientendaten), die ihm übergeben werden.

Allerdings gibt es ein Problem: Die Zutaten stammen nicht von einer einzigen, sicheren Farm. Sie kommen von vielen verschiedenen Quellen – Bluetooth-Glukosemessgeräten, Wi-Fi-vernetzten Smartphones, Cloud-Servern und diversen Kameras. Einige dieser Lieferwagen (periphere Geräte) sind alt, einige haben defekte Schlösser, und einige lassen sich leicht von einem cleveren Dieb täuschen.

Wenn ein Bösewicht sich einschleicht und eine frische Tomate gegen eine verdorbene austauscht (falsche Daten injiziert), könnte der Koch ein giftiges Mahl zubereiten, was zu einer falschen Diagnose oder einer gefährlichen Behandlung führt. Der beängstigende Teil? Der Koch weiß nicht, dass die Tomate verdorben ist; er vertraut einfach dem Lieferwagen.

Das Problem: Zu viele bewegliche Teile

In der Vergangenheit, wenn Sie ein Auto kauften, baute ein Unternehmen sowohl den Motor als auch die Bremsen, sodass sie wussten, wie man es sicher hält. Bei KI-gestützten medizinischen Geräten wird der „Koch" (die KI-Software) jedoch oft von einem Unternehmen entwickelt, während die „Lieferwagen" (Sensoren, Kameras, Smartphones) von Dutzenden verschiedener Unternehmen hergestellt werden.

Wenn ein Patient oder ein Krankenhaus das System einrichtet, verbinden sie möglicherweise eine Kamera von Marke A mit einem Smartphone von Marke B. Der KI-Entwickler hat diese spezifischen Lieferwagen zuvor nie gesehen. Wenn die Kamera von Marke A eine bekannte Sicherheitslücke (eine Schwachstelle) aufweist, könnte die KI mit falschen Daten versorgt werden, was zu einem lebensbedrohlichen Fehler führt. Es ist für den KI-Entwickler unglaublich schwierig, jede mögliche Art vorherzusagen, wie ein Bösewicht mit diesen vielen verschiedenen Teilen spielen könnte.

Die Lösung: SAMD (Der Sicherheitsdetektiv)

Die Studie stellt ein neues Werkzeug namens SAMD vor. Denken Sie an SAMD als einen superkräftigen Sicherheitsdetektiv, der für die Hersteller medizinischer Geräte arbeitet, bevor das Gerät überhaupt an einen Patienten verkauft wird.

SAMD rät nicht einfach; es folgt einem strengen, logischen Rezept (genannt STPA-Sec), um genau herauszufinden, wie ein Dieb eindringen könnte. So funktioniert es, Schritt für Schritt:

Der Technologie-Scanner (Der Bibliothekar):
SAMD liest die Bedienungsanleitung und Benutzerhandbücher des Geräts. Es agiert wie ein Bibliothekar, der ein Buch sofort durchsucht und jeden Hinweis auf spezifische Technologien (wie „Bluetooth", „Wi-Fi" oder „Linux") herauszieht. Es erstellt eine Liste jedes einzelnen „Lieferwagens", mit dem die KI jemals kommunizieren könnte.
Der Schwachstellenfinder (Der Bug-Jäger):
Sobald es die Liste der Technologien hat, geht SAMD in eine riesige, öffentliche Datenbank bekannter Softwarefehler (die CVE-Datenbank). Es fragt: „Beeinträchtigt irgendeiner dieser Fehler den Bluetooth- oder Wi-Fi-Bereich, den wir gerade gefunden haben?"
Es ruft die 10 neuesten Fehler für jede Technologie auf. Dann verwendet es eine intelligente KI (ein Large Language Model) als Filter. Es fragt die KI: „Könnte ein Hacker diesen spezifischen Fehler nutzen, um die Zutaten (Daten) auszutauschen, bevor sie den Koch erreichen?" Wenn die Antwort „Nein, dieser Fehler stiehlt nur Passwörter" lautet, wird er verworfen. Wenn die Antwort „Ja, dieser Fehler ermöglicht ihnen, die Daten zu ändern" lautet, wird er behalten.
Der Angriffsszenario-Generator (Der Geschichtenerzähler):
Dies ist der kreativste Teil. Für jeden Fehler, der den Filter bestanden hat, bittet SAMD die KI, eine Schritt-für-Schritt-Geschichte eines Raubzugs zu schreiben.
- Schritt 1 (Aufklärung): Wie findet der Dieb das System?
- Schritt 2 (Zugang erlangen): Wie gelangen sie hinein?
- Schritt 3 (Privilegienausweitung): Wie bekommen sie die Schlüssel zur Küche?
- Schritt 4 (Angriffsausführung): Wie tauschen sie die Zutaten aus?
- Schritt 5 (Auswirkung): Was passiert mit dem Patienten?
Die KI schreibt diese Geschichten in einer sehr strukturierten Weise, stellt sicher, dass sie realistisch und detailliert sind und nicht nur erfundener Unsinn.

Wie gut funktioniert es?

Die Forscher testeten SAMD an fünf realen medizinischen Geräten, die von der FDA zugelassen wurden (wie eine App zur Insulin-Dosierung und eine Kamera für Augenerkrankungen).

Erkennen der Technologie: SAMD fand 100 % der in den Handbüchern erwähnten Technologien.
Finden der Fehler: Es fand erfolgreich bekannte Sicherheitslücken, die mit diesen Technologien verknüpft waren. Etwa 63 % der gemeldeten Fehler waren tatsächlich relevant für Datenmanipulation (der Rest war irrelevant, wie Fehler, die das System nur verlangsamen).
Schreiben der Geschichten: Als es die „Raubzug-Geschichten" (Angriffsszenarien) generierte, lag es bei 95,3 % Genauigkeit. Die Geschichten waren detailliert genug, um genau zu zeigen, wie ein Hacker die KI täuschen könnte und welche Konsequenzen dies für den Patienten hätte.
Geschwindigkeit: Es war unglaublich schnell. Während ein menschlicher Experte Stunden benötigen könnte, um ein Gerät zu analysieren, erledigte SAMD dies in Minuten (der längste Test dauerte etwa 3 Minuten).

Wer profitiert?

Gerätehersteller: Sie können SAMD während der Designphase nutzen, um zu sehen, wo ihr System schwach ist, bevor sie es bauen. Sie können die Löcher reparieren oder Krankenhäusern sagen: „Verwenden Sie keine Kamera von Marke X mit unserem Gerät, da sie unsicher ist."
Sicherheitsexperten: Unabhängige Analysten können das Werkzeug nutzen, um Geräte zu überprüfen und Berichte darüber zu veröffentlichen, wie man sie sicher hält.

Das Fazit

SAMD ist wie ein Sicherheitssimulator für medizinische KI. Es ersetzt keine menschlichen Experten, aber es gibt ihnen einen massiven Vorsprung. Es nimmt das komplexe, verwirrende Netzwerk vernetzter medizinischer Geräte und verwandelt es in eine klare Liste von „Wenn ein Hacker X versucht, kann er Y tun". Dies hilft sicherzustellen, dass der „Koch" in der Krankenhausküche frische, sichere Zutaten erhält und Patienten vor gefährlichen Fehlern bewahrt werden.

Technische Zusammenfassung: SAMD – Ein Werkzeug zur Identifizierung von Szenarien für Falschdaten-Injektion in KI/ML-fähigen Medizinprodukten

1. Problemstellung

Die Integration von Künstlicher Intelligenz (KI) und Machine Learning (ML) in Medizinprodukte bietet erhebliche Vorteile, wie etwa die automatisierte Fernüberwachung und verbesserte Diagnosefähigkeiten. Diese Integration führt jedoch zu kritischen Sicherheitsrisiken, insbesondere zu Angriffen durch Falschdaten-Injektion während der Inferenzphase. Im Gegensatz zu traditionellen sicherheitskritischen Domänen (z. B. Automobil oder industrielle Steuerung), bei denen ein einzelner Hersteller typischerweise den gesamten Systemstack kontrolliert, verlassen sich KI/ML-fähige Medizinsysteme oft auf heterogene, multi-herstellerseitige Peripheriegeräte (z. B. Glukosemessgeräte, Kameras), die Daten in ein zentrales ML-Modell einspeisen.

Die Kernherausforderung besteht darin, dass die finale Integration von ML-Software mit diesen Peripheriegeräten häufig nach der Bereitstellung durch Benutzer oder Gesundheitsdienstleister erfolgt, die über keine Cybersicherheitskenntnisse verfügen. Folglich können Schwachstellen in Peripheriegeräten (z. B. Kommunikationsprotokolle, Firmware oder Betriebssysteme) ausgenutzt werden, um bösartige Daten einzuspeisen, was zu falschen ML-Vorhersagen, Fehldiagnosen und potenziell tödlichen Behandlungsfehlern führt. Bestehende Sicherheitsbemühungen konzentrieren sich auf die Härtung des ML-Modells selbst oder die Analyse des Softwarestacks, aber nur wenige befassen sich mit dem systemischen Risiko der Ausnutzung bekannter Schwachstellen in vernetzten Peripheriegeräten zur Kompromittierung der ML-Engine. Darüber hinaus ist die manuelle Identifizierung dieser angreifbaren Pfade über Komponenten hinweg aufgrund der Komplexität der Angriffsfläche und der begrenzten Cybersicherheitskenntnisse unter ML-Entwicklern im medizinischen Bereich schwierig.

2. Methodik: SAMD

Um diese Herausforderungen zu bewältigen, stellen die Autoren SAMD (STPA-Sec für KI/ML-fähige Medizinprodukte) vor, ein automatisiertes Werkzeug, das zur Durchführung einer System-Theoretischen Prozessanalyse für Sicherheit (STPA-Sec) entwickelt wurde. SAMD modelliert das Medizinsystem als Steuerungsstruktur und behandelt alle Komponenten als potenzielle Vektoren für Falschdaten-Injektion. Das Werkzeug automatisiert die Entdeckung von Schwachstellen und die Generierung von Angriffsszenarien durch einen dreistufigen Arbeitsablauf:

A. Technologie-Identifikator

Dieses Modul extrahiert Informationen über die von Systemkomponenten (Hardware, Software und Peripheriegeräte) verwendeten Technologien aus öffentlich verfügbaren Gerätedokumentationen (z. B. FDA-Einreichungen, Benutzerhandbücher).

Technik: Es verwendet eine Kombination aus Named Entity Recognition (NER)-Modellen (GliNER und GPT-4o-basierte NER), um spezifische Technologiefaktoren wie Kommunikationsprotokolle, Verschlüsselungsmethoden, Firmware, Betriebssysteme und externe Bibliotheken zu identifizieren.
Halluzinationsminderung: Um die Genauigkeit sicherzustellen, führt das Modul exakte Wortabgleichsprüfungen gegen die Quelldokumente durch, verschmilzt die Ausgaben beider NER-Modelle und entfernt alle Schlüsselwörter, die nicht ausdrücklich in der Dokumentation enthalten sind.

B. Schwachstellenfinder

Sobald Technologien identifiziert wurden, fragt dieses Modul die MITRE Common Vulnerability Enumeration (CVE)-Datenbank ab, um die Top- $N$ (auf 10 gesetzt) neuesten CVE-Einträge abzurufen, die mit diesen Technologien verknüpft sind.

Relevanzfilterung: Ein LLM wird mit der Gerätebeschreibung und der CVE-Beschreibung aufgefordert zu bestimmen, ob die Schwachstelle plausibel ausgenutzt werden könnte, um Daten einzuspeisen, zu modifizieren oder zu fälschen, die von der ML-Komponente verwendet werden. Der LLM wird angewiesen, basierend darauf, ob die Schwachstelle Datenmanipulationen ermöglicht, eine strikte „JA"- oder „NEIN"-Ausgabe zu generieren und diejenigen herauszufiltern, die auf Informationspreisgabe oder Denial-of-Service (DoS) beschränkt sind.

C. Angriffsszenario-Generator

Dieses Modul synthetisiert die gefilterten Schwachstellen, Systemsteuerungsstrukturen und bekannte adversarische Schritte, um detaillierte Angriffsszenarien zu generieren.

Prompt-Engineering: Der LLM erhält die Rolle eines Sicherheitsingenieurs und wird mit einem strukturierten Prompt versorgt, der die Systembeschreibung, den Datenfluss, die spezifische ML-Technik, die Zieltechnologie und die CVE-Details enthält.
Strukturierte Ausgabe: Um Variabilität und Halluzinationen zu reduzieren, wird der LLM darauf beschränkt, Angriffsschritte gemäß einem spezifischen Fünf-Stufen-Chain-of-Thought-Rahmenwerk zu generieren:
1. Aufklärung
2. Zugang erlangen
3. Privilegienausweitung
4. Angriffsausführung
5. Auswirkung
Ziel: Die Ausgabe beschreibt detailliert, wie ein Angreifer eine spezifische Schwachstelle in einem Peripheriegerät ausnutzt, um in die ML-Engine eintretende Daten zu manipulieren, was zu spezifischen Auswirkungen auf die Patientensicherheit führt (z. B. falsche Insulindosierung).

3. Hauptbeiträge

Die Arbeit umreißt drei primäre Beiträge:

Entwicklung von SAMD: Das erste automatisierte Werkzeug zur Unterstützung der STPA-Sec-Analyse für KI/ML-fähige Medizinprodukte. Es identifiziert automatisch Zielgerätechnologien, ruft zugehörige Schwachstellen aus öffentlichen Datenbanken ab und generiert spezifische Angriffsszenarien mit detaillierten Ausführungsschritten.
Empirische Evaluation: Die Autoren implementierten SAMD unter Verwendung von drei state-of-the-art LLMs (GPT-4, GPT-4o und Llama 3) und wandten es auf fünf reale, von der FDA zugelassene Medizinprodukte aus verschiedenen Fachbereichen an:
- d-Nav: Insulindosis-Empfehlungs-App.
- ABMD: Messung der Knochendichte aus CT-Scans.
- IDx-DR v2.3: Detektion diabetischer Retinopathie aus Netzhautbildern.
- KIDScore D3: Automatisierte Embryonenanalyse für IVF.
- Oxehealth Vital Signs: Nicht-invasive Messung von Puls und Atemfrequenz via Video.
Strenge Bewertung: Die Leistung des Werkzeugs wurde durch manuelle Überprüfung und eine „LLM-as-a-judge"-Methode bewertet, um die Korrektheit und Relevanz der generierten Angriffsschritte zu beurteilen.

4. Experimentelle Ergebnisse

Die Evaluation von SAMD ergab folgende quantitative Ergebnisse:

Technologie-Identifikation: SAMD erreichte eine Präzision von 100 % bei der Identifizierung von Gerätechnologien, die in den Eingabedokumenten erwähnt wurden. (Hinweis: Das Werkzeug kann nur Technologien identifizieren, die ausdrücklich in den bereitgestellten Dokumenten enthalten sind; vertrauliche Herstellerdaten, die nicht in öffentlichen Dokumenten stehen, wurden nicht identifiziert, dies ist jedoch eine Einschränkung der Eingabe und nicht des Werkzeugs).
Schwachstellenentdeckung: SAMD rief bekannte Schwachstellen ab, die mit den identifizierten Technologien verknüpft sind, mit einer Präzision von 63,2 %. Von 165 extrahierten CVEs wurden 36 manuell verifiziert als tatsächlich ausnutzbar für Falschdaten-Injektion.
Generierung von Angriffsszenarien: Die generierten Angriffsszenarien zeigten eine durchschnittliche Genauigkeit von 95,3 % (gemessen durch zwei unabhängige LLM-Richter, GPT-o3 und Gemini-2.5-Pro) hinsichtlich Korrektheit, Detailgrad und Relevanz für das System.
LLM-Leistung: Unter den getesteten Modellen schnitt GPT-4o konsistent besser ab als GPT-4 und Llama 3 und lieferte die korrektesten Schritte (96,2 %), den höchsten Detailgrad und die besten zusätzlichen Erkenntnisse in Bezug auf Sicherheitsempfehlungen und Patientenauswirkungen.
Effizienz: SAMD reduzierte die Analysezeit erheblich. Für ein Gerät mit 54 CVEs (22 relevant) wurde die manuelle Analyse auf ca. 5,5 Stunden geschätzt, während SAMD die Aufgabe in ungefähr 3 Minuten abschloss (die maximale beobachtete Laufzeit betrug 191,64 s für IDx-DR v2.3).

5. Bedeutung und Behauptungen

Die Autoren positionieren SAMD als proaktives Sicherheitswerkzeug für die Design- und Nachbereitungsphasen des Lebenszyklus von Medizinprodukten.

Für Hersteller: SAMD ermöglicht die Identifizierung potenzieller Angriffswege und anfälliger Peripherietechnologien vor der Kommerzialisierung, was die Implementierung von Gegenmaßnahmen oder die Erlassung von Hinweisen für Endbenutzer bezüglich sicherer Bereitstellungsumgebungen ermöglicht.
Für Sicherheitsanalysten: Es bietet eine systematische Methode, um öffentlich verfügbare Informationen über Medizinprodukte zu analysieren, um Sicherheitsempfehlungen zu generieren und Gefahren zu identifizieren, die aufgrund der Komplexität von Multi-Hersteller-Systemen sonst übersehen werden könnten.
Einschränkungen und Bescheidenheit: Die Arbeit stellt ausdrücklich fest, dass SAMD dazu gedacht ist, menschliche Sicherheitsanalysten zu unterstützen, nicht zu ersetzen. Aufgrund der hohen Sicherheitskritikalität im Gesundheitswesen empfehlen die Autoren eine abschließende menschliche Überprüfung der generierten Szenarien. Sie erkennen an, dass die Wirksamkeit des Werkzeugs durch die Vollständigkeit der Eingabedokumentation und die aktuellen Fähigkeiten von LLMs begrenzt ist, obwohl sie feststellen, dass die Halluzinationsraten in den getesteten Modellen (insbesondere GPT-4o) gering waren.

Zusammenfassend schließt SAMD die Lücke zwischen Schwachstellen in Peripheriegeräten und der Sicherheit von ML-Modellen und bietet einen automatisierten, strukturierten Ansatz zur Vorhersage von Angriffen durch Falschdaten-Injektion in komplexen, heterogenen medizinischen Ökosystemen.