Technische Samenvatting: SAMD – Een hulpmiddel voor het identificeren van scenario's voor valse data-injectie in AI/ML-gemoderniseerde medische apparaten

1. Probleemstelling

De integratie van Kunstmatige Intelligentie (AI) en Machine Learning (ML) in medische apparaten biedt aanzienlijke voordelen, zoals geautomatiseerde remote monitoring en verbeterde diagnostische mogelijkheden. Deze integratie introduceert echter kritieke veiligheidsrisico's, specifiek aanvallen met valse data-injectie tijdens de inferentiefase. In tegenstelling tot traditionele veiligheidskritieke domeinen (bijvoorbeeld automotive of industriële besturing), waar één fabrikant doorgaans de volledige systeemstack controleert, vertrouwen AI/ML-gemoderniseerde medische systemen vaak op heterogene, multi-vendor randapparatuur (bijvoorbeeld glucosemeters, camera's) die data aanvoeren naar een centraal ML-model.

De kernuitdaging is dat de uiteindelijke integratie van ML-software met deze randapparatuur vaak na de implementatie plaatsvindt door gebruikers of zorgverleners die geen expertise op het gebied van cyberveiligheid hebben. Bijgevolg kunnen kwetsbaarheden in randapparatuur (bijvoorbeeld communicatieprotocollen, firmware of besturingssystemen) worden uitgebuit om kwaadaardige data in te brengen, wat leidt tot onjuiste ML-voorspellingen, misdiagnoses en potentieel dodelijke behandelingsfouten. Bestaande veiligheidsinspanningen richten zich op het versterken van het ML-model zelf of het analyseren van de softwarestack, maar slechts weinigen adresseren het systemische risico van het exploiteren van bekende kwetsbaarheden in onderling verbonden randapparatuur om de ML-engine te compromitteren. Bovendien is de handmatige identificatie van deze aanvalspaden tussen componenten moeilijk vanwege de complexiteit van het aanvalsoppervlak en de beperkte expertise op het gebied van cyberveiligheid onder ML-ontwikkelaars in de medische sector.

2. Methodologie: SAMD

Om deze uitdagingen aan te pakken, introduceren de auteurs SAMD (STPA-Sec voor AI/ML-gemoderniseerde medische apparaten), een geautomatiseerd hulpmiddel dat is ontworpen om System Theoretic Process Analysis for Security (STPA-Sec) uit te voeren. SAMD modelleert het medische systeem als een besturingsstructuur en behandelt alle componenten als potentiële vectoren voor valse data-injectie. Het hulpmiddel automatiseert de ontdekking van kwetsbaarheden en de generatie van aanvalsscenario's via een workflow in drie fasen:

A. Technologie-identificatie

Deze module extrahet informatie over de technologieën die door systeemcomponenten (hardware, software en randapparatuur) worden gebruikt uit publiek beschikbare apparaatdocumentatie (bijvoorbeeld FDA-indieningen, gebruikershandleidingen).

• Techniek: Het maakt gebruik van een combinatie van Named Entity Recognition (NER)-modellen (GliNER en GPT-4o-gebaseerde NER) om specifieke technologische factoren te identificeren, zoals communicatieprotocollen, encryptiemethoden, firmware, besturingssystemen en externe bibliotheken.
• Mitigatie van Hallucinatie: Om nauwkeurigheid te waarborgen, voert de module exacte woordovereenkomstcontroles uit tegen de brondocumenten, voegt het uitvoer van beide NER-modellen samen en verwijdert het trefwoorden die niet expliciet in de documentatie voorkomen.

B. Kwetsbaarheidszoeker

Zodra technologieën zijn geïdentificeerd, queryt deze module de MITRE Common Vulnerability Enumeration (CVE)-database om de top-$N$ ( ingesteld op 10) meest recente CVE-recorden op te halen die aan die technologieën zijn gekoppeld.

• Relevantiefiltering: Een LLM wordt geprompt met de apparaatbeschrijving en de CVE-beschrijving om te bepalen of de kwetsbaarheid plausibel kan worden uitgebuit om data die door het ML-component wordt gebruikt, in te brengen, te wijzigen of te spoofen. De LLM krijgt de instructie om een strikte "JA" of "NEE" te outputten op basis van of de kwetsbaarheid data-manipulatie toestaat, waarbij die beperkt zijn tot informatieopenbaarmaking of Denial of Service (DoS) worden gefilterd.

C. Aanvalsscenario-generator

Deze module synthetiseert de gefilterde kwetsbaarheden, systeembesturingsstructuren en bekende adversarische stappen om gedetailleerde aanvalsscenario's te genereren.

• Prompt Engineering: De LLM krijgt de rol van een beveiligingsingenieur en krijgt een gestructureerde prompt met de systeembeschrijving, dataflow, de specifieke ML-techniek, de doelgerichte technologie en de CVE-details.
• Gestructureerde Output: Om variabiliteit en hallucinaties te verminderen, wordt de LLM beperkt tot het genereren van aanvalsstappen volgens een specifiek raamwerk van vijf fasen voor chain-of-thought:
  1. Verkenningsfase
  2. Toegang krijgen
  3. Privilege-escalatie
  4. Uitvoering van de aanval
  5. Impact
• Doel: De output beschrijft hoe een adversary een specifieke kwetsbaarheid in een randapparaat exploiteert om data die de ML-engine binnenkomt, te manipuleren, wat resulteert in specifieke gevolgen voor de patiëntveiligheid (bijvoorbeeld een onjuiste insulinedosis).

3. Belangrijkste Bijdragen

Het artikel schetst drie primaire bijdragen:

1. Ontwikkeling van SAMD: Het eerste geautomatiseerde hulpmiddel om STPA-Sec-analyse voor AI/ML-gemoderniseerde medische apparaten te ondersteunen. Het identificeert automatisch doelgerichte apparaattechnologieën, haalt gerelateerde kwetsbaarheden op uit publieke databases en genereert specifieke aanvalsscenario's met gedetailleerde uitvoeringsstappen.
2. Empirische Evaluatie: De auteurs hebben SAMD geïmplementeerd met behulp van drie state-of-the-art LLM's (GPT-4, GPT-4o en Llama 3) en dit toegepast op vijf real-world, door de FDA goedgekeurde medische apparaten uit diverse specialismen:
   • d-Nav: App voor aanbeveling van insulinedosis.
   • ABMD: Meting van botdichtheid vanuit CT-scans.
   • IDx-DR v2.3: Detectie van diabetische retinopathie vanuit retinale afbeeldingen.
   • KIDScore D3: Geautomatiseerde embryo-analyse voor IVF.
   • Oxehealth Vital Signs: Niet-invasieve meting van pols en ademhalingsfrequentie via video.
3. Rigoureuze Beoordeling: De prestaties van het hulpmiddel werden geëvalueerd via handmatige review en een "LLM-as-a-judge"-methode om de correctheid en relevantie van gegenereerde aanvalsstappen te beoordelen.

4. Experimentele Resultaten

De evaluatie van SAMD leverde de volgende kwantitatieve resultaten op:

• Technologie-identificatie: SAMD behaalde 100% precisie bij het identificeren van apparaattechnologieën die in de invoerdocumentatie worden genoemd. (Opmerking: Het hulpmiddel kan alleen technologieën identificeren die expliciet aanwezig zijn in de verstrekte documenten; vertrouwelijke fabrikantgegevens die niet in publieke documenten staan, werden niet geïdentificeerd, maar dit is een beperking van de invoer, niet van het hulpmiddel).
• Kwetsbaarheidsontdekking: SAMD haalde bekende kwetsbaarheden op die gekoppeld zijn aan de geïdentificeerde technologieën met 63,2% precisie. Van de 165 geëxtraheerde CVE's werden er 36 handmatig geverifieerd als echt exploiteerbaar voor valse data-injectie.
• Generatie van aanvalsscenario's: De gegenereerde aanvalsscenario's toonden 95,3% gemiddelde nauwkeurigheid (gemeten door twee onafhankelijke LLM-rechters, GPT-o3 en Gemini-2.5-Pro) wat betreft correctheid, detail en relevantie voor het systeem.
• LLM-prestaties: Van de geteste modellen presteerde GPT-4o consequent beter dan GPT-4 en Llama 3, en leverde de meest correcte stappen (96,2%), het hoogste detailniveau en de beste aanvullende inzichten met betrekking tot beveiligingsaanbevelingen en impact op de patiënt.
• Efficiëntie: SAMD verkleinde de analysetijd aanzienlijk. Voor een apparaat met 54 CVE's (22 relevant) werd handmatige analyse geschat op ongeveer 5,5 uur, terwijl SAMD de taak voltooide in ongeveer 3 minuten (de maximale runtime die werd waargenomen was 191,64 seconden voor IDx-DR v2.3).

5. Betekenis en Claims

De auteurs positioneren SAMD als een proactief beveiligingshulpmiddel voor de ontwerp- en post-implementatiefasen van de levenscyclus van medische apparaten.

• Voor fabrikanten: SAMD maakt het mogelijk om potentiële aanvalspaden en kwetsbare randapparatuur-technologieën te identificeren voordat commercialisatie plaatsvindt, wat toelaat om tegenmaatregelen te implementeren of adviezen uit te reiken aan eindgebruikers over veilige implementatieomgevingen.
• Voor beveiligingsanalisten: Het biedt een systematische methode om publiek beschikbare informatie over medische apparaten te analyseren om beveiligingsaanbevelingen te genereren en gevaren te identificeren die anders zouden kunnen worden over het hoofd gezien vanwege de complexiteit van multi-vendor systemen.
• Beperkingen en Bescheidenheid: Het artikel stelt expliciet dat SAMD bedoeld is om menselijke beveiligingsanalisten te ondersteunen, niet te vervangen. Vanwege de hoge veiligheidskritieke aard van de gezondheidszorg raden de auteurs een definitieve menselijke review van de gegenereerde scenario's aan. Zij erkennen dat de effectiviteit van het hulpmiddel begrensd is door de volledigheid van de invoerdocumentatie en de huidige capaciteiten van LLM's, hoewel zij opmerken dat de hallucinatiepercentages laag waren in de geteste modellen (specifiek GPT-4o).

Kortom, SAMD overbrugt de kloof tussen kwetsbaarheden in randapparatuur en de veiligheid van ML-modellen, en biedt een geautomatiseerde, gestructureerde aanpak om valse data-injectie-aanvallen in complexe, heterogene medische ecosystemen te anticiperen.