Riepilogo Tecnico: SAMD – Uno Strumento per Identificare Scenari di Iniezione di Dati Falsi in Dispositivi Medici Abilitati all'IA/ML

1. Enunciato del Problema

L'integrazione dell'Intelligenza Artificiale (IA) e dell'Apprendimento Automatico (ML) nei dispositivi medici offre benefici significativi, come il monitoraggio remoto automatizzato e capacità diagnostiche potenziate. Tuttavia, tale integrazione introduce rischi critici per la sicurezza, in particolare attacchi di iniezione di dati falsi durante la fase di inferenza. A differenza dei domini tradizionali critici per la sicurezza (ad esempio, automobilistico o controllo industriale), dove un singolo produttore controlla tipicamente l'intera pila del sistema, i sistemi medici abilitati all'IA/ML spesso dipendono da dispositivi periferici eterogenei e multi-fornitore (ad esempio, glucometri, fotocamere) che inviano dati a un modello ML centrale.

La sfida fondamentale è che l'integrazione finale del software ML con queste periferiche avviene spesso post-distribuzione da parte di utenti o fornitori di assistenza sanitaria privi di competenze in cybersecurity. Di conseguenza, le vulnerabilità nei dispositivi periferici (ad esempio, protocolli di comunicazione, firmware o sistemi operativi) possono essere sfruttate per iniettare dati malevoli, portando a previsioni ML errate, diagnosi errate e potenzialmente errori di trattamento fatali. Gli sforzi di sicurezza esistenti si concentrano sull'irrobustimento del modello ML stesso o sull'analisi della pila software, ma pochi affrontano il rischio sistemico di sfruttare vulnerabilità note nei dispositivi periferici interconnessi per compromettere il motore ML. Inoltre, l'identificazione manuale di questi percorsi di attacco tra componenti è difficile a causa della complessità della superficie di attacco e delle competenze limitate in cybersecurity tra gli sviluppatori di ML medico.

2. Metodologia: SAMD

Per affrontare queste sfide, gli autori introducono SAMD (STPA-Sec per Dispositivi Medici Abilitati all'IA/ML), uno strumento automatizzato progettato per eseguire l'Analisi dei Processi Teorici di Sistema per la Sicurezza (STPA-Sec). SAMD modella il sistema medico come una struttura di controllo, trattando tutti i componenti come potenziali vettori per l'iniezione di dati falsi. Lo strumento automatizza la scoperta delle vulnerabilità e la generazione di scenari di attacco attraverso un flusso di lavoro in tre fasi:

A. Identificatore di Tecnologia

Questo modulo estrae informazioni sulle tecnologie utilizzate dai componenti del sistema (hardware, software e periferiche) dalla documentazione pubblica disponibile sui dispositivi (ad esempio, presentazioni alla FDA, guide utente).

• Tecnica: Impiega una combinazione di modelli di Riconoscimento di Entità Nominate (NER) (GliNER e NER basato su GPT-4o) per identificare fattori tecnologici specifici come protocolli di comunicazione, metodi di crittografia, firmware, sistemi operativi e librerie esterne.
• Mitigazione delle Allucinazioni: Per garantire l'accuratezza, il modulo esegue controlli di corrispondenza esatta delle parole rispetto ai documenti sorgente, unendo gli output di entrambi i modelli NER ed eliminando eventuali parole chiave non presenti esplicitamente nella documentazione.

B. Cercatore di Vulnerabilità

Una volta identificate le tecnologie, questo modulo interroga il database MITRE Common Vulnerability Enumeration (CVE) per recuperare i primi $N$ record (impostati a 10) di CVE più recenti associati a tali tecnologie.

• Filtraggio della Rilevanza: Un LLM viene istruito con la descrizione del dispositivo e la descrizione della CVE per determinare se la vulnerabilità potrebbe plausibilmente essere sfruttata per iniettare, modificare o falsificare i dati utilizzati dal componente ML. All'LLM viene istruito di restituire un rigoroso "SÌ" o "NO" in base al fatto che la vulnerabilità consenta la manomissione dei dati, filtrando quelle limitate alla divulgazione di informazioni o al Denial of Service (DoS).

C. Generatore di Scenari di Attacco

Questo modulo sintetizza le vulnerabilità filtrate, le strutture di controllo del sistema e i passi avversari noti per generare scenari di attacco dettagliati.

• Ingegneria dei Prompt: All'LLM viene assegnato il ruolo di un ingegnere della sicurezza e viene fornito un prompt strutturato contenente la descrizione del sistema, il flusso dei dati, la specifica tecnica ML, la tecnologia target e i dettagli della CVE.
• Output Strutturato: Per ridurre la variabilità e le allucinazioni, l'LLM è vincolato a generare i passi di attacco seguendo una specifica catena di pensiero a cinque stadi:
  1. Ricognizione
  2. Acquisizione dell'accesso
  3. Escalation dei privilegi
  4. Esecuzione dell'attacco
  5. Impatto
• Obiettivo: L'output dettaglia come un avversario sfrutti una specifica vulnerabilità in un dispositivo periferico per manipolare i dati in ingresso al motore ML, risultando in specifici impatti sulla sicurezza del paziente (ad esempio, dosaggio errato di insulina).

3. Contributi Chiave

Il documento delinea tre contributi principali:

1. Sviluppo di SAMD: Il primo strumento automatizzato per assistere l'analisi STPA-Sec per dispositivi medici abilitati all'IA/ML. Identifica automaticamente le tecnologie dei dispositivi target, recupera le vulnerabilità associate dai database pubblici e genera scenari di attacco specifici con dettagliati passi di esecuzione.
2. Valutazione Empirica: Gli autori hanno implementato SAMD utilizzando tre LLM all'avanguardia (GPT-4, GPT-4o e Llama 3) e l'hanno applicato a cinque dispositivi medici reali, certificati dalla FDA, in diverse specialità:
   • d-Nav: App per la raccomandazione del dosaggio di insulina.
   • ABMD: Misurazione della densità minerale ossea da scansioni TC.
   • IDx-DR v2.3: Rilevamento della retinopatia diabetica da immagini retiniche.
   • KIDScore D3: Analisi automatizzata degli embrioni per la FIVET.
   • Oxehealth Vital Signs: Misurazione non invasiva del polso e della frequenza respiratoria tramite video.
3. Valutazione Rigorosa: Le prestazioni dello strumento sono state valutate attraverso una revisione manuale e un metodo "LLM-as-a-judge" per valutare la correttezza e la rilevanza dei passi di attacco generati.

4. Risultati Sperimentali

La valutazione di SAMD ha prodotto i seguenti risultati quantitativi:

• Identificazione della Tecnologia: SAMD ha raggiunto una precisione del 100% nell'identificare le tecnologie dei dispositivi menzionate nella documentazione di input. (Nota: Lo strumento può identificare solo le tecnologie presenti esplicitamente nei documenti forniti; i dati confidenziali del produttore non presenti nei documenti pubblici non sono stati identificati, ma questo è un limite dell'input, non dello strumento).
• Scoperta delle Vulnerabilità: SAMD ha recuperato le vulnerabilità note collegate alle tecnologie identificate con una precisione del 63,2%. Su 165 CVE estratte, 36 sono state verificate manualmente come realmente sfruttabili per l'iniezione di dati falsi.
• Generazione di Scenari di Attacco: Gli scenari di attacco generati hanno dimostrato una precisione media del 95,3% (misurata da due giudici LLM indipendenti, GPT-o3 e Gemini-2.5-Pro) in termini di correttezza, dettaglio e rilevanza per il sistema.
• Prestazioni dell'LLM: Tra i modelli testati, GPT-4o ha costantemente superato GPT-4 e Llama 3, fornendo i passi più corretti (96,2%), il livello di dettaglio più alto e i migliori approfondimenti aggiuntivi riguardanti le raccomandazioni di sicurezza e l'impatto sul paziente.
• Efficienza: SAMD ha ridotto significativamente il tempo di analisi. Per un dispositivo con 54 CVE (22 rilevanti), l'analisi manuale era stimata in circa 5,5 ore, mentre SAMD ha completato il compito in circa 3 minuti (il tempo di esecuzione massimo osservato è stato di 191,64 secondi per IDx-DR v2.3).

5. Significato e Affermazioni

Gli autori posizionano SAMD come uno strumento di sicurezza proattiva per le fasi di progettazione e post-distribuzione dei cicli di vita dei dispositivi medici.

• Per i Produttori: SAMD consente l'identificazione di potenziali percorsi di attacco e tecnologie periferiche vulnerabili prima della commercializzazione, permettendo l'implementazione di contromisure o l'emissione di avvisi agli utenti finali riguardanti ambienti di distribuzione sicuri.
• Per gli Analisti di Sicurezza: Fornisce un metodo sistematico per analizzare le informazioni pubblicamente disponibili sui dispositivi medici al fine di generare raccomandazioni di sicurezza e identificare pericoli che potrebbero altrimenti essere trascurati a causa della complessità dei sistemi multi-fornitore.
• Limitazioni e Modestia: Il documento afferma esplicitamente che SAMD è destinato a supportare, non sostituire, gli analisti di sicurezza umani. A causa dell'alta criticità per la sicurezza nel settore sanitario, gli autori raccomandano una revisione umana finale degli scenari generati. Riconoscono che l'efficacia dello strumento è limitata dalla completezza della documentazione di input e dalle attuali capacità degli LLM, sebbene notino che i tassi di allucinazione sono stati bassi nei modelli testati (in particolare GPT-4o).

In sintesi, SAMD colma il divario tra le vulnerabilità dei dispositivi periferici e la sicurezza del modello ML, offrendo un approccio automatizzato e strutturato per anticipare gli attacchi di iniezione di dati falsi in ecosistemi medici complessi ed eterogenei.