Résumé Technique : SAMD – Un Outil pour Identifier les Scénarios d'Injection de Données Fausse dans les Dispositifs Médicaux Intégrant l'IA/ML

1. Énoncé du Problème

L'intégration de l'Intelligence Artificielle (IA) et de l'Apprentissage Automatique (ML) dans les dispositifs médicaux offre des avantages significatifs, tels que la surveillance à distance automatisée et des capacités diagnostiques améliorées. Cependant, cette intégration introduit des risques de sécurité critiques, spécifiquement les attaques par injection de données fausses durant la phase d'inférence. Contrairement aux domaines traditionnels critiques pour la sécurité (par exemple, l'automobile ou le contrôle industriel) où un seul fabricant contrôle généralement toute la pile système, les systèmes médicaux intégrant l'IA/ML reposent souvent sur des périphériques hétérogènes et multi-fournisseurs (par exemple, glucomètres, caméras) qui alimentent un modèle ML central.

Le défi central réside dans le fait que l'intégration finale du logiciel ML avec ces périphériques se produit souvent après le déploiement, par des utilisateurs ou des prestataires de soins carencés en expertise en cybersécurité. Par conséquent, des vulnérabilités dans les périphériques (par exemple, protocoles de communication, firmwares ou systèmes d'exploitation) peuvent être exploitées pour injecter des données malveillantes, entraînant des prédictions ML incorrectes, des erreurs de diagnostic et potentiellement des erreurs de traitement fatales. Les efforts de sécurité existants se concentrent sur le renforcement du modèle ML lui-même ou sur l'analyse de la pile logicielle, mais peu abordent le risque systémique consistant à exploiter des vulnérabilités connues dans des périphériques interconnectés pour compromettre le moteur ML. De plus, l'identification manuelle de ces chemins d'attaque inter-composants est difficile en raison de la complexité de la surface d'attaque et du manque d'expertise en cybersécurité parmi les développeurs de ML médicaux.

2. Méthodologie : SAMD

Pour répondre à ces défis, les auteurs présentent SAMD (STPA-Sec pour les Dispositifs Médicaux Intégrant l'IA/ML), un outil automatisé conçu pour effectuer l'Analyse de Processus Théorique des Systèmes pour la Sécurité (STPA-Sec). SAMD modélise le système médical comme une structure de contrôle, traitant tous les composants comme des vecteurs potentiels d'injection de données fausses. L'outil automatise la découverte des vulnérabilités et la génération de scénarios d'attaque via un flux de travail en trois étapes :

A. Identificateur de Technologie

Ce module extrait des informations sur les technologies utilisées par les composants du système (matériel, logiciel et périphériques) à partir de documentation publique sur les dispositifs (par exemple, soumissions à la FDA, guides d'utilisation).

• Technique : Il emploie une combinaison de modèles de Reconnaissance d'Entités Nommées (NER) (GliNER et NER basé sur GPT-4o) pour identifier des facteurs technologiques spécifiques tels que les protocoles de communication, les méthodes de chiffrement, les firmwares, les systèmes d'exploitation et les bibliothèques externes.
• Atténuation des Hallucinations : Pour garantir l'exactitude, le module effectue des vérifications de correspondance exacte des mots par rapport aux documents sources, fusionne les sorties des deux modèles NER et supprime tout mot-clé qui n'est pas explicitement présent dans la documentation.

B. Détecteur de Vulnérabilités

Une fois les technologies identifiées, ce module interroge la base de données MITRE Common Vulnerability Enumeration (CVE) pour récupérer les $N$-plus récents enregistrements CVE (fixés à 10) associés à ces technologies.

• Filtrage de Pertinence : Un LLM est sollicité avec la description du dispositif et la description CVE pour déterminer si la vulnérabilité pourrait vraisemblablement être exploitée pour injecter, modifier ou falsifier des données utilisées par le composant ML. Le LLM est instruit de produire une réponse stricte « OUI » ou « NON » selon que la vulnérabilité permet la falsification de données, en filtrant celles limitées à la divulgation d'informations ou au Déni de Service (DoS).

C. Générateur de Scénarios d'Attaque

Ce module synthétise les vulnérabilités filtrées, les structures de contrôle du système et les étapes adverses connues pour générer des scénarios d'attaque détaillés.

• Ingénierie de Prompt : Le LLM se voit assigner le rôle d'un ingénieur en sécurité et reçoit un prompt structuré contenant la description du système, le flux de données, la technique ML spécifique, la technologie ciblée et les détails CVE.
• Sortie Structurée : Pour réduire la variabilité et les hallucinations, le LLM est contraint de générer des étapes d'attaque suivant un cadre spécifique de chaîne de pensée en cinq étapes :
  1. Reconnaissance
  2. Prise de contrôle
  3. Élévation de privilèges
  4. Exécution de l'attaque
  5. Impact
• Objectif : La sortie détaille comment un adversaire exploite une vulnérabilité spécifique dans un périphérique pour manipuler les données entrant dans le moteur ML, entraînant des impacts spécifiques sur la sécurité des patients (par exemple, dosage d'insuline incorrect).

3. Contributions Clés

L'article expose trois contributions principales :

1. Développement de SAMD : Le premier outil automatisé pour assister l'analyse STPA-Sec des dispositifs médicaux intégrant l'IA/ML. Il identifie automatiquement les technologies des dispositifs cibles, récupère les vulnérabilités associées depuis des bases de données publiques et génère des scénarios d'attaque spécifiques avec des étapes d'exécution détaillées.
2. Évaluation Empirique : Les auteurs ont implémenté SAMD en utilisant trois LLMs de pointe (GPT-4, GPT-4o et Llama 3) et l'ont appliqué à cinq dispositifs médicaux réels, approuvés par la FDA, couvrant diverses spécialités :
   • d-Nav : Application de recommandation de dose d'insuline.
   • ABMD : Mesure de la densité minérale osseuse à partir de scanners CT.
   • IDx-DR v2.3 : Détection de la rétinopathie diabétique à partir d'images rétiniennes.
   • KIDScore D3 : Analyse automatisée des embryons pour la FIV.
   • Oxehealth Vital Signs : Mesure non invasive du pouls et de la fréquence respiratoire via vidéo.
3. Évaluation Rigoureuse : La performance de l'outil a été évaluée par une revue manuelle et une méthode « LLM-comme-juge » pour évaluer l'exactitude et la pertinence des étapes d'attaque générées.

4. Résultats Expérimentaux

L'évaluation de SAMD a produit les résultats quantitatifs suivants :

• Identification de Technologie : SAMD a atteint une précision de 100 % dans l'identification des technologies de dispositifs mentionnées dans la documentation d'entrée. (Note : L'outil ne peut identifier que les technologies explicitement présentes dans les documents fournis ; les données confidentielles des fabricants non incluses dans les documents publics n'ont pas été identifiées, mais cela constitue une limitation de l'entrée, et non de l'outil).
• Découverte de Vulnérabilités : SAMD a récupéré des vulnérabilités connues liées aux technologies identifiées avec une précision de 63,2 %. Sur 165 CVE extraits, 36 ont été vérifiés manuellement comme véritablement exploitables pour l'injection de données fausses.
• Génération de Scénarios d'Attaque : Les scénarios d'attaque générés ont démontré une précision moyenne de 95,3 % (mesurée par deux juges LLM indépendants, GPT-o3 et Gemini-2.5-Pro) en termes d'exactitude, de détail et de pertinence pour le système.
• Performance des LLM : Parmi les modèles testés, GPT-4o a constamment surpassé GPT-4 et Llama 3, fournissant les étapes les plus correctes (96,2 %), le niveau de détail le plus élevé et les meilleures informations supplémentaires concernant les recommandations de sécurité et l'impact sur les patients.
• Efficacité : SAMD a considérablement réduit le temps d'analyse. Pour un dispositif comportant 54 CVE (22 pertinents), l'analyse manuelle était estimée à environ 5,5 heures, tandis que SAMD a accompli la tâche en environ 3 minutes (le temps d'exécution maximal observé était de 191,64 s pour IDx-DR v2.3).

5. Signification et Revendications

Les auteurs positionnent SAMD comme un outil de sécurité proactif pour les phases de conception et post-déploiement des cycles de vie des dispositifs médicaux.

• Pour les Fabricants : SAMD permet l'identification des chemins d'attaque potentiels et des technologies périphériques vulnérables avant la commercialisation, permettant la mise en œuvre de contre-mesures ou la diffusion d'avis aux utilisateurs finaux concernant des environnements de déploiement sécurisés.
• Pour les Analystes de Sécurité : Il fournit une méthode systématique pour analyser les informations publiquement disponibles sur les dispositifs médicaux afin de générer des recommandations de sécurité et d'identifier des dangers qui pourraient autrement être négligés en raison de la complexité des systèmes multi-fournisseurs.
• Limites et Modestie : L'article indique explicitement que SAMD vise à soutenir, non à remplacer, les analystes de sécurité humains. En raison de la haute criticité pour la sécurité dans le secteur de la santé, les auteurs recommandent une révision humaine finale des scénarios générés. Ils reconnaissent que l'efficacité de l'outil est limitée par l'exhaustivité de la documentation d'entrée et les capacités actuelles des LLM, bien qu'ils notent que les taux d'hallucination étaient faibles dans les modèles testés (spécifiquement GPT-4o).

En résumé, SAMD comble le fossé entre les vulnérabilités des périphériques et la sécurité des modèles ML, offrant une approche automatisée et structurée pour anticiper les attaques par injection de données fausses dans des écosystèmes médicaux complexes et hétérogènes.