Resumen Técnico: SAMD – Una Herramienta para Identificar Escenarios de Inyección de Datos Falsos en Dispositivos Médicos Habilitados con IA/ML

1. Declaración del Problema

La integración de la Inteligencia Artificial (IA) y el Aprendizaje Automático (ML) en dispositivos médicos ofrece beneficios significativos, como la monitorización remota automatizada y capacidades de diagnóstico mejoradas. Sin embargo, esta integración introduce riesgos críticos de seguridad, específicamente ataques de inyección de datos falsos durante la fase de inferencia. A diferencia de los dominios tradicionales críticos para la seguridad (por ejemplo, automoción o control industrial), donde un único fabricante suele controlar toda la pila del sistema, los sistemas médicos habilitados con IA/ML a menudo dependen de dispositivos periféricos heterogéneos y de múltiples proveedores (por ejemplo, glucómetros, cámaras) que alimentan datos a un modelo central de ML.

El desafío central es que la integración final del software de ML con estos periféricos a menudo ocurre después del despliegue por parte de usuarios o proveedores de atención médica que carecen de experiencia en ciberseguridad. En consecuencia, las vulnerabilidades en los dispositivos periféricos (por ejemplo, protocolos de comunicación, firmware o sistemas operativos) pueden ser explotadas para inyectar datos maliciosos, lo que lleva a predicciones incorrectas del ML, diagnósticos erróneos y, potencialmente, errores de tratamiento fatales. Los esfuerzos de seguridad existentes se centran en reforzar el propio modelo de ML o en analizar la pila de software, pero pocos abordan el riesgo sistémico de explotar vulnerabilidades conocidas en dispositivos periféricos interconectados para comprometer el motor de ML. Además, la identificación manual de estas rutas de ataque entre componentes es difícil debido a la complejidad de la superficie de ataque y a la limitada experiencia en ciberseguridad entre los desarrolladores de ML médicos.

2. Metodología: SAMD

Para abordar estos desafíos, los autores presentan SAMD (STPA-Sec para Dispositivos Médicos Habilitados con IA/ML), una herramienta automatizada diseñada para realizar el Análisis de Procesos Teóricos de Sistemas para la Seguridad (STPA-Sec). SAMD modela el sistema médico como una estructura de control, tratando todos los componentes como vectores potenciales para la inyección de datos falsos. La herramienta automatiza el descubrimiento de vulnerabilidades y la generación de escenarios de ataque mediante un flujo de trabajo de tres etapas:

A. Identificador de Tecnología

Este módulo extrae información sobre las tecnologías utilizadas por los componentes del sistema (hardware, software y periféricos) a partir de documentación de dispositivos disponible públicamente (por ejemplo, presentaciones a la FDA, guías de usuario).

• Técnica: Emplea una combinación de modelos de Reconocimiento de Entidades Nombradas (NER) (GliNER y NER basado en GPT-4o) para identificar factores tecnológicos específicos como protocolos de comunicación, métodos de cifrado, firmware, sistemas operativos y bibliotecas externas.
• Mitigación de Alucinaciones: Para garantizar la precisión, el módulo realiza comprobaciones de coincidencia exacta de palabras contra los documentos fuente, fusionando las salidas de ambos modelos NER y eliminando cualquier palabra clave que no esté explícitamente presente en la documentación.

B. Buscador de Vulnerabilidades

Una vez identificadas las tecnologías, este módulo consulta la base de datos MITRE Common Vulnerability Enumeration (CVE) para recuperar los $N$ registros CVE más recientes (ajustados a 10) asociados con dichas tecnologías.

• Filtrado de Relevancia: Se solicita a un LLM que, basándose en la descripción del dispositivo y la descripción del CVE, determine si la vulnerabilidad podría ser explotada plausible para inyectar, modificar o falsificar datos utilizados por el componente de ML. Se instruye al LLM para que genere una salida estricta de "SÍ" o "NO" basándose en si la vulnerabilidad permite la manipulación de datos, filtrando aquellas limitadas a la divulgación de información o al Denegación de Servicio (DoS).

C. Generador de Escenarios de Ataque

Este módulo sintetiza las vulnerabilidades filtradas, las estructuras de control del sistema y los pasos adversarios conocidos para generar escenarios de ataque detallados.

• Ingeniería de Prompts: Se asigna al LLM el rol de ingeniero de seguridad y se le proporciona un prompt estructurado que contiene la descripción del sistema, el flujo de datos, la técnica específica de ML, la tecnología objetivo y los detalles del CVE.
• Salida Estructurada: Para reducir la variabilidad y las alucinaciones, se restringe al LLM para que genere pasos de ataque siguiendo un marco específico de cadena de pensamiento de cinco etapas:
  1. Reconocimiento
  2. Obtención de acceso
  3. Escalada de privilegios
  4. Ejecución del ataque
  5. Impacto
• Objetivo: La salida detalla cómo un adversario explota una vulnerabilidad específica en un dispositivo periférico para manipular los datos que ingresan al motor de ML, resultando en impactos específicos para la seguridad del paciente (por ejemplo, dosis incorrectas de insulina).

3. Contribuciones Clave

El documento describe tres contribuciones principales:

1. Desarrollo de SAMD: La primera herramienta automatizada para asistir en el análisis STPA-Sec para dispositivos médicos habilitados con IA/ML. Identifica automáticamente las tecnologías de los dispositivos objetivo, recupera vulnerabilidades asociadas de bases de datos públicas y genera escenarios de ataque específicos con pasos de ejecución detallados.
2. Evaluación Empírica: Los autores implementaron SAMD utilizando tres LLMs de última generación (GPT-4, GPT-4o y Llama 3) y lo aplicaron a cinco dispositivos médicos reales aprobados por la FDA en diversas especialidades:
   • d-Nav: Aplicación de recomendación de dosis de insulina.
   • ABMD: Medición de la densidad mineral ósea a partir de escaneos CT.
   • IDx-DR v2.3: Detección de retinopatía diabética a partir de imágenes de la retina.
   • KIDScore D3: Análisis automatizado de embriones para FIV.
   • Oxehealth Vital Signs: Medición no invasiva de la frecuencia cardíaca y respiratoria mediante video.
3. Evaluación Rigurosa: El rendimiento de la herramienta se evaluó mediante revisión manual y un método de "LLM como juez" para evaluar la corrección y relevancia de los pasos de ataque generados.

4. Resultados Experimentales

La evaluación de SAMD arrojó los siguientes resultados cuantitativos:

• Identificación de Tecnología: SAMD logró una precisión del 100% en la identificación de tecnologías de dispositivos mencionadas en la documentación de entrada. (Nota: La herramienta solo puede identificar tecnologías presentes explícitamente en los documentos proporcionados; los datos confidenciales del fabricante que no están en documentos públicos no fueron identificados, pero esto es una limitación de la entrada, no de la herramienta).
• Descubrimiento de Vulnerabilidades: SAMD recuperó vulnerabilidades conocidas vinculadas a las tecnologías identificadas con una precisión del 63.2%. De 165 CVEs extraídos, 36 fueron verificados manualmente como realmente explotables para la inyección de datos falsos.
• Generación de Escenarios de Ataque: Los escenarios de ataque generados demostraron una precisión promedio del 95.3% (medida por dos jueces LLM independientes, GPT-o3 y Gemini-2.5-Pro) en términos de corrección, detalle y relevancia para el sistema.
• Rendimiento del LLM: Entre los modelos probados, GPT-4o superó consistentemente a GPT-4 y Llama 3, proporcionando los pasos más correctos (96.2%), el mayor nivel de detalle y las mejores ideas adicionales sobre recomendaciones de seguridad e impacto en el paciente.
• Eficiencia: SAMD redujo significativamente el tiempo de análisis. Para un dispositivo con 54 CVEs (22 relevantes), se estimó que el análisis manual tomaría aproximadamente 5.5 horas, mientras que SAMD completó la tarea en aproximadamente 3 minutos (el tiempo de ejecución máximo observado fue de 191.64s para IDx-DR v2.3).

5. Significado y Afirmaciones

Los autores posicionan a SAMD como una herramienta de seguridad proactiva para las fases de diseño y post-despliegue de los ciclos de vida de los dispositivos médicos.

• Para los Fabricantes: SAMD permite la identificación de rutas de ataque potenciales y tecnologías periféricas vulnerables antes de la comercialización, lo que permite la implementación de contramedidas o la emisión de advertencias a los usuarios finales sobre entornos de despliegue seguros.
• Para los Analistas de Seguridad: Proporciona un método sistemático para analizar la información disponible públicamente sobre dispositivos médicos y generar recomendaciones de seguridad e identificar peligros que de otro modo podrían pasarse por alto debido a la complejidad de los sistemas de múltiples proveedores.
• Limitaciones y Modestia: El documento establece explícitamente que SAMD tiene la intención de apoyar, no reemplazar, a los analistas de seguridad humanos. Debido a la alta criticidad para la seguridad en la atención sanitaria, los autores recomiendan una revisión humana final de los escenarios generados. Reconocen que la efectividad de la herramienta está limitada por la completitud de la documentación de entrada y las capacidades actuales de los LLMs, aunque señalan que las tasas de alucinación fueron bajas en los modelos probados (específicamente GPT-4o).

En resumen, SAMD cierra la brecha entre las vulnerabilidades de los dispositivos periféricos y la seguridad del modelo de ML, ofreciendo un enfoque automatizado y estructurado para anticipar ataques de inyección de datos falsos en ecosistemas médicos complejos y heterogéneos.