Resumo Técnico: SAMD – Uma Ferramenta para Identificar Cenários de Injeção de Dados Falsos em Dispositivos Médicos Habilitados por IA/ML

1. Declaração do Problema

A integração de Inteligência Artificial (IA) e Aprendizado de Máquina (ML) em dispositivos médicos oferece benefícios significativos, como monitoramento remoto automatizado e capacidades diagnósticas aprimoradas. No entanto, essa integração introduz riscos críticos de segurança, especificamente ataques de injeção de dados falsos durante a fase de inferência. Diferentemente de domínios tradicionais críticos para a segurança (por exemplo, automotivo ou controle industrial), onde um único fabricante geralmente controla toda a pilha do sistema, sistemas médicos habilitados por IA/ML frequentemente dependem de dispositivos periféricos heterogêneos e multi-fornecedores (por exemplo, glicosímetros, câmeras) que alimentam dados em um modelo central de ML.

O desafio central é que a integração final do software de ML com esses periféricos frequentemente ocorre pós-implantação por usuários ou provedores de saúde que carecem de expertise em cibersegurança. Consequentemente, vulnerabilidades em dispositivos periféricos (por exemplo, protocolos de comunicação, firmware ou sistemas operacionais) podem ser exploradas para injetar dados maliciosos, levando a previsões incorretas de ML, diagnósticos errôneos e, potencialmente, erros fatais de tratamento. Esforços de segurança existentes focam no endurecimento do próprio modelo de ML ou na análise da pilha de software, mas poucos abordam o risco sistêmico de explorar vulnerabilidades conhecidas em dispositivos periféricos interconectados para comprometer o motor de ML. Além disso, a identificação manual desses caminhos de ataque entre componentes é difícil devido à complexidade da superfície de ataque e à expertise limitada em cibersegurança entre os desenvolvedores de ML médica.

2. Metodologia: SAMD

Para abordar esses desafios, os autores introduzem o SAMD (STPA-Sec para Dispositivos Médicos Habilitados por IA/ML), uma ferramenta automatizada projetada para realizar Análise de Processo Teórico de Sistemas para Segurança (STPA-Sec). O SAMD modela o sistema médico como uma estrutura de controle, tratando todos os componentes como vetores potenciais para injeção de dados falsos. A ferramenta automatiza a descoberta de vulnerabilidades e a geração de cenários de ataque através de um fluxo de trabalho de três etapas:

A. Identificador de Tecnologia

Este módulo extrai informações sobre as tecnologias utilizadas pelos componentes do sistema (hardware, software e periféricos) a partir de documentação de dispositivos publicamente disponível (por exemplo, submissões à FDA, guias do usuário).

• Técnica: Emprega uma combinação de modelos de Reconhecimento de Entidades Nomeadas (NER) (GliNER e NER baseado em GPT-4o) para identificar fatores tecnológicos específicos, como protocolos de comunicação, métodos de criptografia, firmware, sistemas operacionais e bibliotecas externas.
• Mitigação de Alucinações: Para garantir precisão, o módulo realiza verificações de correspondência exata de palavras contra os documentos de origem, mesclando as saídas de ambos os modelos NER e removendo quaisquer palavras-chave não explicitamente presentes na documentação.

B. Buscador de Vulnerabilidades

Uma vez que as tecnologias são identificadas, este módulo consulta o banco de dados MITRE Common Vulnerability Enumeration (CVE) para recuperar os $N$ registros de CVE mais recentes (definido como 10) associados a essas tecnologias.

• Filtragem de Relevância: Um LLM é instruído com a descrição do dispositivo e a descrição do CVE para determinar se a vulnerabilidade poderia plausivelmente ser explorada para injetar, modificar ou falsificar dados utilizados pelo componente de ML. O LLM é instruído a emitir uma resposta estrita "SIM" ou "NÃO" com base se a vulnerabilidade permite a manipulação de dados, filtrando aquelas limitadas à divulgação de informações ou Negação de Serviço (DoS).

C. Gerador de Cenários de Ataque

Este módulo sintetiza as vulnerabilidades filtradas, as estruturas de controle do sistema e os passos adversários conhecidos para gerar cenários de ataque detalhados.

• Engenharia de Prompt: O LLM recebe o papel de um engenheiro de segurança e é fornecido com um prompt estruturado contendo a descrição do sistema, o fluxo de dados, a técnica específica de ML, a tecnologia-alvo e os detalhes do CVE.
• Saída Estruturada: Para reduzir variabilidade e alucinações, o LLM é restrito a gerar etapas de ataque seguindo uma cadeia específica de raciocínio de cinco estágios:
  1. Reconhecimento
  2. Ganho de acesso
  3. Escalação de privilégios
  4. Execução do ataque
  5. Impacto
• Objetivo: A saída detalha como um adversário explora uma vulnerabilidade específica em um dispositivo periférico para manipular dados que entram no motor de ML, resultando em impactos específicos na segurança do paciente (por exemplo, dosagem incorreta de insulina).

3. Contribuições Principais

O artigo delineia três contribuições primárias:

1. Desenvolvimento do SAMD: A primeira ferramenta automatizada para auxiliar na análise STPA-Sec para dispositivos médicos habilitados por IA/ML. Identifica automaticamente tecnologias de dispositivos-alvo, recupera vulnerabilidades associadas de bancos de dados públicos e gera cenários de ataque específicos com etapas de execução detalhadas.
2. Avaliação Empírica: Os autores implementaram o SAMD usando três LLMs de última geração (GPT-4, GPT-4o e Llama 3) e aplicaram-no a cinco dispositivos médicos reais, aprovados pela FDA, em diversas especialidades:
   • d-Nav: Aplicativo de recomendação de dose de insulina.
   • ABMD: Medição de densidade mineral óssea a partir de tomografias computadorizadas (CT).
   • IDx-DR v2.3: Detecção de retinopatia diabética a partir de imagens da retina.
   • KIDScore D3: Análise automatizada de embriões para Fertilização in Vitro (IVF).
   • Oxehealth Vital Signs: Medição não invasiva de pulso e frequência respiratória via vídeo.
3. Avaliação Rigorosa: O desempenho da ferramenta foi avaliado através de revisão manual e um método de "LLM como juiz" para avaliar a correção e relevância das etapas de ataque geradas.

4. Resultados Experimentais

A avaliação do SAMD produziu os seguintes resultados quantitativos:

• Identificação de Tecnologia: O SAMD alcançou 100% de precisão na identificação de tecnologias de dispositivos mencionadas na documentação de entrada. (Nota: A ferramenta só pode identificar tecnologias explicitamente presentes nos documentos fornecidos; dados confidenciais do fabricante não presentes em documentos públicos não foram identificados, mas isso é uma limitação da entrada, não da ferramenta).
• Descoberta de Vulnerabilidades: O SAMD recuperou vulnerabilidades conhecidas vinculadas às tecnologias identificadas com 63,2% de precisão. De 165 CVEs extraídos, 36 foram verificados manualmente como verdadeiramente exploráveis para injeção de dados falsos.
• Geração de Cenários de Ataque: Os cenários de ataque gerados demonstraram 95,3% de precisão média (medida por dois juízes LLM independentes, GPT-o3 e Gemini-2.5-Pro) em termos de correção, detalhe e relevância para o sistema.
• Desempenho do LLM: Entre os modelos testados, o GPT-4o superou consistentemente o GPT-4 e o Llama 3, fornecendo as etapas mais corretas (96,2%), o maior nível de detalhe e os melhores insights adicionais sobre recomendações de segurança e impacto no paciente.
• Eficiência: O SAMD reduziu significativamente o tempo de análise. Para um dispositivo com 54 CVEs (22 relevantes), a análise manual foi estimada em ~5,5 horas, enquanto o SAMD concluiu a tarefa em aproximadamente 3 minutos (o tempo de execução máximo observado foi de 191,64s para o IDx-DR v2.3).

5. Significado e Alegações

Os autores posicionam o SAMD como uma ferramenta de segurança proativa para as fases de design e pós-implantação dos ciclos de vida de dispositivos médicos.

• Para Fabricantes: O SAMD permite a identificação de caminhos de ataque potenciais e tecnologias periféricas vulneráveis antes da comercialização, permitindo a implementação de contramedidas ou a emissão de avisos aos usuários finais sobre ambientes de implantação seguros.
• Para Analistas de Segurança: Fornece um método sistemático para analisar informações publicamente disponíveis sobre dispositivos médicos para gerar recomendações de segurança e identificar perigos que, de outra forma, poderiam ser negligenciados devido à complexidade de sistemas multi-fornecedores.
• Limitações e Modéstia: O artigo afirma explicitamente que o SAMD destina-se a apoiar, não substituir, analistas de segurança humanos. Devido à alta criticidade para a segurança na saúde, os autores recomendam uma revisão humana final dos cenários gerados. Eles reconhecem que a eficácia da ferramenta é limitada pela completude da documentação de entrada e pelas capacidades atuais dos LLMs, embora observem que as taxas de alucinação foram baixas nos modelos testados (especificamente GPT-4o).

Em resumo, o SAMD preenche a lacuna entre as vulnerabilidades de dispositivos periféricos e a segurança de modelos de ML, oferecendo uma abordagem automatizada e estruturada para antecipar ataques de injeção de dados falsos em ecossistemas médicos complexos e heterogêneos.