기술 요약: SAMD – AI/ML 기반 의료기기의 허위 데이터 주입 시나리오 식별 도구

1. 문제 제기

의료기기에 인공지능 (AI) 과 머신러닝 (ML) 을 통합하면 자동화된 원격 모니터링 및 향상된 진단 능력과 같은 상당한 이점을 제공합니다. 그러나 이러한 통합은 추론 단계에서 특히 허위 데이터 주입 공격이라는 중대한 보안 위험을 초래합니다. 단일 제조업체가 전체 시스템 스택을 통제하는 전통적인 안전-중요 분야 (예: 자동차 또는 산업 제어) 와 달리, AI/ML 기반 의료 시스템은 종종 중앙 ML 모델로 데이터를 공급하는 이질적인 다중 벤더 주변 장치 (예: 혈당 측정기, 카메라) 에 의존합니다.

핵심적인 과제는 ML 소프트웨어와 이러한 주변 장치의 최종 통합이 종종 사이버 보안 전문 지식이 부족한 사용자나 의료 제공자에 의해 배포 후 이루어진다는 점입니다. 결과적으로 주변 장치의 취약점 (예: 통신 프로토콜, 펌웨어, 운영 체제) 이 악용되어 악성 데이터를 주입할 수 있으며, 이로 인해 ML 예측 오류, 오진, 그리고 잠재적으로 치명적인 치료 오류가 발생할 수 있습니다. 기존 보안 노력은 ML 모델 자체를 강화하거나 소프트웨어 스택을 분석하는 데 초점을 맞추고 있지만, 상호 연결된 주변 장치의 알려진 취약점을 악용하여 ML 엔진을 무력화하는 시스템적 위험을 다루는 경우는 드뭅니다. 또한, 공격 표면의 복잡성과 의료 ML 개발자들의 제한된 사이버 보안 전문성으로 인해 이러한 구성 요소 간 공격 경로를 수동으로 식별하는 것은 어렵습니다.

2. 방법론: SAMD

이러한 과제를 해결하기 위해 저자들은 AI/ML 기반 의료기기를 위한 STPA-Sec(STPA-Sec for AI/ML-enabled Medical Devices) 을 수행하도록 설계된 자동화 도구인 SAMD를 소개합니다. SAMD는 의료 시스템을 제어 구조로 모델링하여 모든 구성 요소를 잠재적인 허위 데이터 주입 경로로 간주합니다. 이 도구는 세 단계 워크플로우를 통해 취약점 발견과 공격 시나리오 생성을 자동화합니다.

A. 기술 식별자 (Technology Identifier)

이 모듈은 공개적으로 이용 가능한 장치 문서 (예: FDA 제출 자료, 사용자 가이드) 에서 시스템 구성 요소 (하드웨어, 소프트웨어, 주변 장치) 가 사용하는 기술에 대한 정보를 추출합니다.

• 기법: 통신 프로토콜, 암호화 방법, 펌웨어, 운영 체제, 외부 라이브러리 등 특정 기술 요소를 식별하기 위해 GliNER 및 GPT-4o 기반 NER 과 같은 이름 개체 인식 (NER) 모델의 조합을 사용합니다.
• 할루시네이션 완화: 정확성을 보장하기 위해, 이 모듈은 소스 문서에 대한 정확한 단어 매칭 검사를 수행하며, 두 NER 모델의 출력을 병합하고 문서에 명시적으로 존재하지 않는 키워드는 제거합니다.

B. 취약점 찾기 (Vulnerability Finder)

기술이 식별되면, 이 모듈은 해당 기술과 관련된 최신 CVE 기록 상위 N 개 (10 개로 설정) 를 검색하기 위해 MITRE Common Vulnerability Enumeration(CVE) 데이터베이스를 쿼리합니다.

• 관련성 필터링: LLM 에는 장치 설명과 CVE 설명이 입력되어 해당 취약점이 ML 구성 요소가 사용하는 데이터를 주입, 수정 또는 스푸핑하는 데 실제로 악용될 수 있는지 판단하도록 프롬프트됩니다. LLM 은 데이터 변조가 가능한지 여부에 따라 엄격한 "YES"또는"NO"로 출력하도록 지시받으며, 정보 유출 또는 서비스 거부 (DoS) 에만 국한된 취약점은 필터링됩니다.

C. 공격 시나리오 생성기 (Attack Scenario Generator)

이 모듈은 필터링된 취약점, 시스템 제어 구조, 그리고 알려진 적대적 단계를 종합하여 상세한 공격 시나리오를 생성합니다.

• 프롬프트 엔지니어링: LLM 에게 보안 엔지니어 역할을 부여하고, 시스템 설명, 데이터 흐름, 특정 ML 기술, 대상 기술, CVE 세부 사항을 포함한 구조화된 프롬프트를 제공합니다.
• 구조화된 출력: 변동성과 할루시네이션을 줄이기 위해 LLM 은 다음 5 단계 체인 - 오브 - 씽킹 프레임워크를 따르는 공격 단계를 생성하도록 제한됩니다.
  1. 정찰 (Reconnaissance)
  2. 접근 획득 (Gaining access)
  3. 권한 상승 (Privilege escalation)
  4. 공격 실행 (Attack execution)
  5. 영향 (Impact)
• 목표: 출력물은 공격자가 주변 장치의 특정 취약점을 악용하여 ML 엔진으로 유입되는 데이터를 조작하고, 이로 인해 특정 환자 안전 영향 (예: 잘못된 인슐린 투여량) 을 초래하는 방법을 상세히 설명합니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 제시합니다.

1. SAMD 개발: AI/ML 기반 의료기기를 위한 STPA-Sec 분석을 지원하는 최초의 자동화 도구입니다. 이 도구는 대상 장치 기술을 자동으로 식별하고, 공개 데이터베이스에서 관련 취약점을 검색하며, 상세한 실행 단계가 포함된 특정 공격 시나리오를 생성합니다.
2. 실증 평가: 저자들은 GPT-4, GPT-4o, Llama 3 등 세 가지 최첨단 LLM 을 사용하여 SAMD 를 구현하고, 다양한 전문 분야에 속한 5 개의 실제 FDA 승인 의료기기에 적용했습니다.
   • d-Nav: 인슐린 용량 권장 앱.
   • ABMD: CT 스캔을 통한 골밀도 측정.
   • IDx-DR v2.3: 망막 이미지를 통한 당뇨성 망막병증 탐지.
   • KIDScore D3: 체외수정 (IVF) 을 위한 자동 배아 분석.
   • Oxehealth Vital Signs: 비디오를 통한 비침습적 맥박 및 호흡률 측정.
3. 엄격한 평가: 도구의 성능은 수동 검토와 생성된 공격 단계의 정확성과 관련성을 평가하는"LLM-as-a-judge"방법을 통해 평가되었습니다.

4. 실험 결과

SAMD 의 평가는 다음과 같은 정량적 결과를 도출했습니다.

• 기술 식별: SAMD 는 입력 문서에 언급된 장치 기술을 식별하는 데 100% 의 정밀도를 달성했습니다. (참고: 이 도구는 제공된 문서에 명시적으로 존재하는 기술만 식별할 수 있습니다. 공개 문서에 없는 제조사의 기밀 데이터는 식별되지 않았으나, 이는 도구의 한계가 아닌 입력의 한계입니다.)
• 취약점 발견: SAMD 는 식별된 기술과 연결된 알려진 취약점을 63.2% 의 정밀도로 검색했습니다. 추출된 165 개의 CVE 중 36 개는 허위 데이터 주입에 실제로 악용 가능한 것으로 수동 검증되었습니다.
• 공격 시나리오 생성: 생성된 공격 시나리오는 두 개의 독립적인 LLM 판정관 (GPT-o3 및 Gemini-2.5-Pro) 에 의해 측정된 정확성, 상세성, 시스템 관련성 측면에서 95.3% 의 평균 정확도를 보여주었습니다.
• LLM 성능: 테스트된 모델 중 GPT-4o는 GPT-4 와 Llama 3 보다 일관되게 우수한 성능을 보였으며, 가장 정확한 단계 (96.2%), 최고 수준의 상세성, 그리고 보안 권장 사항 및 환자 영향에 관한 최상의 추가 통찰력을 제공했습니다.
• 효율성: SAMD 는 분석 시간을 크게 단축했습니다. 54 개의 CVE(22 개 관련) 가 있는 장치의 경우, 수동 분석은 약 5.5 시간이 소요되는 것으로 추정되었으나, SAMD 는 약 3 분에 작업을 완료했습니다 (최대 실행 시간은 IDx-DR v2.3 의 191.64 초로 관찰됨).

5. 중요성과 주장

저자들은 SAMD 를 의료기기 수명주기의 설계 및 배포 후 단계에 대한 예방적 보안 도구로 위치시킵니다.

• 제조업체를 위해: SAMD 는 상업화 이전에 잠재적인 공격 경로와 취약한 주변 기술을 식별하여, 대응 조치를 구현하거나 안전한 배포 환경에 대한 end-user 에게 권고 사항을 발행할 수 있게 합니다.
• 보안 분석가를 위해: 다중 벤더 시스템의 복잡성으로 인해 간과될 수 있는 위험을 식별하고 보안 권장 사항을 생성하기 위해 의료기기에 대한 공개 정보를 체계적으로 분석하는 방법을 제공합니다.
• 한계와 겸손: 논문은 SAMD 가 인간 보안 분석가를 대체하는 것이 아니라 지원하기 위한 것임을 명시적으로 밝힙니다. 의료의 높은 안전-중요성으로 인해, 저자들은 생성된 시나리오에 대한 최종 인간 검토를 권장합니다. 또한 도구의 효과성은 입력 문서의 완성도와 현재 LLM 의 능력에 의해 제한되지만, 테스트된 모델 (특히 GPT-4o) 에서 할루시네이션 비율은 낮았음을 인정합니다.

요약하자면, SAMD 는 주변 장치 취약점과 ML 모델 안전성 간의 간극을 메우며, 복잡하고 이질적인 의료 생태계에서 허위 데이터 주입 공격을 예측하기 위한 자동화되고 구조화된 접근 방식을 제공합니다.