From Safety Documentation to Safety Knowledge Support: An Evidence-Grounded LLM Framework for Medical Devices

기술 요약: 안전 문서에서 안전 지식으로

문제 정의
의료 기기 개발은 점점 더 소프트웨어 집약적이고, 연결되며, AI 기반으로 변모하고 있으며, 이에 따라 ISO 14971 및 IEC 62304와 같은 표준에 부합하는 엄격한 리스크 관리가 필수적입니다. 이 과정은 요구사항, 설계 결정, 소프트웨어 변경 사항, 검증 결과 및 사후 시장 데이터 전반에 걸쳐 일관된 안전 증거를 유지할 것을 요구합니다. 현재 이러한 작업은 비용이 많이 들고 전문가의 집중적인 노력이 필요한 부담이며, 특히 인증 비용이 제품 중단의 주요 원인이 되는 중소 규모 제조업체들에게 더욱 그러합니다.

대규모 언어 모델(LLM)은 안전 아티팩트(예: 유해 요인, 고장 모드, 리스크 통제 수단)의 초안 작성을 줄일 수 있는 잠재력을 제공하지만, 현재의 연구는 규제 환경에 있어 상당한 한계를 보입니다. 기존 연구들은 종종 고립된 작업에 집중하거나, 일반적인 프롬프팅 또는 공개된 예시에 의존하며, 소스 연결, 추적성, 불확실성 처리, 라이프사이클 업데이트 및 기록된 전문가 검토 메커니즘이 부족합니다. 결과적으로, LLM이 생성한 텍스트는 특정 기기 증거에 근로해야 하며 자격을 갖춘 인간의 감독을 받아야 하는 규제 대상 의료 기기 개발에 사용되기에는 불충분한 경우가 많습니다.

방법론 및 제안된 프레임워크
본 논문은 핵심적인 연구 문제가 "안전 텍스트 생성"이 아니라 "소스가 연결된 안전 지식 지원"이라고 주장합니다. 이를 해결하기 위해 저자들은 전문가의 의사결정을 위해 후보 안전 아티팩트를 준비, 연결, 점검 및 업데이트하도록 설계된 증거 기반 LLM 프레임워크를 제안합니다. 이 프레임워크는 자동화된 안전 평가기가 아닌, 인간 참여형(human-in-the-loop) 프로세스로 작동합니다.

프레임워크는 다음과 같은 프로세스 구성 요소로 이루어집니다:

1. 증거 수집(Evidence Intake): 생성된 항목이 특정 증거로 추적될 수 있도록 엄격한 버전 관리와 식별자 보존을 통해 기기 아티팩트(요구사항, 설계 문서, 리스크 파일, 불만 사항, 사후 시장 데이터)를 수집하고 보존합니다.
2. 안전 지식 저장 및 검색(Safety-Knowledge Storage and Retrieval): 벡터 데이터베이스, 지식 그래프 또는 구조화된 테이블을 활용하여 기기 특유의 지식을 저장합니다. 결정적으로, 검색 시 단순 텍스트뿐만 아니라 아티팩트 식별자, 버전 및 관계 유형을 함께 반환하여 소스 링크를 유지합니다.
3. 태스크 설정(Task Setup): 생성 과정을 안내하기 위해 시스템 경계, 의도된 용도 및 특정 안전 방법론(예: FMEA, STPA, FTA, Assurance Case)을 정의합니다.
4. 방법론별 생성(Method-Specific Generation): 태스크 정의와 검색된 증거를 바탕으로 후보 안전 항목(유해 요인, 리스크 통제 수단 등)을 생성합니다. 각 항목은 진술, 근거, 가정 및 소스 증거와의 링크를 포함하는 필드로 구성된 소스 연결 안전 항목(Source-Linked Safety Item) 형태로 구조화됩니다.
5. 비판 및 불확실성 점검(Critique and Uncertainty Checks): 중복, 불일치, 약한 소스 지원 또는 모델 간의 의견 불일치를 감지하는 사전 검토 메커니즘을 수행합니다. 이러한 점검은 특히 리스크 점수 및 심각도 판단과 관련하여 세심한 전문가 주의가 필요한 항목을 표시합니다.
6. 전문가 검토 및 라이프사이클 업데이트(Expert Review and Lifecycle Updates): 자격을 갖춘 전문가는 후보 항목을 검토, 수용, 거부 또는 병합하며 그 정당성을 기록합니다. 프레임워크는 요구사항, 소프트웨어 또는 사후 시장 데이터가 변경될 때 영향을 받는 안전 항목을 식별하고 재평가 사이클을 트리거함으로써 라이프사이클 업데이트를 지원합니다.

주요 기여
본 논문의 네 가지 주요 기여는 다음과 같습니다:

1. 문헌 합성(Literature Synthesis): 2023~2026년 사이의 90개 논문을 구조적으로 검토하여, 작업별(예: HARA, FMEA) 및 지배적인 방법론별(예: 프롬프트 엔지니어링, RAG, 파인튜닝)로 LLM 지원 안전 공학을 분류했습니다. 이를 통해 실현 가능성은 입증되었으나, 현재의 접근 방식은 규제에 필요한 통제된 프로세스가 부족함을 확인했습니다.
2. 격차 분석(Gap Analysis): 약한 도메인 근거, 희귀 시나리오에 대한 제한된 유해 요인 커버리지, 추적성 결여, 지원되지 않는 주장, 불분명한 인간의 역할, 취약한 평가 지표, 불충분한 라이프사이클 지원을 포함한 7가지 핵심 격차를 식별했습니다.
3. 프레임워크 제안(Framework Proposal): "소스 연결 안전 항목"을 중심으로 하는 증거 기반 프레임워크를 설계했습니다. 이 아티팩트는 생성된 콘텐츠를 소스 증거, 방법론적 맥락, 가정, 불확실성 플래그 및 검토자의 결정과 결합하여, 출력물이 검토 가능하고 감사 가능하며 업데이트 가능하도록 보장합니다.
4. 평가 전략(Evaluation Strategy): 학습 데이터 오염을 방지하기 위해 비공개 또는 새로 구축된 의료 기기 사례 연구를 사용하는 엄격한 평가 전략을 제 제안합니다. 또한 커버리지, 정확성, 관련성, 중복률, 소스 지원, 미지원 주장 비율, 추적성, 검토 노력 등 안전 특화 지표를 정의합니다.

결과 및 주장
개념적 및 프레임워크 설계 논문으로서, 본 논문은 배치된 시스템으로부터의 실증적 결과를 제시하지 않습니다. 대신, 제안된 프레임워크가 규제 대상 안전 공학에서의 현재 LLM 응용의 구체적인 한계점을 해결한다고 주장합니다.

본 논문은 다음과 같이 단언합니다:

• LLM은 안전을 결정해서는 안 된다: 목표는 LLM이 기기의 안전 여부를 결정하게 하는 것이 아니라, 전문가가 후보 안전 아티팩트를 준비하고 관리하는 것을 돕는 것입니다.
• 추적성이 최우선이다: 소스 증거와 버전 관리된 아티팩트에 대한 명시적 링크 없이는, LLM의 출력물은 감사 중에 정당성을 입증하거나 라이프사이클 변경 중에 업데이트하기 어렵습니다.
• 인간의 책임은 타협 불가능하다: 프레임워크는 자격을 갖춘 엔지니어가 최종 안전 결정에 대한 책임을 유지하도록 보장하며, LLM은 초안 작성, 연결 및 점검을 위한 지원 도구 역할을 합니다.
• 평가에는 특정 지표가 필요하다: 표준 NLP 지표(예: BLEU)는 불충분하며, 평가는 안전 정확성, 추적성 및 전문가 검토 노력의 감소에 초점을 맞춰야 합니다.

의의
본 논문의 의의는 LLM의 의료 기기 안전 적용 패러다임을 "자율적 생성"에서 "통제된 지식 지원"으로 전환하는 데 있습니다. 본 논문은 기밀성, 감사 추적 및 라이프사이클 일관성이 중요한 규제 워크플로우에 LLM을 통합하기 위한 구조화된 접근 방식을 제공합니다. "소스 연결 안전 항목"과 그에 따른 평가 전략을 정의함으로써, 저자들은 이 프레임워크를 구현하고 테스트하는 것을 목표로 하는 MedSafe 프로젝트의 토대를 마련합니다. 의도된 산업적 이점은 제조업체가 복잡한 기기 변형 및 소프트웨어 버전에 걸쳐 리스크 관리 파일을 유지하면서도 인간의 책임을 보존할 수 있도록, 탐색, 초안 작성 및 일관성 점검의 부담을 줄이는 것입니다.