Safe Deployment of a Generative AI Assistant for Traditional-Medicine Education: Defense-in-Depth Architecture, Domain-Calibrated Safety Evaluation, and a Proposed Minimum Safety Stack

기술 요약: 전통 의학 교육을 위한 생성형 AI 어시스턴트의 안전한 배포

문제 정의

전통 의학 교육(TME)에 생성형 AI를 배포하는 것은 독특한 안전성 과제에 직면해 있습니다. 표준적인 모델 정렬 기술인 인간 피드백 기반 강화 학습(RLHF)은 이 도메인에 있어 불충분합니다. TME는 치료 범위가 좁고 복잡하며, 문서화가 미흡한 경우가 많은 수백 가지의 약재를 다룹니다. 유창하지만 틀린 답변을 하는 시스템은 임상적 오류를 강화함으로써 실질적인 해를 끼칠 수 있습니다.

식별된 핵심 문제는 AI의 '안전성'에 대한 정의가 도메인 중립적이지 않다는 점입니다. 표준 IT 보안 기준(탈옥, 정책 우회, 데이터 유출에 집중)은 도메인 특화적인 임상적 위해를 포착하지 못합니다. 모델이 모든 IT 보안 검사를 통과하더라도, 특정 임상 지식이 부족하여 위험한 처방 권고나 안전하지 않은 약재 조합을 생성할 수 있습니다. 반대로, IT 보안 경고(예: 역할 오버라이드)를 트리거하는 응답이 임상적으로는 무해할 수도 있습니다. 현재의 평가 프레임워크는 이러한 괴리를 적절히 다루지 못하며, 결과적으로 '보안'은 확보되었으나 '임상적으로는 안전하지 않은' 시스템이 배포될 위험을 초기화합니다.

방법론

저자들은 호아빈 대학교(Hoa Binh University)의 학부생들을 위해 설계된 소크라테스식 챗봇인 TLAS-YHCT와 엄격한 적대적 평가 프레임워크를 제시합니다.

1. 시스템 아키텍처: 심층 방어(Defense-in-Depth)
TLAS-YHCT는 모든 쿼리가 응답을 반환하기 전 여러 개의 독립적인 제어 계층을 통과하도록 하는 5단계 파이프라인을 채택합니다.

• 강제적 하드 가드레일(Non-overridable Hard Guardrails): 대화형 프레이밍과 무관하게 고정된 경계(예: 범위를 벗어난 요청 거부)를 강제하는 규칙 기반 필터 및 차단 목록(deny-lists)입니다.
• 검색 증강 생성(RAG): 응답은 검증되고 버전 관리가 되는 전통 의학 텍스트 코퍼스에 고정됩니다. 시스템은 하이브리드 검색(밀집 의미론 + 희소 키워드)을 사용하며, 뒷받침하는 근거가 발견되지 않으면 답변을 거부하여 허위 사실 생성을 방지합니다.
• 표준화된 시스템 프롬프트: 교육적 역할, 허용된 출력, 필수 고지 사항을 정의하는 구조화되고 버전 관리가 되는 프롬프트입니다.
• 독립적인 LLM-as-Judge 검증기: 두 번째 언어 모델이 핵심 모델의 출력을 검색된 구절, 준수 코퍼스 및 교육 목표와 교차 확인합니다. 이 검증기는 기준을 통과하지 못한 응답을 재생성하거나 차단합니다.
• 인간 참여형(Human-in-the-Loop) 임상 감사: 임상 교수진이 로그를 검토하고, 실패 사례를 진단하며, 버전 관리 하에 시스템을 업데이트하는 지속적인 순환 과정입니다.

2. 적대적 평가 설계

• 공격 구성: 시스템의 기술적 개발에 참여하지 않은 5명의 도메인 전문가 임상 교육자들이 전체를 구성한 206개의 구조화된 적대적 공격 세트가 구축되었습니다. 이를 통해 공격이 일반적인 IT 위협이 아닌, 특정 임상적 위해(예: 위험한 약재 조합)에 맞춰 조정되도록 보장했습니다.
• 이중 안전 기준: 동일한 전문가 패널이 두 가지 독립적인 기준으로 블라인드 테스트를 수행하여 모든 응답을 점수화했습니다.
  • IT-보안 기준: 역할 오버라이드, 정책 우회 및 데이터 프라이버시에 초점을 맞춥니다.
  • 임상-교육 기준: 정책 우회 여부와 관계없이 환자 안전, 교육적 무결성 및 위험한 처방 지침에 초점을 맞춥니다.
• 비교 베이스라인: TLAS-YHCT는 GPT(무료 버전), Gemini Flash, 그리고 아무런 래퍼(wrapper)가 없는 순수 DeepSeek R1 코어와 비교되었습니다.

주요 결과

1. 우수한 안전 성능
이중 안전 기준 하에서 TLAS-YHCT는 206개의 모든 공격에 대해 100% 안전 응답률(1,030/1,030 건)을 달 기록했습니다. 반면 상용 베이스라인은 현저히 낮은 성능을 보였습니다.

• GPT: 88.9% 안전 응답률.
• Gemini Flash: 78.7% 안전 응답률.
• DeepSeek R1 (순수 상태): 76.7% 안전 응답률.

2. 안전 기준의 괴리
본 연구는 IT-보안과 임상-교육 안전 판단 사이의 결정적인 괴리를 실증적으로 입증했습니다.

• IT-안전하지만 임상적으로는 위험한 경우: 특정 위험한 약재 조합 쿼리와 전제 오류 함정(false-premise traps)의 상당 부분은 IT-보안 표준으로는 '안전'하다고 판단되었으나(정책 우회가 발생하지 않았으므로), 위험한 의료 조언을 생성했기 때문에 임상 표준으로는 '위험'하다고 판단되었습니다. 표준 IT 평가는 이러한 위험을 완전히 놓치게 됩니다.
• IT-위험하지만 임상적으로는 안전한 경우: 권한 사칭 공격 중 일부는 보안 프로토콜을 우회(IT-위험)했으나 임상적으로 적절한 응답을 생성했습니다. 이를 실패로 처리하는 것은 위험을 과다하게 산정하는 결과를 초래합니다.

3. 베이스 모델 대비 아키텍처의 영향
순수 DeepSeek R1 코어를 TLAS-YHCT 방어 스택으로 감쌌을 때, 성능은 76.7%에서 100% 안전 응답률로 향상되었으며, 특정 아키텍처가 결여된 상용 모델보다 뛰어난 성과를 보였습니다. 이는 레이어드 방어(RAG + 검증기 + 가드레일)가 베이스 모델의 정렬만보다 도메인 특화된 실패를 더 효과적으로 보완함을 시사합니다.

의의 및 주장

본 논문은 네 가지 주요 기여를 주장합니다.

1. 시스템 설계: 특정 도메인(전통 의학 교육)을 위해 설계된 심층 방어 아키텍처를 활용하는 TLAS-YHCT를 설명합니다.
2. 평가 방법론: 공격 구성과 점수 산정이 개발자와 독립적인 도메인 전문가 임상가들에 의해 수행되어, 테스트 세트가 실제 임상 위험을 반영하도록 하는 구조화된 레드팀 접근법을 도입합니다.
3. 괴리에 대한 실증적 증거: IT-보안과 임상-교육 안전 기준이 서로 대체 불가능함을 입증합니다. 임상 교육에서 IT-보안 표준에만 의존하는 것은 실제 위해를 놓치고 무해한 사건을 오판하게 만듭니다.
4. 제안된 프레임워크: 다음으로 구성된 **최소 안전 스택(Minimum Safety Stack)**을 제안합니다.
   • 검증된 코퍼스에 대한 검색 증강 생성(RAG).
   • 표준화된 시스템 프롬프트.
   • 도메인 특화 루브릭으로 훈련된 LLM-as-judge 검증.
   • 도메인 교정된 안전 기준(이중 IT + 임상).

저자들은 임상 교육의 안전성은 베이스 모델에만 위임될 수 없으며, 기술적 제어와 도메인 교정된 평가를 결합한 전이 가능한 프레임워크가 필요하다고 결론짓습니다. 또한 미래의 의료 교육 적대적 안전 평가를 위해 삼각 역할 분리(개발자, 공격 작성자, 조사자)라는 방법론적 표준을 제안합니다.

참고: 본 논문은 100% 안전율이 특정 206개 공격 세트에 적용되는 것임을 명시하며, 무조건적인 안전을 주장하는 것이 아닙니다. 또한, 본 연구는 안전성을 평가한 것이지 교육적 효능을 평가한 것이 아니며, 이는 향후 전향적 교육 연구를 통해 입증되어야 합니다.