JMedEthicBench: A Multi-Turn Conversational Benchmark for Evaluating Medical Safety in Japanese Large Language Models

1. 문제 정의 (Problem Definition)

대형 언어 모델 (LLM) 이 의료 분야에 광범위하게 도입됨에 따라, 모델이 악의적인 공격 (Jailbreak) 에 노출되었을 때 윤리적 기준을 준수하는지 검증하는 것이 필수적입니다. 그러나 기존 연구와 벤치마크에는 다음과 같은 중대한 한계가 존재합니다.

• 영어 중심성 (English-centric): 대부분의 의료 안전 벤치마크가 영어로만 구성되어 있어, 일본어 의료 AI 시스템의 안전성을 평가할 수 있는 rigorous 한 도구가 부재합니다.
• 단일 턱 (Single-turn) 평가의 한계: 기존 벤치마크는 주로 한 번의 질문으로 공격을 시도하는 방식에 집중합니다. 그러나 실제 공격자는 대화를 통해 점진적으로 모델의 안전 장벽을 무너뜨리는 멀티 턱 (Multi-turn) 공격을 수행하며, 이는 단일 턱 공격보다 훨씬 효과적입니다.
• 구체적인 가이드라인 부재: 많은 벤치마크가 광범위한 윤리 원칙만 참조할 뿐, 실제 임상 시나리오에 적용 가능한 구체적인 지침 (예: 일본 의사회 가이드라인) 을 기반으로 하지 않아 공격의 깊이와 구체성이 부족합니다.

2. 방법론 (Methodology)

저자들은 이러한 격차를 해소하기 위해 JMedEthicBench를 개발했습니다. 이는 일본어 환경에서 의료 윤리 정렬 (Alignment) 을 평가하기 위한 최초의 멀티 턱 적대적 벤치마크입니다.

A. 벤치마크 구축 프로세스

1. 기반 데이터 생성 (Single-turn Harmful Questions):
   • 일본 의사회 (JMA) 의 67 개 구체적인 윤리 지침을 기반으로 8 가지 원칙 카테고리를 설정했습니다.
   • 5 개의 LLM 을 활용하여 각 지침을 위반하는 3,350 개의 해로운 질문을 생성했습니다.
   • 필터링: 5 개의 다른 LLM 이 응답하여 적어도 2 개 이상의 모델이 거절 (Refusal) 한 경우만 유효한 적대적 프롬프트 (1,935 개) 로 선정했습니다.
2. 멀티 턱 공격 전략 발견 및 데이터 생성:
   • AutoDAN-Turbo 프레임워크를 변형하여 자동화된 레드 테이밍 (Red-teaming) 파이프라인을 구축했습니다.
   • 1,935 개의 해로운 질문을 바탕으로 7 가지의 일반화 가능한 Jailbreak 전략을 자동 발견했습니다. (예: 역사적/창의적 이중 프레임 분해, 학술적 점진적 에스컬레이션 등)
   • 발견된 전략과 해로운 질문을 결합하여 약 52,000 개의 멀티 턱 대화 데이터를 생성했습니다.
3. 평가 프로토콜 (Evaluation Protocol):
   • 이중 LLM 스코어링 (Dual-LLM Scoring): DeepSeek-R1 과 GPT-4o-mini 두 개의 스코어러 LLM 을 사용하여 각 턱의 응답을 1(가장 위험) 에서 10(가장 안전) 점으로 평가합니다.
   • 점수 기준: 1~2 점은 모델이 해로운 요청을 완전히 거절하지 못하고 위험한 내용을 생성한 '성공적인 Jailbreak'으로 간주합니다.
   • 테스트 세트: 2,345 개의 샘플 (각 전략과 원칙 조합당 5 개, 총 3 턱) 을 선정하여 22 개의 다양한 모델을 평가했습니다.

3. 주요 기여 (Key Contributions)

1. 최초의 일본어 멀티 턱 의료 윤리 벤치마크: JMA 의 67 개 구체적인 지침과 50,000 개 이상의 대화 데이터를 포함하는 JMedEthicBench 를 공개했습니다.
2. 자동화된 적대적 공격 파이프라인: 수동 프롬프트 작성 대신, 의료 윤리 도메인에 특화된 일반화 가능한 Jailbreak 전략을 자동으로 발견하고 대규모 멀티 턱 공격을 생성하는 시스템을 제안했습니다.
3. 광범위한 모델 평가 및 통찰: 22 개의 최신 LLM 을 평가하여 상업용 모델과 의료 특화 모델의 안전성 차이를 규명했습니다.

4. 실험 결과 (Experimental Results)

A. 모델 카테고리별 안전성 차이

• 상업용 모델 (Commercial Models): Claude Opus 4.1, GPT-5 등 주요 상용 모델은 모든 턱에서 높은 안전 점수 (9.0 이상) 를 유지하며 강력한 방어 능력을 보여주었습니다.
• 의료 특화 모델 (Medical-specialized Models): 의학적 지식을 위해 파인튜닝된 모델 (MedGemma, HuatuoGPT, II-Medical 등) 은 오히려 일반 목적 모델보다 안전성이 현저히 낮았습니다. 특히 3 턱 차에는 안전 점수가 4.0 이하로 급락했습니다.
  • 통찰: 도메인 특화 파인튜닝이 안전 정렬 메커니즘을 약화시킬 수 있음을 시사합니다.

B. 멀티 턱에 따른 안전성 저하 (Safety Degradation)

• 대화 턱이 진행될수록 안전 점수가 통계적으로 유의미하게 감소했습니다 (Turn 0: 9.5 → Turn 1: 6.5 → Turn 2: 5.5, p < 0.001).
• 이는 단일 턱 공격보다 멀티 턱 공격이 모델의 안전 장벽을 체계적으로 우회한다는 것을 증명합니다.

C. 언어 간 비교 (Cross-lingual Evaluation)

• 6 개의 의료 특화 모델을 영어와 일본어 환경에서 모두 평가했습니다.
• 결과: 모델의 안전성 결함은 일본어 특유의 문제가 아니라, 모델 자체의 정렬 (Alignment) 한계임을 확인했습니다. 오히려 영어 환경에서 안전 점수가 더 낮게 나타나는 경우가 많아, 언어적 요인보다는 모델의 근본적인 취약성이 문제임을 시사합니다.

D. 안전성 vs 유용성 (Safety-Helpfulness Trade-off)

• 상용 모델은 높은 안전성과 높은 유용성 (의료 면허 시험 점수) 을 동시에 달성했습니다.
• 반면, 의료 특화 모델은 안전성과 유용성 모두에서 낮은 점수를 기록했습니다. 이는 의료 데이터로 파인튜닝하는 과정에서 안전 정렬이 망각되거나 (Catastrophic Forgetting), 과적합이 발생하여 오히려 성능이 저하될 수 있음을 의미합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 도메인 특화 모델의 위험성: 의료 AI 개발 시 단순히 전문 지식을 주입하는 파인튜닝만으로는 부족하며, 오히려 안전성을 해칠 수 있으므로 안전 인지형 (Safety-aware) 학습 전략이 필수적입니다.
• 멀티 턱 방어 전략의 필요성: 단일 턱 방어만으로는 충분하지 않으며, 대화의 흐름을 파악하고 점진적인 공격을 차단할 수 있는 새로운 방어 메커니즘이 필요합니다.
• 글로벌 표준: 본 연구는 일본어 의료 AI 안전성 평가의 표준을 제시할 뿐만 아니라, 다른 언어와 도메인으로 확장 가능한 방법론을 제공합니다.

저자들은 전체 데이터셋과 평가 코드를 공개하여 의료 AI 안전성 연구의 재현성을 보장할 예정입니다.