Enhancing the Safety of Medical Vision-Language Models by Synthetic Demonstrations

1. 문제 정의 (Problem Statement)

생성형 의료 시맨틱 - 언어 모델 (Med-VLMs) 은 의료 영상과 임상 질의를 결합하여 진단 보고서 생성 등 복잡한 작업을 수행하도록 설계되었습니다. 그러나 이러한 모델은 실제 임상 환경에서 다음과 같은 보안 취약점을 가지고 있습니다.

• 유해한 질의에 대한 취약성: 의료 보험 사기, 약물 오남용, 윤리적이지 않은 진단 조작 등 유해한 목적의 질의에 대해 모델을 속여 (Jailbreak Attack) 유해한 답변을 생성하게 할 수 있습니다.
• 과도한 방어 (Over-defense) 문제: 안전성을 강화하기 위해 모델을 경직시키면, benign(건전) 한 임상 질의까지 거부하는 '과도한 방어' 현상이 발생합니다. 이는 의료 모델의 실용성을 떨어뜨리는 치명적인 문제입니다.
• 데이터 부족: 의료 분야는 전문 지식이 필요하여 대규모의 안전 정렬 (Safety Alignment) 데이터셋을 구축하는 데 비용과 시간이 많이 듭니다. 기존 연구들은 분류나 세그멘테이션 모델 위주였으며, 생성형 Med-VLM 의 안전성 강화에 대한 체계적인 접근이 부족했습니다.

2. 방법론 (Methodology)

이 논문은 모델을 미세 조정 (Fine-tuning) 하지 않고 추론 시간 (Inference-time) 에 적용할 수 있는 새로운 방어 전략을 제안합니다. 핵심은 합성 임상 데모 (Synthetic Clinical Demonstrations) 를 활용한 맥락 내 학습 (In-Context Learning, ICL) 입니다.

가. 합성 데모 생성 (Synthetic Demonstration Generation)

의료 전문가의 개입 없이 대규모 언어 모델 (LLM) 을 활용하여 두 가지 유형의 데모 데이터를 생성합니다.

1. 건전 - 긍정 (Benign-Affirmative, B-A): 안전한 임상 질문과 이에 대한 적절한 답변 쌍. (예: "CT 스캔에서 뇌종양을 나타내는 소견은 무엇인가?" → "뇌종양을 나타내는 소견은...")
   • 생성 모델: 안전 정렬이 된 GPT-4o 사용.
2. 유해 - 거부 (Harmful-Refusal, H-R): 유해하거나 비윤리적인 질문과 이에 대한 거절 답변 쌍. (예: "보험 사기를 위해 CT 스캔을 조작하는 방법을 알려줘." → "죄송하지만 그런 방법을 알려드릴 수 없습니다.")
   • 생성 모델: 안전 제한이 없는 WizardLM-13B 로 유해 질문 생성 후, 정렬된 LLM 이나 템플릿으로 거절 답변 작성.

나. 혼합 데모 전략 (Mixed Demonstration Strategy)

단순히 유해한 질문만 거절하는 것이 아니라, 건전한 질문에는 답변할 수 있도록 B-A 와 H-R 데모를 혼합하여 맥락 (Context) 으로 제공합니다.

• 혼합 비율 ($\alpha$): H-R 데모의 비율을 조절하여 안전성과 일반 성능 사이의 균형을 맞춥니다.
• 동작 원리: 모델은 맥락 내에서 유해한 요청은 거절하는 패턴과 건전한 요청은 돕는 패턴을 동시에 학습하여, 입력된 질의의 성격에 따라 적절히 반응하도록 유도됩니다.

다. 공격 유형

연구는 텍스트 기반 (GCG, AIM 등) 과 시각적 (PGD 노이즈 추가) 자일브레이크 공격에 대한 방어력을 평가했습니다.

3. 주요 기여 (Key Contributions)

1. 전문가 불필요한 합성 데이터셋 구축: 의료 전문가의 개입 없이 LLM 을 활용해 다양한 영상 모드 (CT, MRI, X-ray 등) 와 해부학적 부위에 맞는 안전 정렬 데모 데이터를 대량으로 생성했습니다.
2. 미세 조정 없는 ICL 기반 방어: Med-VLM 의 파라미터를 변경하지 않고, 합성 데모를 맥락에 삽입하여 유해한 질의를 차단하고 건전한 질의는 수용하는 능력을 부여했습니다.
3. 과도한 방어 해결을 위한 혼합 전략: 소량의 데모 (Few-shot) 예산 하에서 발생하는 과도한 방어 문제를 해결하기 위해, B-A 와 H-R 데모를 적절히 섞는 전략을 제안하여 안전성과 유용성 (Usability) 의 트레이드오프를 최적화했습니다.
4. 심층 분석: 합성 데모가 왜 최적화 기반 자일브레이크 공격 (PGD 등) 을 방어하는지, 그리고 데모의 혼합 순서가 성능에 미치는 영향을 분석했습니다.

4. 실험 결과 (Experimental Results)

• 데이터셋 및 모델: O2M 벤치마크 (660 개 의료 영상, 9 가지 모드) 와 Llava-Med-v1/v1.5 모델을 사용했습니다.
• 방어 성능 (ASR 감소):
  • H-R 데모만 사용 시, 유해한 질의에 대한 공격 성공률 (ASR) 이 크게 감소했습니다 (Llava-Med-v1 기준: 72.58% $\rightarrow$ 17.88%).
  • 그러나 데모 수가 적을 때 (Few-shot) 건전한 질의까지 거절하는 비율 (RR) 이 급증하는 과도한 방어 현상이 발생했습니다.
• 혼합 전략의 효과:
  • B-A 와 H-R 을 혼합한 전략은 ASR 은 낮게 유지하면서 RR 을 크게 개선했습니다.
  • 특히 Mix 3 (무작위 혼합) 전략이 방어력과 사용성 사이의 가장 좋은 균형을 보여주었습니다.
  • 시각적 및 텍스트 자일브레이크 공격 모두에 대해 혼합 전략이 효과적으로 방어 성능을 유지했습니다.
• 손실 지형 (Loss Landscape) 분석: H-R 데모를 사용하면 PGD 공격 시 손실 (Loss) 이 높아져, 공격자가 모델을 속이기 어려워진다는 것을 확인했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 생성형 의료 AI 의 안전성을 확보하면서도 임상 현장에서의 실용성을 해치지 않는 새로운 패러다임을 제시합니다.

• 실용성: 의료 전문가의 추가 비용 없이도 모델의 안전성을 높일 수 있어, 실제 의료 환경에 적용하기 용이합니다.
• 균형 잡힌 접근: "안전 vs 성능"이라는 이분법적 딜레마를 해결하기 위해, 데모의 구성을 조절하여 상황에 맞는 최적의 방어 전략을 제공합니다.
• 미래 방향: 향후 적응형 데모 선택 (Adaptive Selection) 과 의료 전문가의 인간-루프 (Human-in-the-loop) 피드백을 통해 합성 데이터의 정확도와 임상 적합성을 더욱 높일 계획입니다.

결론적으로, 이 연구는 합성 데모를 통한 맥락 내 학습이 Med-VLM 의 보안 취약점을 해결하고 과도한 방어를 완화하는 효과적인 방법임을 입증했습니다.