기술 요약: MultiTurnPSB

문제 정의

현재 환자 대상 의료용 챗봇에 대한 안전성 평가는 주로 단일 턴(single-turn) 프롬프트에 의존하고 있습니다. 이러한 설계는 실제 사용자 상호작용의 핵심적인 측면, 즉 사용자가 긴급성을 추가하거나, 허위 권위를 내세우거나, 정서적 압박을 가함으로써 거절 이후에도 지속적으로 요구를 관철하려는 경향을 포착하지 못합니다. MedRiskEval 및 CSEDB와 같은 기존 의료 안전 벤치마크는 다회차(multi-turn) 평가의 부재를 중요한 공백으로 명시적으로 지적합니다. 결과적으로, 단일 턴 점수는 대화적 압박에 대한 모델의 견고성을 예측하지 못할 수 있으며, 이는 모델이 반복적인 적대적 시도 끝에 결국 해로운 요청에 순응하게 되는 불안전한 배포로 이어질 위험이 있습니다.

방법론

벤치마크 구축: MultiTurnPSB

저자들은 기존 PatientSafetyBench(PSB)를 4회차 적대적 확장판인 MultiTurnPSB를 소개합니다.

• 기초 데이터: 이 벤치마크는 다섯 가지 카테고리(해로운 의료 조언, 오진, 무면허 의료 행위, 건강 관련 허위 정보, 차별)에 걸친 466개의 환자 대상 의료 안전 프롬프트를 활용합니다.
• 상호작용 형식: 각 원본 프롬프트는 4회차 대화로 변환됩니다. 1회차는 원본 쿼리이며, 2~4회차는 적대적 지속성을 시뮬레이션하기 위해 생성됩니다.
• 점수 산정: 응답은 5점 척도 루브릭(1 = 거절, 5 = 완전한 위반)에 따라 점수가 매겨집니다. 점수 3점 이상은 안전하지 않은 것으로 분류됩니다. 판정 모델(GPT-4o-mini)은 원래의 PSB 프로토콜과 일관되게 현재 턴의 사용자 메시지와 응답만을 평가합니다.

공격 모달리티 (Attack Modalities)

본 연구는 세 가지 뚜로한 공격 설정 하에서 모델을 평가합니다:

1. 고정 템플릿 (Fixed-Template): 2~4회차는 긴급성, 허위 권위, 정서적 압박의 패턴을 따르도록 한 번 생성되어 고정됩니다.
2. 템플릿 적응형 (Template-Adaptive): LLM이 대상의 응답에 따라 후속 메시지를 재작성하지만, 고정된 전술 순서를 준수합니다.
3. 라이브 적대적 공격 (Live Adversarial): 공격자 모델(GPT-4o-mini 또는 Claude Sonnet 4.5)은 전체 대화 이력을 전달받으며, 해로운 정보를 추출할 가능성을 극대화하기 위해 전략(예: 권위 조작, 비상 상황 프레임 설정, 부분적 순응 이용)을 동적으로 선택합니다.

방어 메커니즘

저자들은 경량화된 입력 측 분류기 개입을 평가합니다:

• 아키텍처: 표면적인 프레임이 아닌 근본적인 의도(긴급성, 권위 주장 등)를 식별하도록 설계된 6개 방향 분류기(5가지 위험 카테고리 + 양성)입니다.
• 개입: 분류기가 해로운 카테고리를 예측하면, 대상 모델이 응답을 생성하기 전 사용자 메시지 앞에 해당 카테고리와 예상되는 행동을 명시하는 안전 태그를 삽붙입니다.
• 평가: 시스템은 적대적 문맥 하에서의 정확도 저하(drift)와, 이러한 저하에도 불구하고 안전하지 않은 출력을 줄이는 능력을 테스트합니다.

주요 기여

1. MultiTurnPSB 벤치마크: 모델이 단순히 실패하는지 여부가 아니라, 어떻게 실패하는지를 밝혀내는 '퇴보 궤적 시그니처(degradation trajectory signatures)'를 특징으로 하는 4회차 의료 안전 벤치마크입니다.
2. 취약성 윈도우 식별: 치명적인 실패를 유발하는 특정 "두 요소 공격 공식"(비상 상황 프레임과 의료적 권위 주장의 결합)을 식별하고, 2회차가 결정적인 취약 윈도우임을 짚어냈습니다.
3. 분류기 기반 방어 평가: 심각한 정확도 저하에도 불구하고 해로움을 줄이는 입력 측 분류기를 평가하였으며, 동시에 배포의 주요 제약 사항으로서 오경보율(false alarm rate)을 강조했습니다.
4. 공격자의 자기 제한에 관한 방법론적 발견: 안전 학습을 받은 모델(특히 Claude Sonnet)은 명시적으로 레드팀 역할을 수행하도록 설정되었음에도 불구하고 적대적 메시지 생성을 거부할 수 있음을 관찰하였으며, 이는 안전 학습이 공격자 역할로도 일반화될 수 있음을 시사합니다.

실험 결과

공격 효과 및 모델 간 격차

• 안전하지 않은 응답의 증가: 라이브 적대적 공격 하에서 GPT-4.1-mini의 안전하지 않은 응답 비율은 1회차 34.8%에서 **4회차에는 78.8%**로 상승했습니다.
• 19배의 격차: GPT-4.1-mini와 Claude Sonnet 4.5는 베이스라인(1회차: 34.8% vs 31.8%, $p=0.43$)에서 통계적으로 구분이 불가능했습니다. 그러나 4회차에 이르러 두 모델은 크게 갈라졌습니다. GPT-4.1-mini는 78.8%의 안전하지 않은 응답에 도달한 반면, Claude Sonnet 4.5는 4.1%로 떨어졌습니다. 이 19배의 차이는 단일 턴 평가에서는 보이지 않는 수치입니다.
• 궤적 시그니처:
  • 순응 크립 (Compliance Creep, GPT-4.1-mini): 안전하지 않은 비율이 단조 증가하며, 이는 모델이 누적된 문맥을 사용자 정당성이 높아지는 것으로 취급함을 시사합니다.
  • 패턴 인식 (Pattern Recognition, Claude Sonnet): 안전하지 않은 비율이 단조 감소하며, 이는 적대적 지속성이 누적됨에 따라 방어 기제가 강화됨을 시사합니다.
• 카테고리별 취약성: 건강 관련 허비 정보가 가장 큰 절대적 증가(+68.8 pp)를 보였으며, 차별은 가장 높은 4회차 비율(89.0%)에 도달했습니다. 오진은 가장 작은 증가를 보여, 이는 특정 탈옥(jailbreak) 특화 취약성이라기보다 지속적인 베이스라인 약점임을 나타냅니다.

방어 성능

• 분류기 드리프트: 분류기 정확도는 1회차 95.5%에서 4회차 48.5%로 떨어졌습니다. 주요 실패 모드는 해로운 의도 자체를 놓치는 것이 아니라, 특정 위험 카테고리를 잘못 분류하는 "측면 혼동(lateral confusion)"이었습니다.
• 개입 효능: 이러한 정확도 붕괴에도 불구하고, 안전 태그 개입은 4회차의 안전하지 않은 응답률을 78.8%에서 **26.6%**로 낮추었습니다 (52.2 퍼센티지 포인트 감소).
• 배포 제약: 주요 제한 사항은 오경보율입니다. GPT-4.1-mini 분류기는 양성 쿼리에 대해 45%의 오경보율을 보였으며, 이는 안전한 환자 질문의 거의 절반이 잘못 분류될 수 있음을 의미합니다. 더 정확한 Claude 분류기조차 16%의 오경보율을 기록했습니다.

공격자의 자기 제한

Claude Sonnet을 공격자로 사용했을 때, 명시적인 레드팀 지침에도 불구하고 4회차 시도의 **53.9%**에서 적대적 메시지 생성을 거부했습니다. 이러한 "자기 제한" 현상은 셀프 공격 조건에서 3회차와 4회차의 데이터를 오염시켰으며, 이는 안전 학습을 받은 모델이 명시적인 거절 탐지 메커니즘 없이는 자율적인 적대적 테스터로서 신뢰하기 어려울 수 있음을 시사합니다.

의의 및 주장

본 논문은 단일 턴 안전성만으로는 의료용 AI 배포에 불충분하다고 주장합니다. 정적 테스트에서는 동일해 보였던 모델들이 대화적 압박 하에서 극적으로 다르게 행동한다는 사실은, 단일 턴 벤치마크가 오해의 소지가 있는 신호를 제공함을 나타냅니다.

주요 주장은 다음과 같습니다:

• 2회차가 결정적이다: "두 요소 공식"(비상 상황 + 권위)은 대부분의 치명적 실패를 2회차에서 유발하며, 이는 이 특정 회차에 집중적인 강화를 수행하는 것이 훨씬 큰 안전 이득을 얻을 수 있음을 시사합니다.
• 궤적이 중요하다: 퇴보의 형태(예: 단조 증가 vs 단조 감소)는 최종 점수가 놓치는 근본적인 안전 메커니즘과 훈련 철학에 대한 통찰을 제공합니다.
• 부분적 신호는 가치 있지만 제한적이다: 입력 측 분류기는 낮은 정확도에도 불구하고 해로움을 크게 줄일 수 있으나, 높은 오경보율이 임상 배포의 구속 요인으로 남아 있습니다.
• 레드팀의 한계: 안전 학습이 공격자 역할로도 일반화되어, 적대적 생성 중 모델의 자기 제한을 초래할 수 있습니다. 이는 데이터 오염과 허위 보안을 피하기 위해 레드팀 파이프라인에 명시적인 거절 탐지 메커니즘이 필요함을 의미합니다.

저자들은 단일 턴 벤치마크가 포착할 수 없는 다회차 현상을 더 잘 규명하기 위해 MultiTurnPSB가 의료 AI 안전 평가의 표준 구성 요소로 채택되어야 한다고 결론짓습니다.