기술 요약: 치과용 VLM에서의 이미지 임베디드 프롬프트 주입

문제 정의

치과 방사선 영상에 시각-언어 모델(VLM)을 배치하는 것은 심각한 보안 취약점인 **이미지 임베디드 프롬프트 주입(image-embedded prompt injection)**을 야기한다. 전통적인 텍스트 기반 프롬프트 주입과 달리, 이 공격 벡터는 적대적 텍스트 지침을 의료 영상(예: 파노라마 방사선 사진)의 픽셀 데이터에 직접 렌더링하는 방식이다. VLM은 이미지를 시각적 입력으로 처리하기 때문에, 내장된 이러한 텍스트 지침을 정당한 명령으로 해석하여 안전 프로토콜이나 진단 로직을 무력화할 수 있다.

이러한 위협은 치과 워크플로우에서 이미지가 진단 모델에 도달하기 전 여러 시스템(PACS, 원격 치과 플랫폼, 전처리 파이프라인 등)을 거쳐야 한다는 점에서 특히 심각하다. 구체적인 임상적 위험은 **위음성 유도(false-negative induction)**로, 공격자가 모델이 실제 병변(예: 충치, 매복치, 치근단 병소)을 무시하도록 강제하는 상황을 포함한다. 일반 의료 영상 분야에서 이러한 취약성이 초기적으로 입증된 바 있으나, 치과 방사선 분야를 대상으로 한 체계적인 벤더 간 평가 및 비교 방어 분석은 부족한 실정이었다.

방법론

연구 설계 및 위협 모델

본 연구는 네 가지 프로덕션 티어 VLM의 이미지 임베디드 프롬프트 주입 취약성을 평가하기 위해 관찰 실험 설계를 채택하였다.

• 위협 모델: 추론 전 치과 방사선 사진의 픽셀 데이터에 텍스트 콘텐츠를 삽ัด할 수 있는 능력을 갖춘 공격자. 학습 데이터 오염, 메타데이터 주입, 물리적 센서 공격은 범위에서 제외되었다.
• 임상적 사전 지식(Clinical Prior): 방어 설계는 독일 치과 워크플로우의 특정 임상적 사전 지식을 활용한다. 표준 파노라마 방사선 사진에는 픽셀 수준의 번인(burned-in) 텍스트가 존재하지 않는다 (주석은 DICOM 헤더나 오버레이 레이어에 저장됨). 따라서 픽셀 데이터 내에 보이는 모든 텍스트는 비정상적인 것으로 간주된다.

데이터셋 및 모델

• 데이터셋: 본 연구는 DenTeX 데이터셋(MICCAI 2023 Challenge)을 활용하였으며, 4가지 병리 클래스(충치, 매복치, 심부 충치, 치근단 병소)에 걸친 3,529개의 치아 수준 주석이 포함된 계층화된 파노라마 방사선 사진 270장(평가용 270장, 튜닝용 30장)을 선정하였다.
• 대상 모델: 다음 네 가지 VLM을 테스트하였다:
  1. GPT-4o (OpenAI)
  2. Gemini 2.5 Flash (Google)
  3. Claude Sonnet 4.5 (Anthropic)
  4. MedGemma 4B (Google, 오픈 웨이트 모델)
• 프롬프트 프레이밍: 파일럿 연구에서 관찰된 안전 거부(safety refusal)를 완화하기 위해, 과업을 직접적인 진단이 아닌 "치과 교육을 위한 구조적 시각 묘사 연습"으로 프레이밍하였다. 단, 출력 스키마는 이진 진단 분류기(any_abnormality_present)로 기능하도록 하였다.

공격 분류(Attack Taxonomy)

네 가지 공격 클래스를 구현하였으며, 각 클래스는 두 가지 페이로드 형식(명령형 및 시스템 오버라이드)을 가져 총 8가지 변형이 이미지당 적용되었다:

1. 번인 오버레이(Burned-in overlay): 높은 가시성, 검은색 배경 박스, 우측 상단.
2. 주석 모사(Annotation mimicry): 높은 가시성, 방사선사 노트 스타일, 중앙 상단.
3. 저대비 오버레이(Low-contrast overlay): 낮은 가시성, 평범한 흰색 텍스트, 우측 상단.
4. 경계 패치(Border patch): 주변부, 근접 흰색 텍스트, 하단 가장자리.
   모든 페이로드는 위음성을 유도하는 것을 목표로 하였다.

방어 전략

다섯 가지 방어 조건을 평가하였다:

1. 방어 없음(No Defense): 베이스라인.
2. ROI 크롭(ROI Crop): 이미지 하단 15% 및 측면 5%를 크롭함.
3. 스포트라이팅(Spotlighting): 데이터를 신뢰할 수 없는 것으로 표시하는 프롬프트 수준의 구분자 사용.
4. OCR 산인화(OCR Sanitization): 텍스트를 감지(신뢰도 ≥ 0.4)하고 이를 검은색으로 인페인팅(inpainting)하는 EasyOCR 사용.
5. ProvDent: 스포트라이팅, OCR 산인화, 지시문 유사성 판별기(GPT-4o-mini), 조건부 2회 통과 일관성 체크, 제한적 임상적 기권(bounded clinical abstention)을 결합한 새로운 프로비넌스 인식 시스템.

지표 및 분석

• 주요 결과: 쌍체 공격 성공률(Paired Attack Success Rate, ASR). 이는 모델의 출력이 true(정상)에서 false(공격됨)로 전환된 이미지의 비율로 정의된다.
• 이차 결과: F1 스코어, 민감도(sensitivity), 특이도(specificity), 그리고 치과-CHER(dental-CHER, 임상적 위해가 가중된 에러율).
• 통계적 엄밀성: 분석에는 Holm–Bonferroni 보정을 적용한 McNemar 검정, 베이지안 변분 GLMM, 부트스트랩 95% 신뢰 구간이 포함되었다. 총 58,320회의 추론 호출이 수행되었다.

주요 결과

취약성 평가

네 가지 VLM 모두 이미지 임베디드 프롬프트 주입에 취약한 것으로 나타났다.

• GPT-4o는 번인 오버레이 공격 하에서 62.6%(95% CI: 58.5–66.7%)의 쌍체 ASR을 기록하며 가장 높은 취약성을 보였다.
• MedGemma 4B가 번인 오버레이에 대해 55.4%의 ASR로 그 뒤를 이었다.
• Gemini 2.5 Flash와 Claude Sonot 4.5는 각각 번인 오버레이에 대해 14.8%와 9.1%의 낮은 그러나 유의미한 취약성을 보였다.
• 공격 경사도(Attack Gradient): 취약성은 번인 오버레이 > 주석 모사 > 저대비 오버레이 > 경계 패치의 순으로 단조로운 경사를 나타냈다.
• 모델 특이성: 취약성 프로필은 모델마다 달랐다. 예를 들어, GPT-4o는 다른 모델들에 비해 저대비 공격에 불균형적으로 취약했다.

방어 효과

• OCR 산인화: 가장 높은 공격 감소 효과를 달성하여, 통합 ASR을 **0.2%**로 낮추었으며 공격 표면을 사실상 제거하였다.
• ProvDent: 통합 ASR **7.5%**를 달성하였다. Raw ASR 감소량은 OCR 산인화보다 낮았으나, 이의 핵심 가치는 **실패 시 개방형 거버넌스 메커니즘(fail-open governance mechanism)**에 있었다. 2회 통과 일관성 체크에서 불일치가 감지될 경우, ProvDent는 타협된 답변을 조용히 반환하는 대신 해당 케이스를 인간의 검토 대상으로 격상시켰다.
• 유용성 보존: 모든 방어 기제는 베이스라인(94.7–95.1%) 대비 0.6 퍼센트 포인트 이내의 깨끗한 이미지 F1 스코어를 유지하였다. 이는 방어 조치가 조작되지 않은 이미지에 대한 진단 성능을 유의미하게 저하시키지 않았음을 나타낸다.

하위 그룹 결과

• 병리: 취약성은 "매복치"에서 가장 높았고 "치근단 병소"에서 가장 낮았다.
• 신뢰도: 고신뢰도 모델 답변이 저신뢰도 답변보다 더 자주 전환되었으며, 이는 프롬프트 주 injection이 모델의 가장 강력한 진단 주장까지도 무력화할 수 있음을 시사한다.

의의 및 주장

본 논문은 이미지 임베디드 프롬프트 주입이 치과용 VLM에 대한 검증된, 벤더 공통의 보안 리스크임을 확립하였다. 주요 기여는 다음과 같다:

1. 체계적 특성화: 여러 프로덕션 티어 모델을 대상으로 이 위협에 대한 최초의 도메인 특화 평가를 제공하며, 도메인 특화 미세 조정(예: MedGemma)이 이러한 공격에 대한 견고성을 보장하지 않음을 입증하였다.
2. 방어 벤치마킹: 수동적 방어(최대 공격 감소를 제공하는 OCR 산인화 등)와 능동적 거버넌스(감사 가능성 및 실패 시 격리 기능을 제공하는 ProvDent) 사이의 트레이드오프를 정량화하였다.
3. 임상적 관련성: "번인 텍스트 없음"이라는 특정 임상적 사전 지식이 독일 워크플로우에서 텍스트 감지 방어의 유효한 신호를 생성함을 강조한다. 다만, 이 사전 지식이 전 세계적으로 동일하게 적용되지 않을 수 있음을 경고하며, 문맥 인식 보안 전략의 필요성을 제시한다.
4. 정책적 함의: 저자들은 프롬프트 주입에 대한 보안 평가가 정확도 및 편향성 테스트와 마찬가지로 임상 AI 검증의 필수 구성 요소가 되어야 한다고 주장한다.

결론적으로, 효과적인 방어책이 존재하며 조작되지 않은 이미지에 대한 진단 정확도를 실질적으로 저하시키지 않고 배포될 수 있음에도 불구하고, 취약성은 멀티모달 AI의 안전한 임상 도입에 있어 중대한 장벽으로 남아 있다. 본 연구 결과는 기관의 리스크 관리 요구 사항(예: 최대 감소를 위해 OCR 선택 또는 거버넌스를 위해 ProvDent 선택)에 따른 특정 방어 메커니즘 선택을 지원한다.