Consistent but Dangerous: Per-Sample Safety Classification Reveals False Reliability in Medical Vision-Language Models

1. 연구 배경 및 문제 제기 (Problem)

의료용 비전 - 언어 모델 (VLM) 은 임상 현장 (예: 흉부 X 선 판독) 에 빠르게 도입되고 있으며, 이러한 시스템의 핵심 요구사항은 **신뢰성 (Reliability)**입니다. 특히, 의미적으로 동일한 질문 (패러프레이징) 에 대해 모델이 일관된 답변을 내놓는 **일관성 (Consistency)**은 신뢰성의 중요한 지표로 간주되어 왔습니다.

그러나 본 논문은 기존의 일관성 평가 지표인 **플립률 (Flip Rate, 패러프레이즈 시 예측이 바뀌는 비율)**이 근본적인 결함을 가지고 있음을 지적합니다.

• 문제점: 모델이 이미지 내용을 분석하지 않고, 단순히 질문 텍스트의 패턴 (Text Patterns) 에만 의존하여 답변을 생성할 경우, 이미지가 제거되어도 동일한 답변을 내놓게 됩니다.
• 위험성: 이러한 모델은 완벽한 일관성 (0% 플립률) 을 보이지만, 실제 진단에는 전혀 기여하지 않는 **위험한 일관성 (False Reliability)**을 가집니다. 기존의 평가 방식은 이러한 모델을 안전하다고 오인하게 만들어 임상 배포 시 심각한 진단 누락이나 오진으로 이어질 수 있습니다.

2. 방법론 (Methodology)

저자들은 샘플 단위의 안전성을 평가하기 위해 4 분면 (Four-Quadrant) 안전성 분류 체계를 제안했습니다. 이는 두 가지 이진 속성 (이진 분류) 을 결합하여 정의됩니다.

가. 정의된 속성

1. 일관성 (Consistency): 의미적으로 동일한 여러 패러프레이즈 질문 ($q, q_1, \dots, q_K$) 에 대해 모델의 예측이 모두 동일한 경우.
2. 이미지 의존성 (Image Reliance): 이미지가 제거된 상태 (텍스트만 입력) 에서의 예측 ($f(\emptyset, q)$) 과 이미지 입력 시 예측 ($f(x, q)$) 이 다른 경우. 즉, 모델이 시각적 증거를 실제로 참고했는지 여부.

나. 4 분면 분류 체계 (Fig. 1)

이 두 속성을 조합하여 4 가지 범주로 분류합니다.

• Ideal (이상적): 일관성 있음 + 이미지 의존성 있음. (이미지를 기반으로 안정적으로 예측)
• Fragile (취약): 일관성 없음 + 이미지 의존성 있음. (이미지를 보지만 질문 표현에 민감함)
• Dangerous (위험): 일관성 있음 + 이미지 의존성 없음. (이미지를 보지 않고도 일관된 답변을 내는 가짜 신뢰성 상태)
• Worst (최악): 일관성 없음 + 이미지 의존성 없음. (불안정하고 근거 없음)

다. 실험 설정

• 모델: MedGemma-4B-IT (Base, Targeted LoRA, Full LoRA), LLaVA-Rad (Base, LoRA) 등 5 가지 구성.
• 데이터셋: MIMIC-CXR (균형 잡힌 데이터), PadChest (불균형 데이터, 'Yes' 비율 81%).
• 평가 지표: 플립률 (Flip Rate), 위험 분율 (Dangerous Fraction), 분면별 정확도, 예측 엔트로피.
• 기저선 (Baseline): 이미지 없이 텍스트만 입력하여 모델이 시각적 정보 없이도 동일한 예측을 내는지 확인.

3. 주요 기여 (Key Contributions)

1. 새로운 안전성 분류 체계 도입: 일관성과 이미지 의존성을 동시에 평가하여 '위험 (Dangerous)' 구역을 식별하는 4 분면 프레임워크를 제안했습니다.
2. 일관성 - 안전성 역설 (Consistency-Safety Paradox) 발견: 플립률이 낮을수록 (일관성이 높을수록) 오히려 '위험 (Dangerous)' 샘플의 비율이 높아지는 강한 음의 상관관계 ($r = -0.89$) 를 발견했습니다. 즉, 일관성 최적화는 이미지 기반 추론을 약화시키고 텍스트 단축키 (Shortcut) 학습을 유도합니다.
3. 기존 안전성 검사의 실패 증명: '위험' 샘플은 높은 정확도와 낮은 엔트로피 (높은 확신) 를 보여, 기존 불확실성 기반 (Uncertainty-based) 스크리닝이나 정확도만으로 탐지할 수 없음을 입증했습니다.
4. 실용적 배포 권장사항: 일관성 평가 시 반드시 텍스트 전용 기저선 (Text-only baseline) 테스트를 병행할 것을 제안했습니다. 이는 샘플당 추가 순전파 (Forward Pass) 한 번으로 구현 가능하며, 가짜 신뢰성을 즉시 드러냅니다.

4. 실험 결과 (Results)

• 위험 (Dangerous) 구역의 우세:
  • PadChest 데이터셋에서 LLaVA-Rad Base 모델은 98.5% 의 샘플이 '위험' 구역에 속했습니다. 이 모델은 플립률이 1.5% 로 매우 낮아 일관성이 완벽해 보였으나, 실제로는 이미지를 보지 않고도 동일한 답변을 내놓았습니다.
  • LoRA 파인튜닝을 통해 일관성을 높일수록 (Targeted/Full LoRA), 'Fragile' 샘플이 'Dangerous' 샘플로 이동하는 현상이 관찰되었습니다.
• 정확도의 함정 (Accuracy Trap):
  • '위험' 구역의 샘플은 '이상적 (Ideal)' 구역보다 더 높은 정확도를 보였습니다 (PadChest 에서 Targeted LoRA 기준: 위험 99.6% vs 이상적 26.1%). 이는 데이터셋의 불균형 (81% 'Yes') 으로 인해 모델이 'Yes'라고만 답하는 텍스트 단축키를 학습했기 때문이며, 이는 높은 정확도로 위장되어 있습니다.
• 엔트로피의 실패:
  • '위험' 샘플은 낮은 엔트로피 (높은 확신) 를 가지므로, 기존 불확실성 기반 필터링 기법으로는 탐지되지 않았습니다. 반면 'Fragile' 샘플은 높은 엔트로피를 보여 탐지가 가능했습니다.
• 상관관계:
  • 플립률과 위험 분율 사이에는 강한 음의 상관관계가 존재하여, 일관성 지표가 낮을수록 모델의 안전성은 오히려 악화됨을 보여줍니다.

5. 의의 및 결론 (Significance & Conclusion)

• 임상 배포의 함정: 현재 의료 AI 평가 관행은 정확도, 플립률, 확신도 (Confidence) 만을 중시합니다. 본 연구는 이러한 지표들만으로는 '위험' 모델을 걸러내지 못하며, 오히려 가장 위험한 모델을 선별할 수 있음을 경고합니다.
• 평가 패러다임의 전환: 일관성 (Consistency) 은 안전에 필수적이지만 충분조건은 아닙니다. 일관성 평가는 반드시 텍스트 전용 기저선 테스트와 함께 수행되어야 합니다.
• 실천 방안: 저자는 배포 전 체크리스트로 다음을 제안합니다:
  1. 플립률 계산.
  2. 이미지 제거 시 텍스트만 입력하여 예측 비교 (추가 순전파 1 회).
  3. 4 분면 분류 및 전체 분포 보고.
  4. '위험' 분율이 50% 를 초과하는 모델은 배포 금지.
• 미래 작업: 일관성 학습 목표 함수에 이미지 기반 제약 (Grounding constraints) 을 추가하여, 모델이 텍스트 단축키가 아닌 시각적 추론을 통해 일관성을 달성하도록 유도하는 연구가 필요함을 강조했습니다.

요약하자면, 이 논문은 의료용 비전 - 언어 모델이 "일관성 있게" 답변한다고 해서 반드시 "안전"한 것은 아니며, 오히려 이미지가 없는 상태에서도 일관된 답변을 내는 모델이 가장 위험할 수 있음을 체계적으로 증명하고, 이를 탐지하기 위한 간단하지만 효과적인 새로운 평가 프로토콜을 제시했습니다.