Towards Selection of Large Multimodal Models as Engines for Burned-in Protected Health Information Detection in Medical Images

기술 요약: 의료 이미지 내 PHI 감지를 위한 대규모 멀티모달 모델 선정

문제 제기
의료 이미지 내 보호된 건강 정보 (PHI) 의 탐지 및 말소 (redaction) 는 환자 프라이버시 및 규제 준수 (예: HIPAA) 에 필수적입니다. 기존 파이프라인은 텍스트를 추출하기 위한 광학 문자 인식 (OCR) 을 거친 후, PHI 를 분류하기 위해 개체명 인식 (NER) 또는 규칙 기반 시스템을 사용하는 순차적 프로세스에 의존합니다. 그러나 대규모 멀티모달 모델 (LMM) 의 등장으로 텍스트 추출 및 의미 분석 측면에서 개선 가능성이 제시되고 있습니다. 주요 과제는 의료 이미지 내 텍스트 영역의 효과적인 국소화 (localization) 입니다. 일반적인 LMM 은 본질적으로 다중 객체 국소화를 위해 훈련되지 않았기 때문에 불완전한 탐지 위험이 존재합니다. 또한, PHI 감지 파이프라인에서 전통적인 OCR 구성 요소를 LMM 으로 대체할 때 정확도, 지연 시간 (latency), 비용 간의 트레이드오프에 대한 체계적인 벤치마킹이 부족합니다.

방법론
본 연구는 RadPHI-test(합성, 복잡한 인장) 및 MIDI(DICOM 헤더 메타데이터) 데이터셋을 활용하여 두 가지 다른 파이프라인 구성에서 세 가지 주요 LMM인 GPT-4o, Gemini 2.5 Flash, Qwen2.5-VL 7B를 평가했습니다.

1. 국소화: 두 구성 모두 텍스트 인장을 탐지하고 바운딩 박스 컷 (crop) 을 생성하기 위해 YOLOv11을 활용합니다.
2. 구성 A (OCR + LMM 분석): 전통적인 OCR 엔진 (EasyOCR) 이 컷된 이미지에서 텍스트를 추출합니다. 생성된 문자열은 PHI 분류를 위해 LMM 에 입력됩니다.
3. 구성 B (LMM 엔드투엔드): LMM 은 이미지 컷에서 직접 텍스트 추출 (OCR 엔진 역할 수행) 과 PHI 분류를 모두 수행합니다.

평가 지표로는 추출을 위한 단어 오류율 (WER) 및 문자 오류율 (CER), PHI 분류를 위한 마이크로 정밀도 (precision) 및 재현율 (recall), 그리고 이미지당 평균 추론 지연 시간이 포함됩니다. 모델들은 독점 모델의 경우 API 기반 접근, 오픈 소스 Qwen 모델의 경우 로컬 배포 (Ollama 를 통해) 를 포함하여 다양한 제약 조건 하에서 테스트되었습니다.

주요 기여

• 체계적 벤치마킹: 이 논문은 PHI 감지를 위한 두 가지 아키텍처 설정 하에서 세 가지 최첨단 LMM(플래그십 하나, 독점 경량화 모델 하나, 오픈 소스 모델 하나) 에 대한 비교 분석을 제공합니다.
• 성능 vs 지연 시간 트레이드오프: 전통적인 OCR 대비 텍스트 추출을 위해 LMM 을 사용할 때 발생하는 지연 시간 패널티를 정량화하여, LMM 이 복잡한 패턴에서 우수한 OCR 정확도를 제공하지만 처리 시간을 크게 증가시킨다는 점을 밝혔습니다.
• 데이터셋별 통찰: 모델 성능은 데이터 특성에 크게 의존함을 강조합니다. LMM 은 복잡하고 대비가 낮거나 가려진 인장 (RadPHI-test) 이 있는 시나리오에서는 탁월한 성능을 발휘하지만, 더 깨끗하고 대비가 높은 데이터셋 (MIDI) 에서는 전통적인 OCR 을 일관되게 능가하지는 못합니다.
• 배포 전략: 저자들은 비동기식 배치 추론을 통한 실시간 말소 및 오프라인 배치 처리를 모두 지원하는 클라우드 서비스 (Google Cloud Platform) 를 활용한 모듈식 확장 가능 배포 아키텍처를 제안하여 의료 현장의 실용적 제약을 해결합니다.

결과

• OCR 성능: LMM 은 EasyOCR 대비 우수한 텍스트 추출 능력을 보여주어, 전통적 모델 (EasyOCR WER: 0.29) 에 비해 낮은 오류율 (WER: 0.03–0.05; CER: 0.02–0.03) 을 달성했습니다.
• 분류 정확도:
  • RadPHI-test(복잡한 인장) 에서는 Setup B(추출용 LMM) 가 일반적으로 Setup A 보다 높은 정밀도와 재현율을 보였으며, GPT-4o 는 0.99 초과의 정밀도 및 재현율을 달성했습니다.
  • MIDI(더 깨끗한 메타데이터) 에서는 Setup A(EasyOCR + LMM) 가 종종 Setup B 를 능가하여, 가독성 있는 텍스트의 경우 전통적인 OCR 이 충분하고 더 효율적임을 시사했습니다.
• 지연 시간: Setup A 에서 Setup B 로 전환 시 모델 및 데이터셋에 따라 19% 에서 76% 까지 상당한 지연 시간 증가가 발생했습니다. GPT-4o 는 가장 높은 지연 시간을 보인 반면, Gemini 2.5 Flash 와 Qwen2.5-VL 7B 는 낮은 지연 시간을 제공했으나 정확도 트레이드오프가 다양했습니다.
• 실패 모드: 분석 결과, LMM 은 극도로 작은 텍스트 영역 (<12 픽셀) 에서는 어려움을 겪으며, 특히 MIDI 데이터셋에서 값이 없는 "PATIENT NAME"과 같은 플레이스홀더를 PHI 로 착각하거나 왜곡하여 생성 (할루시네이션) 할 수 있음이 확인되었습니다.

의의 및 주장
이 논문은 LMM 이 도전적인 의료 이미지에 대해 우수한 의미 이해 및 OCR 능력을 갖추고 있지만, 그 채택은 계산 비용 및 지연 시간과 균형을 이루어야 한다고 결론지었습니다.

• 배치/오프라인 처리용: 속도보다 최대 정확도가 우선시되는 경우, 엔드투엔드 구성의 GPT-4o가 권장됩니다.
• 시간 민감 작업용: Gemini 2.5 Flash는 경쟁력 있는 정확도와 낮은 지연 시간 사이의 유리한 균형을 제공합니다.
• 프라이버시 제약 환경용: Qwen2.5-VL 7B는 복잡한 추론 작업에서의 초기 성능 부족을 해결하기 위해 미세 조정 (fine-tuning) 을 거친다면 온프레미스 배포를 위한 실현 가능한 오픈 소스 대안으로 제시됩니다.

저자들은 단일 "최적" 모델은 없으며, 선택은 의료 이미지의 복잡성, 요구되는 처리량, 엄격한 데이터 프라이버시 규정을 포함한 구체적인 운영 제약 조건에 달려 있음을 강조합니다. 본 연구는 실제 의료 워크플로우에서 효율성과 신뢰성을 균형 있게 맞추기 위해 전통적인 OCR 과 LMM 의 강점을 모두 활용하는 하이브리드 또는 최적화된 솔루션을 옹호합니다.