MammoWise: Multi-Model Local RAG Pipeline for Mammography Report Generation

이 논문은 MammoWise 라는 로컬 멀티모델 파이프라인을 제안하여 오픈 소스 비전 - 언어 모델을 활용하고 RAG 및 QLoRA 미세조정 기술을 통해 유방촬영술 보고서 생성 및 분류의 정확성과 재현성을 향상시키는 실용적인 프레임워크를 제시합니다.

핵심

이 논문은 **'맘모와이즈 (MammoWise)'**라는 새로운 시스템을 소개합니다. 쉽게 말해, **방사선 전문의 (유방 촬영 판독 의사) 를 돕기 위해 만든 '똑똑한 인공지능 비서'**라고 생각하시면 됩니다.

이 비서가 하는 일은 유방 촬영 (맘모그램) 사진을 보고, 의사가 쓰는 것처럼 정교한 보고서를 작성하고, 암의 위험도를 판단하는 것입니다.

이 복잡한 내용을 일상적인 비유로 설명해 드릴게요.

---

1. 왜 이 시스템이 필요한가요? (문제 상황)

지금까지 유방 촬영 사진을 보고 보고서를 쓰는 일은 매우 바쁜 전문의가 직접 해야 했습니다.

• 문제점 1: 최신 인공지능 기술 (클라우드 기반) 은 좋지만, 환자 정보를 외부로 보내야 해서 개인정보 보호 문제가 있고, 비용도 비쌉니다.
• 문제점 2: 일반 인공지능은 사진을 보고 "여기에 이상한 점이 있어요"라고 말은 해도, 의사가 쓰는 전문적인 용어로 보고서를 쓰거나 정확한 등급을 매기는 데는 서툴러서, 때로는 엉뚱한 소리를 하기도 합니다 (할루시네이션).

2. 맘모와이즈는 어떻게 해결하나요? (해결책)

맘모와이즈는 병원 내부에서 안전하게 작동하는 (로컬) 인공지능 도구입니다. 마치 의사가 책상 위에 두는 만능 작업대 같은데, 세 가지 단계로 지능을 키워줍니다.

① 단계 1: "지시만 내리면 알아서 해" (프롬프팅)

가장 기본적인 단계입니다.

• 비유: 신입 사원에게 "이 사진을 보고 '유방 밀도', '이상 유무', '암 위험 등급'을 JSON 이라는 정해진 양식에 맞춰 써줘"라고 **지시 (프롬프트)**만 내리는 것입니다.
• 결과: 지시를 잘 따르면 보고서 초안은 꽤 잘 작성합니다. 하지만 "정확한 등급"을 매기는 건 여전히 실수가 있을 수 있습니다.

② 단계 2: "유사한 사례를 찾아서 참고해" (RAG - 검색 증강 생성)

의사도 처음 보는 환자가 나오면, 과거의 유사한 사례를 찾아보며 참고하죠. 맘모와이즈도 똑같이 합니다.

• 비유: 새로운 환자가 오면, 시스템이 과거의 성공적인 보고서 5 개를 찾아와서 "이런 경우에는 보통 이렇게 썼어"라고 옆에 붙여줍니다. (벡터 데이터베이스 검색)
• 효과: 보고서의 문장 다듬기 (텍스트 생성) 는 훨씬 자연스러워지고, 의사의 판단을 돕는 맥락을 제공합니다. 하지만 등급 판정만은 여전히 완벽하지 않을 수 있습니다.

③ 단계 3: "실전 훈련을 시켜라" (파인튜닝 - QLoRA)

이게 가장 중요한 부분입니다. 지시만 내리거나 사례를 보여주는 것만으로는 부족할 때, 실제 데이터로 훈련을 시킵니다.

• 비유: 신입 사원에게 단순히 "이렇게 해"라고 말하는 게 아니라, 수천 장의 실제 유방 촬영 사진과 정답 보고서를 보여주며 실전 훈련을 시키는 것입니다.
• 특이점: 이 훈련은 전체 뇌를 다시 만드는 게 아니라, **가벼운 어댑터 (QLoRA)**만 교체하는 방식이라 비용이 적게 들고 빠릅니다.
• 결과: 훈련을 받은 뒤에는 **암 위험 등급 (BI-RADS)**이나 석회화 유무를 판단하는 정확도가 비약적으로 상승합니다. 마치 수련을 마친 베테랑 의사가 된 것처럼 말이죠.

3. 이 시스템의 핵심 성과

연구진은 이 시스템을 통해 다음과 같은 결론을 내렸습니다.

1. 보고서 작성은 '지시 + 검색'으로 충분: 의사가 읽을 만한 자연스러운 보고서 문장을 만드는 데는 1, 2 단계 (지시와 사례 검색) 만으로도 훌륭합니다.
2. 정확한 진단은 '훈련'이 필수: 하지만 "암 위험도 3 단계인가 4 단계인가?"처럼 숫자로 딱 떨어지는 정확한 진단을 내리려면, 3 단계 (실전 훈련) 가 꼭 필요합니다. 훈련을 시키지 않으면 인공지능이 헷갈려서 틀릴 확률이 높습니다.
3. 개인정보 보호: 모든 과정이 병원 내부 컴퓨터에서 끝나므로, 환자 정보가 외부로 유출될 염려가 없습니다.

4. 요약: 이 연구가 우리에게 주는 메시지

이 논문은 **"인공지능이 의사를 대체하는 게 아니라, 의사를 돕는 최고의 도구가 될 수 있다"**는 것을 보여줍니다.

• 기존 방식: 클라우드에 의존하거나, 특정 작업만 하는 딱딱한 시스템.
• 맘모와이즈 방식: **열린 소스 (Open Source)**를 기반으로, 병원 내부에서 자유롭게 실험하고, 필요하면 지시를 주거나 사례를 찾아주거나 훈련을 시켜서 상황에 맞게 최적화할 수 있는 유연한 플랫폼입니다.

결국, 맘모와이즈는 의사가 더 빠르고 정확하게 환자를 진료할 수 있도록, 개인정보를 지키면서 인공지능을 현실에 적용할 수 있는 실용적인 청사진을 제시한 것입니다.

기술 요약

논문 개요: MammoWise

이 논문은 유방 촬영 (Mammography) 보고서 생성 및 다중 태스크 분류를 위해 오픈 소스 비전 - 언어 모델 (VLM) 을 활용하는 **로컬 실행 가능한 멀티 모델 파이프라인인 'MammoWise'**를 제안합니다. 기존 클라우드 기반 폐쇄형 모델의 프라이버시 및 비용 문제와 특정 작업에 종속된 아키텍처의 한계를 극복하고, 의료 현장에 즉시 적용 가능한 확장성 있는 솔루션을 제시합니다.

1. 문제 정의 (Problem Statement)

• 현황: 유방 촬영 스크리닝은 고밀도, 시간 민감성, 문서 작업이 많은 업무입니다. 방사선 전문의는 미세한 시각적 소견을 일관된 BI-RADS 평가, 유방 밀도 카테고리, 서술형 보고서로 변환해야 합니다.
• 기존 접근법의 한계:
  • 프라이버시 및 비용: 최신 VLM 기반 보고서 생성 연구의 상당수가 폐쇄형 클라우드 모델을 사용하며, 이는 환자 정보 (PHI) 의 외부 전송, 높은 운영 비용, 재현성 부족 등의 문제를 야기합니다.
  • 적응성 부족: 오픈 소스 VLM 은 로컬에서 실행 가능하지만, 유방 촬영에 특화되지 않아 '그대로 (out-of-the-box)' 사용할 경우 임상적으로 타당하지 않은 내용이 생성되거나 미세 분류 성능이 낮습니다.
  • 프롬프트 엔지니어링의 한계: 프롬프트만으로는 정교한 분류가 어렵고, 파인튜닝은 비용이 많이 들고 모델/데이터셋에 종속적입니다.
• 목표: 로컬 환경에서 실행 가능하면서도 프롬프트, 검색 증강 생성 (RAG), 경량 파인튜닝을 통합하여 일관된 워크플로우를 제공하는 프레임워크 개발.

2. 방법론 (Methodology)

MammoWise 는 Ollama 호스팅 VLM 을 지원하며, 데이터 전처리부터 평가까지 통합된 모듈식 파이프라인을 제공합니다.

2.1 데이터 및 전처리

• 데이터셋: VinDr-Mammo(베트남, 5,000 명, 20,000 장) 와 DMID(인도, 510 장) 데이터셋 사용.
• 이미지 병합: 각 환자의 4 개 뷰 (우/좌 CC, 우/좌 MLO) 를 하나의 합성 이미지로 병합하여 방사선 전문의가 좌우 대칭을 비교하는 방식과 유사하게 구성 (512x512 픽셀).
• RAG 를 위한 임베딩: 이미지 - 텍스트 쌍을 멀티모달 임베딩 (OpenCLIP 기반) 으로 변환하여 ChromaDB 벡터 데이터베이스에 저장합니다.

2.2 모델 선택

Ollama 를 통해 로컬 호스팅 가능한 3 가지 오픈 소스 VLM 을 비교 평가했습니다:

1. MedGemma: 구글의 의료 특화 VLM (4B 파라미터).
2. LLaVA-Med: 생의학 데이터로 파인튜닝된 LLaVA 기반 모델 (7B).
3. Qwen2.5-VL: 고해상도 이미지 인식에 강점이 있는 모델 (7B).

2.3 적응 전략 (Adaptation Strategies)

연구는 세 가지 주요 전략을 비교합니다:

1. 프롬프트 엔지니어링: 제로샷 (Zero-shot), 퓨샷 (Few-shot), 체인 오브 씽킹 (CoT) 프롬프팅 적용.
2. 멀티모달 RAG (Retrieval-Augmented Generation): 입력된 유방 촬영 이미지와 가장 유사한 이미지 - 텍스트 예시 5 개를 벡터 DB 에서 검색하여 프롬프트에 포함시킴. 이를 통해 컨텍스트를 제공하고 할루시네이션을 줄임.
3. 경량 파인튜닝 (QLoRA): MedGemma 모델을 VinDr-Mammo 데이터셋으로 QLoRA(Quantized Low-Rank Adaptation) 를 통해 파인튜닝. 클래스 불균형 (BI-RADS 1, 2 는 과소표본, 3, 4, 5 는 증강) 을 해결하기 위해 데이터 재분배 및 증강을 수행.

2.4 평가 지표

• 생성 품질: BERTScore, ROUGE-L (서술형 보고서의 의미적 유사성).
• 분류 성능: BI-RADS(5 클래스), 유방 밀도 (ACR A-D), 의심도 (Suspicion) 의 정확도, 정밀도, 재현율, F1 점수.
• 이진 분류: 종양 (Mass), 석회화 (Calcification), 비대칭 (Asymmetry) 유무.

3. 주요 기여 (Key Contributions)

1. MammoWise 파이프라인: 오픈 소스 VLM 을 유방 촬영 보고서 생성기 및 다중 태스크 분류기로 변환하는 로컬 실행 가능 멀티 모델 파이프라인 제공.
2. 멀티모달 RAG 워크플로우: 이미지 - 텍스트 벡터 DB 를 활용한 사례별 퓨샷 컨텍스트 제공 메커니즘 구현.
3. 체계적 비교 분석: 프롬프팅, RAG, QLoRA 파인튜닝을 다양한 모델과 데이터셋에서 비교하며, 서술형 보고서 품질과 임상 라벨 정확도를 통합 평가.
4. 경량 파인튜닝의 효과 입증: 파라미터 효율적 파인튜닝 (QLoRA) 이 분류 성능을 안정화하고 크게 향상시킨다는 실증적 증거 제시.

4. 실험 결과 (Results)

4.1 보고서 생성 (Report Generation)

• 일반적 경향: 퓨샷 프롬프팅과 RAG 를 결합했을 때 보고서의 텍스트 유사성 (BERTScore, ROUGE-L) 이 향상되었습니다.
• 데이터셋별 차이: VinDr-Mammo 에서는 RAG 가 일관된 향상을 보였으나, DMID 에서는 검색된 예시가 원본과 불일치할 경우 오히려 성능이 저하되는 등 데이터셋 특성에 민감하게 반응했습니다.

4.2 구조화된 라벨 분류 (Structured Label Classification)

• 프롬프팅 vs RAG: 프롬프팅만으로는 분류 성능이 모델과 데이터셋에 따라 크게 변동되었습니다. RAG 는 일부 태스크에서 성능을 안정화시켰지만, 모든 태스크에서 일관된 향상을 보장하지는 않았습니다.
• QLoRA 파인튜닝의 압도적 성과:
  • BI-RADS 정확도: 프롬프팅 (최대 0.2493) → RAG (0.3190) → **QLoRA (0.7545)**로 급격히 향상.
  • 유방 밀도 정확도: 0.7420 → 0.7862 → 0.8840.
  • 석회화 정확도: 0.6641 → 0.7441 → 0.9341.
  • 질량 (Mass) 정확도: 0.5441 → 0.7791 → 0.8740.
  • 결론: 신뢰할 수 있는 구조화된 분류가 필요한 경우, 경량 파인튜닝이 프롬프팅이나 RAG 보다 훨씬 효과적입니다.

4.4 기존 SOTA 모델과의 비교

• 파인튜닝된 MedGemma 는 VinDr-Mammo 에서 BI-RADS 분류 (0.7545) 와 유방 밀도 분류 (0.884) 에서 PubMedCLIP, LLaVA-Mammo 등 기존 최고 성능 모델들을 능가하거나 견줄 만한 성과를 보였습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실용적 분업 제안:
  • 보고서 초안 작성: 프롬프팅 (특히 퓨샷) 과 RAG 가 임상적으로 타당한 서술형 보고서 생성에 충분함.
  • 신뢰할 수 있는 분류: BI-RADS, 밀도, 병변 탐지 등 구조화된 라벨링이 필요한 경우 **경량 파인튜닝 (QLoRA)**이 필수적임.
• 프라이버시 및 접근성: 클라우드 의존도를 줄이고 로컬 환경에서 고도화된 의료 AI 를 실행할 수 있는 길을 열어주어, 데이터 프라이버시 보호와 비용 절감에 기여합니다.
• 확장성: MammoWise 는 단일 모델에 국한되지 않고 다양한 VLM 과 적응 전략을 통합한 재사용 가능한 플랫폼으로, 향후 유방 촬영 및 다른 의료 영상 분야 연구의 표준 워크플로우로 자리 잡을 수 있습니다.

이 연구는 의료용 VLM 의 실제 배포를 위해 "프롬프팅 + RAG + 경량 파인튜닝"의 조합이 가장 효과적인 전략임을 입증하였으며, 특히 리소스가 제한된 환경에서도 고품질의 임상 보조 도구를 구축할 수 있음을 보여줍니다.