PromptGate Client Adaptive Vision Language Gating for Open Set Federated Active Learning

이 논문은 환자 데이터 공유 없이 의료 AI 의 사생활을 보호하면서 오픈셋 환경에서의 노이즈를 효과적으로 제거하기 위해, 지역적 임상 도메인에 적응하는 가중치 공유 기반의 프롬프트 최적화를 통해 동적 VLM 게이트를 구축하는 'PromptGate' 프레임워크를 제안합니다.

핵심

🏥 배경: 왜 이 연구가 필요한가요?

상상해 보세요. 전국에 흩어진 여러 병원이 있습니다. 각 병원은 환자 데이터를 가지고 있지만, 개인정보 보호 때문에 서로 데이터를 주고받을 수 없습니다. (이걸 '연방 학습'이라고 합니다.)

그런데 여기서 문제가 생깁니다. 병원에 쌓여있는 영상 데이터는 깨끗한 것만 있는 게 아닙니다.

• 쓸모있는 영상 (ID): 병을 진단해야 할 진짜 환자 사진.
• 쓰레기 영상 (OOD): 촬영 실수로 흐릿한 사진, 다른 부위 사진, 혹은 잡음 같은 것들.

기존 AI 는 이 '쓰레기'와 '진짜 환자'를 구별하지 못합니다. AI 가 학습할 때, 의사 선생님에게 "이거 뭐예요?"라고 물어보는데, 실은 쓸모없는 쓰레기 사진을 골라 물어보는 경우가 많습니다. 이렇게 되면 귀한 의사 선생님의 시간과 예산이 낭비됩니다.

🚪 해결책: "프롬프트게이트 (PromptGate)"란 무엇인가요?

저자들은 이 문제를 해결하기 위해 **'지능형 문지기 (Gatekeeper)'**를 만들었습니다. 이 문지기의 이름은 PromptGate입니다.

1. 비유: "현명한 문지기" vs "고정된 표지판"

• 기존 방식 (Static): 병원 입구에 "진짜 환자만 들어오세요"라고 적힌 고정된 표지판을 붙여놓는 겁니다. 하지만 각 병원의 사정은 다릅니다. A 병원은 촬영 실수가 많고, B 병원은 다른 부위 사진이 많습니다. 고정된 표지판으로는 모든 병원의 쓰레기를 다 걸러낼 수 없습니다.
• PromptGate 방식: 각 병원에 현명하고 유연한 문지기를 배치합니다. 이 문지기는 처음엔 조금 서툴지만, 병원에서 실제로 들어오는 환자들을 조금씩 보며 스스로 배우고 적응합니다.

2. 작동 원리: "전국 공통 지식" + "지역 특화 지식"

이 문지기는 두 가지 지식을 합쳐서 작동합니다.

• 전국 공통 지식 (Global Prompts): 모든 병원이 공유하는 일반적인 의학 지식입니다. (예: "일반적인 폐암 사진은 이런 모양이야")
• 지역 특화 지식 (Local Prompts): 각 병원의 특수한 상황을 기억하는 지식입니다. (예: "우리 병원은 촬영 장비가 낡아서 이런 흐릿한 흔적이 자주 생기더라")

이 두 가지를 합쳐서, 아직 라벨이 붙지 않은 영상들을 먼저 검사합니다.

• "이건 진짜 환자야?" → 문지기가 "YES"라고 하면 → 의사 선생님께 물어봄 (학습).
• "이건 쓰레기야?" → 문지기가 "NO"라고 하면 → 바로 버림 (학습 생략).

이렇게 하면 의사 선생님은 오직 진짜 필요한 환자 사진만 골라보게 되어, 훨씬 효율적으로 일할 수 있습니다.

📈 결과: 얼마나 잘할까요?

실험 결과, 이 방식은 놀라웠습니다.

• 기존 방식: 문지기가 고정되어 있어서, 쓰레기 사진이 섞여 들어가는 비율이 **약 50%**나 되었습니다. (반이 쓰레기!)
• PromptGate: 문지기가 스스로 배워서, 쓰레기 사진이 들어가는 비율을 5% 미만으로 줄였습니다. (95% 이상은 진짜 환자!)

또한, 각 병원의 특수한 상황 (장비 차이, 촬영 습관 등) 에 맞춰 문지기가 적응하기 때문에, 어떤 병원이든 높은 정확도를 유지했습니다.

💡 핵심 요약

1. 문제: 의료 AI 학습 시, 쓸모없는 '쓰레기 데이터'가 섞여 있어 의사들의 귀한 시간을 낭비합니다.
2. 해결: PromptGate라는 '스마트 문지기'를 도입했습니다.
3. 특징:
   • 데이터 공유 안 함: 환자 데이터는 각 병원에 그대로 두고, 오직 문지기의 '지식 (지시어)'만 공유합니다. (개인정보 보호 OK)
   • 적응형 학습: 처음엔 조금 서툴지만, 학습을 거듭할수록 각 병원의 상황에 맞춰 쓰레기를 완벽하게 걸러냅니다.
   • 플러그 앤 플레이: 어떤 AI 학습 방법과도 쉽게 결합되어 바로 쓸 수 있습니다.

한 줄 평:

"의료 AI 가 학습할 때, 쓰레기 데이터는 스스로 걸러내고 진짜 환자 데이터만 의사에게 보여줌으로써 병원의 효율을 극대화하는 똑똑한 '문지기 시스템'입니다."

기술 요약

1. 문제 정의 (Problem Statement)

의료 AI 를 자원 제약이 있는 여러 기관에 배포하려면 환자 프라이버시를 존중하면서 데이터 효율적인 학습 파이프라인이 필요합니다. **연속 학습 (Federated Learning, FL)**은 데이터를 중앙 집중화하지 않고 협력 학습을 가능하게 하지만, 실제 임상 환경의 데이터 풀은 본질적으로 오픈 세트 (Open-Set) 특성을 가집니다. 즉, 목표 클래스 (In-Distribution, ID) 외에도 아티팩트 (이미지 결함), 잘못된 모달리티, 관련 없는 병변 등 분포 외 (Out-of-Distribution, OOD) 노이즈가 포함되어 있습니다.

기존의 활성 학습 (Active Learning, AL) 전략은 이러한 OOD 노이즈를 정보량이 많은 샘플로 오인하여, 귀중한 주석 (Annotation) 예산을 낭비하는 문제가 있습니다. 또한, 기존 오픈 세트 AL 방법론들은 단일 데이터셋을 가정하거나 OOD 를 고정된 전역 개념으로 취급하여, 서로 다른 스캐너와 스테인팅 프로토콜을 가진 다기관 환경의 이질성을 반영하지 못합니다.

2. 제안 방법론: PromptGate

저자들은 PromptGate를 제안합니다. 이는 오픈 세트 연동 활성 학습 (OS-FAL) 을 위한 동적 비전 - 언어 모델 (VLM) 게이트웨이 프레임워크로, 쿼리 (Query) 전에 레이블이 없는 풀 (Unlabeled Pool) 을 정제 (Purify) 하는 역할을 합니다.

핵심 메커니즘

1. 클라이언트 적응형 VLM 게이트 (Client-Adaptive VLM Gating):

   • 고정된 BiomedCLIP 백본을 사용하여, 레이블이 없는 이미지 풀을 ID(목표) 와 OOD(비목표) 로 분류합니다.
   • 분류된 ID 후보 샘플만 하위 활성 학습 전략 (예: Random, Entropy 등) 에 전달하여, OOD 노이즈가 포함된 쿼리를 방지합니다.

2. 연동 클래스별 컨텍스트 최적화 (Federated Class-Specific Context Optimization):

   • CoOp (Context Optimization) 방식을 차용하여, VLM 의 텍스트 임베딩 공간에서 학습 가능한 프롬프트 벡터를 도입합니다.
   • 프롬프트는 두 가지 구성 요소로 분해됩니다:
     • 글로벌 토큰 (Global Tokens): 모든 클라이언트에서 공유되며, FedAvg 를 통해 집계되어 전역적인 의미적 우선순위 (Semantic Prior) 를 학습합니다.
     • 로컬 토큰 (Local Tokens): 각 클라이언트 (병원) 에만 국한되며, 해당 사이트의 고유한 데이터 이질성 (예: 특정 스캐너 아티팩트) 에 적응합니다.
   • 이 두 토큰을 결합하여 각 클래스별 프롬프트를 생성하고, 이를 통해 VLM 이 각 사이트의 "목표 vs 비목표" 개념에 맞춰 동적으로 조정됩니다.

3. 동적 게이트키퍼 역할:

   • 새로운 주석 데이터가 도착할 때마다 프롬프트가 업데이트되어 ID/OOD 경계를 점진적으로 정교화합니다.
   • 이는 하위 AL 전략과 무관하게 (Strategy-agnostic) 작동하는 플러그 앤 플레이 (Plug-and-play) 모듈입니다.

3. 주요 기여 (Key Contributions)

1. PromptGate 도입: OS-FAL 을 위한 최초의 학습 가능한 프롬프트 기반 VLM 모듈을 제안했습니다. 글로벌/로컬 프롬프트 분해를 통해 이질적인 OOD 행동을 효과적으로 포착합니다.
2. 고순도 후보 풀 형성: VLM 기반 게이트 메커니즘을 통해 하위 AL 전략에 전달될 고순도 (High-Purity) ID 후보 풀을 생성하여, 모든 AL 전략의 효율성을 향상시킵니다.
3. 다양한 벤치마크에서의 검증: 피부 병변 (Dermatology) 및 유방 영상 (Breast Imaging) 의 분산된 의료 데이터셋에서 여러 AL 전략과 결합하여 쿼리 순도 (Query Purity) 와 라벨 효율성을 크게 개선함을 실험적으로 증명했습니다.

4. 실험 결과 (Results)

실험은 FedISIC (피부 병변, 4 개 사이트) 과 FedEMBED (유방 밀도, 4 개 스캐너) 벤치마크에서 수행되었습니다.

• ID 순도 (ID Purity) 개선:

  • 정적 (Static) VLM 프롬팅은 약 50% 수준으로 순도가 떨어지는 반면, PromptGate 는 95% 이상의 순도를 유지했습니다.
  • 특히 FedISIC에서 Coldstart(필터링 없음) 대비 평균 22%, FedEMBED에서 **2~3%**의 순도 향상을 보였습니다.
  • OOD 회수율 (OOD Recall): 98% 이상의 높은 OOD 회수율을 기록하여, 노이즈를 효과적으로 걸러냈음을 입증했습니다.

• 성능 비교:

  • **PromptGate (Mixed/Local)**은 모든 AL 전략 (Random, Entropy, FEAL 등) 에서 Baseline 및 Coldstart보다 우수한 **Balanced Multiclass Accuracy (BMA)**를 달성했습니다.
  • Local Adapter 전략이 클라이언트별 아티팩트에 특화되어 가장 높은 순도를 보였으며, Mixed 전략은 강력한 AL 전략과 결합 시 최고의 성능을 발휘했습니다.

• 동적 적응의 효과:

  • 정적 프롬프트를 확장하는 것보다, 소량의 주석 데이터 (Few-shot) 를 활용한 동적 프롬프트 적응이 OOD 탐지 성능을 약 20% 향상시켰습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 프라이버시 보존 및 효율성: 환자 데이터를 공유하지 않으면서도, 각 기관의 고유한 데이터 특성에 맞춰 VLM 을 미세 조정함으로써 OOD 노이즈를 효과적으로 제거합니다.
• 플러그 앤 플레이 설계: 기존 AL 전략을 변경할 필요 없이 전처리 게이트 모듈로 쉽게 통합 가능하여, 이질적인 병원 네트워크에 즉시 배포할 수 있습니다.
• 실용적 가치: 의료 AI 의 실제 배포 장벽인 "오픈 세트 노이즈"와 "데이터 이질성" 문제를 동시에 해결하여, 라벨링 비용을 절감하고 모델의 임상 적용성을 높이는 중요한 솔루션을 제시합니다.

요약하자면, PromptGate는 고정된 VLM 을 학습 가능한 프롬프트를 통해 각 클라이언트의 상황에 맞게 동적으로 적응시킴으로써, 연동 활성 학습 환경에서 OOD 노이즈를 제거하고 라벨링 효율을 극대화하는 혁신적인 프레임워크입니다.