When To Adapt? Adapting the Model or Data in Federated Medical Imaging

기술 요약: "연방 의료 영상에서 언제 적응할 것인가? 모델 또는 데이터 적응"

문제 제기
연방 학습 (FL) 은 의료 기관 간에 프라이버시를 보호하며 협력적인 모델 훈련을 가능하게 하지만, 클라이언트 간 이질성으로 인해 상당한 성능 한계에 직면합니다. 의료 영상에서 데이터 분포는 스캐너 하드웨어, 획득 프로토콜, 환자 인구통계, 그리고 주석 관행의 차이로 인해 비독립적 비동일 분포 (non-IID) 를 보입니다. 이러한 이질성은 심각한 모델 편향과 부실한 교차 사이트 일반화를 초래합니다.

현재 연구는 이 문제를 해결하기 위해 두 가지 명확한 패러다임을 통해 접근합니다:

1. 모델 측 개인화: 로컬 파인튜닝, 모듈식 레이어, 또는 메타러닝을 통해 특정 클라이언트에 맞춰 모델 매개변수를 적응시킵니다 (예: FedPer, FedBN, pFedMe).
2. 데이터 측 조화: 생성 모델 (예: CycleGAN, CUT) 이나 주파수 영역 적응을 사용하여 해부학적 내용을 보존하면서 외관 통계 (예: 스캐너 스타일, 강도) 를 정렬함으로써 입력 수준에서 클라이언트 간 변이를 줄입니다.

두 전략 모두 광범위하게 사용되고 있음에도 불구하고, 언제 각 접근 방식이 더 선호되는지에 대한 체계적인 비교는 부족합니다. 전략의 선택이 도메인 시프트의 특정 유형 (구조적 대 외관 기반) 이나 이질성의 크기에 의존해야 하는지 여부는 여전히 불분명합니다.

방법론
저자들은 여섯 가지 다양한 의료 영상 작업 전반에 걸쳐 조화와 개인화 간의 트레이드오프를 평가하기 위한 포괄적인 실증 연구를 제안합니다:

• 분할 작업: 대장 용종, 피부 병변, 유방 종양 분할.
• 분류 작업: 결핵 CXR, 뇌 종양, 유방 종양 분류.

이 연구는 각 작업당 네 명의 클라이언트를 포함하는 통합 실험 프레임워크를 사용하며, 이들은 서로 다른 공개 데이터세트 (예: Kvasir-SEG, HAM10K, BUSI, Shenzhen Hospital CXR) 에서 추출되었습니다. 저자들은 도메인 시프트를 두 가지 질적 유형으로 분류합니다:

1. $\Delta_{style}$ (입력 수준/스타일 수준 시프트): 스캐너 하드웨어, 프로토콜, 강도, 노이즈의 변이로 인해 전역 외관은 변경되지만 해부학적 배치는 유지되는 경우.
2. $\Delta_{content}$ (콘텐츠 수준/구조적 시프트): 해부학, 병리학적 형태, 시점, 장면 맥락의 변이로 인해 공간적 구조와 의미적 콘텐츠가 변경되는 경우.

저자들은 동일한 연방 설정과 통신 예산 하에서 18 가지 최첨단 (SoTA) 방법을 평가합니다. 여기에는 다음이 포함됩니다:

• 베이스라인: 로컬 중앙집중식, 중앙집중식 (전역/로컬 테스트), 그리고 Vanilla FedAvg.
• 조화 방법: 전처리/증강, 히스토그램 매칭, 주파수 영역 적응 (FDA), MixStyle (입력 및 특징 수준), 그리고 생성적 번역 (CycleGAN, CUT, AdaIN, CoMoGAN).
• 개인화 방법: 레이어별 개인화 (FedPer, FedRep, FedBN), 최적화 기반 접근법 (FedProx, SCAFFOLD, FedAdam), 그리고 이-모델/메타러닝 (pFedMe, Ditto).

주요 기여

1. 포괄적 비교: 이 논문은 다양한 이질성 유형을 가진 여섯 가지 의료 영상 작업 전반에 걸쳐 조화 및 개인화 전략을 체계적으로 비교한 첫 번째 연구를 제공합니다.
2. 도메인 시프트에 대한 실증 분석: 적응 전략의 효과는 작업 자체보다는 도메인 시프트의 유형과 크기에 조건부임을 실증적으로 보여줍니다.
3. 모듈식 코드베이스: 저자들은 향후 연구와 하이브리드 접근법을 촉진하기 위해 두 패러다임을 모두 지원하는 모듈식 코드베이스를 공개합니다.

실험 결과
결과는 이질성의 본질에 의해 주도되는 조건부 트레이드오프를 보여줍니다:

• 구조적 이질성 (대장 용종 분할): 다양한 용종 형태와 기하학을 가진 서로 다른 내시경 데이터세트와 같이 큰 구조적 변이가 있는 작업에서는 개인화 방법이 조화 방법보다 일관되게 우세합니다. 클라이언트별 구조에 모델을 적응시키는 것이 여기서 중요합니다.
• 외관 주도 이질성 (결핵 CXR 분류): 해부학은 보존되지만 스캐너/강도 변이가 지배적인 작업에서는 조화 방법이 개인화 방법보다 일관되게 우세합니다. 입력 변이성을 줄이면 공유된 글로벌 모델이 효과적으로 작동할 수 있습니다.
• 중등도/제한적 변이 (피부 병변, 유방 종양, 뇌 종양): 클라이언트 간 차이가 작거나 혼합된 경우 (중등도 구조 및 외관 시프트) 두 전략 모두 유사하게 수행되며, 어느 쪽도 명확한 이점을 제공하지 않습니다. 이러한 경우 성능은 종종 중앙집중식 베이스라인의 "한계"에 근접합니다.

구체적으로, 대장 용종 분할의 경우 개인화 (예: Ditto, 로컬 파인튜닝) 가 조화보다 우수한 Dice 점수를 달성했습니다. 반면, 결핵 CXR 분류의 경우 조화 (예: 히스토그램 매칭, MixStyle) 가 입력 스타일의 높은 분산으로 인해 어려움을 겪었던 개인화보다 현저히 우세했습니다.

의의 및 주장
이 논문은 연방 의료 영상을 위해 보편적으로 우월한 전략은 없다고 결론 내립니다. 대신, 모델을 적응시킬지 데이터를 적응시킬지 여부는 도메인 시프트의 특정 특성에 달려 있습니다:

• 이질성이 주로 구조적일 때 (예: 변이하는 해부학 또는 병리학적 형태) 모델을 적응시키십시오 (개인화).
• 이질성이 주로 외관 기반일 때 (예: 스캐너 스타일, 강도, 노이즈) 데이터를 적응시키십시오 (조화).
• 변이가 제한적이거나 중등도일 경우 어떤 전략이나 충분합니다.

저자들은 실제 연방 시스템이 고정된 선호도를 가정하기보다는 적절한 전략을 선택하기 위해 사이트 간 변이를 사전에 평가해야 한다고 강조합니다. 그들은 한계를 인정합니다: 실제 세계 시나리오에서는 이질성의 유형과 크기가 종종 알려지지 않았고 역동적입니다. 따라서 저자들은 데이터에서 직접 이질성을 특성화하는 지표를 개발하고, 여러 수준에서 조화와 개인화를 결합하는 적응형 프레임워크를 만드는 향후 방향을 강조합니다.