Hospital Trust Aggregation for Multi-Hospital Medical Imaging under Non-IID Data and Malicious Clients: A Benchmark and Empirical Assessment

기술 요약: 다기관 의료 영상 분석을 위한 병원 신뢰 집계(Hospital Trust Aggregation)

문제 정의
연합 학습(Federated Learning, FL)은 병원들이 환자 기록을 교환하지 않고도 공유 진단 모델을 학습할 수 있게 하여, 데이터 프라이버시 및 규제 제약을 해결합니다. 그러나 실제 임상 컨소시엄은 표준 집계 프로토콜인 FedAvg의 성능을 저해하는 두 가지 복합적인 문제에 직면해 있습니다:

1. 심각한 Non-IID 이질성: 병원 코호트는 의뢰 패턴, 케이스 구성(case mix), 코호트 크기 면에서 크게 다릅니다. 이는 정직한 병원이 희귀하거나 특이한 케이스를 보유했을 때, 해당 병원의 업데이트가 악의적이기 때문이 아니라 데이터 분포가 독특하기 때문에 통계적 이상치(outlier)로 나타나는 시나리오를 만듭니다.
2. 악의적인 클라이언트: 탈취된 병원은 데이터 포이즈닝, 백도어 공격, 또는 업데이트 조작(예: 모델 교체)을 통해 글로벌 모델을 왜곡할 수 있습니다.

식별된 핵심 갈등은, 공격을 방어하기 위해 "특이한" 업데이트를 폐기하는 일반적인 강건한 집계 규칙이 정당한 이상치(희귀 사례를 보유한 정직한 전문 센터)와 적대적 이상치(침해된 노드)를 구분하는 데 어려움을 겪는다는 점입니다. 심각한 이질성 하에서 공격적인 방어 메커니즘은 연합의 목적이 되는 희귀 질환을 진단하고자 하는 바로 그 사이트들을 배제할 위험이 있습니다.

방법론: 병원 신뢰 집계 (Hospital Trust Aggregation, HTA)
저자들은 개별 라운드가 아닌 여러 라운드에 걸쳐 병원을 평가하도록 설계된 다중 신호 신뢰 규칙인 **Hospital Trust Aggregation (HTA)**을 제안합니다. HTA는 세 가지 유계된 신호(범위 [0, 1])를 곱셈 방식으로 결합하여 각 병원의 평판 점수를 계산합니다:

1. 방향 일치성 ($s_h$): 병원의 업데이트와 모든 업데이트의 좌표별 중앙값(강건한 합의 방향) 사이의 정류 코사인 유사도(rectified cosine similarity)입니다. 합의 방향과 반대되는 업데이트는 0의 점수를 받습니다.
2. 크기 타당성 ($m_h$): 병원의 업데이트 노름(norm)과 중앙값 업데이트 노름의 로그 비율에 기반한 대칭적 페널티입니다. 이는 과도하게 부풀려진 업데이트(모델 교체)와 축소된 업데이트(무임승차)를 모두 억제합니다.
3. 참조 코호트 검증 ($v_h$): 서버는 작고 정제된 별도의 참조 코호트($D_{root}$)를 사용하여 해당 병원의 로컬 모델을 평가합니다. 신호는 해당 라운드의 중앙값에 대해 정규화된 균형 정확도(balanced accuracy)입니다. 이는 방향과 크기는 유지하면서 임상적 효용성을 저해하는 데이터 수준의 공격(예: 레이블 플리핑)을 탐지합니다.

평판 및 배제 로직:

• 결합: 신호는 $\tau_h = s_h^a m_h^b v_h^c$로 결합됩니다. 곱셈 방식의 특성은 단 하나의 차원에서라도 점수가 0에 가까워지면 해당 병원의 영향력을 억제하여, 공격자가 한 차원에서의 실패를 다른 차원의 우수함으로 보완하는 것을 방지합니다.
• 평판 평활화(Smoothing): 점수는 지수 이동 평균(EMA)을 통해 평활화되며, 자체 분산에 의해 페널티를 받습니다. 이는 공격자가 평균 점수를 숨기기 위해 일부 라운드에서는 선량하게 행동하고 일부 라운드에서는 악의적으로 행동하는 "교차(alternating)" 전략을 사용하는 것을 방지합니다.
• 배제 기준: 병원은 다음 두 가지 조건을 동시에 만족할 때만 배제됩니다:
  1. 통계적 이상치인 경우 (점수 $< \mu - \lambda \cdot \text{MAD}$)
  2. 합의 수준보다 실질적으로 낮은 경우 (점수 $< \kappa \cdot \mu$)
     이 이중 조건은 단순히 이질적인 분포의 하위 꼬리(lower tail)에 속하는 정직하지만 이례적인 병원이 배제되는 것을 방지하기 위해 설계되었습니다.

실험 설정 및 벤치마크
본 논문은 HTA를 7개의 베이스라인(FedAvg, FedProx, Coordinate-wise Median, Trimmed Mean, Krum, Multi-Krum, FLTrust)과 비교 평가하기 위한 재현 가능한 벤치마크를 도입합니다.

• 데이터셋: DermaMNIST (심각한 클래스 불균형을 가진 7개 클래스의 피부 병변 진단) 및 PneumoniaMNIST (이진 흉부 방사선 촬영).
• 이질성: IID부터 심각한 레이블 스큐($\alpha=0.1$) 및 수량 스큐까지 5가지 범위를 설정했습니다.
• 공격: 레이블 플리핑, 백도어(데이터 수준 공격) 및 사인 플리핑, 스케일링, ALIE, IPM(업데이트 수준 공격)을 포함한 6가지 공격을 수행하며, 공격자 비율은 5%에서 30%까지 설정했습니다.
• 지표: 임상적 지표(균형 정확도, 최악 클래스 재현율, 병원별 정확도), 보안 지표(공격 성공률), 그리고 공정성(Fairness)을 측정합니다.

주요 결과

1. 이질성 vs. 공격자: 이질성이 더 지배적인 도전 과제였습니다. IID에서 심각한 레이블 스큐($\alpha=0.1$)로 이동했을 때 균형 정확도는 16.4포인트 하락한 반면, 공격자는 7.2포인트 하락을 유발했습니다.
2. HTA의 성능:
   • 데이터 수준 공격: HTA는 레이블 플리핑 및 백도어 공격에서 종종 최고 성능의 베이스라인과 대등하거나 이를 앞서며 경쟁력 있는 모습을 보였습니다.
   • 업데이트 수준 공격: HTA는 사인 플리핑 및 스케일링 공격에서 Multi-Krum에 의해 크게 뒤처졌습니다 (각각 4.9 및 6.7 포인트 차이). Multi-Krum의 기하학적 부분 집합 선택 방식이 업데이트 기하 구조가 조작되었을 때 HTA의 가중치 재설정 전략보다 더 효과적임이 입증되었습니다.
   • 규모: 20개의 병원 규모에서 HTA는 Multi-Krum에 비해 5.7포인트 뒤처졌습니다.
   • 두 번째 코호트: PneumoniaMNIST의 경우, HTA는 모든 조건에서 FLTrust보다 12~19포인트 낮은 성능을 보였는데, 이는 태스크의 이진(binary) 특성이 검증 신호의 변별력을 감소시켰기 때문입니다.
3. 클린 정확도(Clean Accuracy): 강건한 규칙이 일반적으로 클린 정확도를 희생한다는 통념과 달리, 대부분의 강건한 규칙(HTA 포함)은 FedAvg보다 높은 클린 정확도를 달성했습니다 (예: HTA +4.6포인트, Multi-Krum +5.9포인트). 이는 분산 감소 효과에 기인합니다: 강건한 규칙은 이질적인 환경에서 정직한 극단적 이상치로부터 발생하는 노이즈를 억제합니다.
4. 절제 연구(Ablation) 결과:
   • 크기 신호: 업데이트 크기 신호($m_h$)는 어떤 공격 유형에서도 측정 가능한 이득을 제공하지 못했습니다. 이를 제거해도 성능이 저하되지 않았습니다. 저자들은 디리클레 스큐(Dirichlet skew) 하에서 특이한 노름(norm)은 공격의 지표로서만큼이나 희귀하고 정직한 케이스 구성의 지표로서도 신뢰할 수 있기 때문에, 이 신호가 정보 가치가 없으며 잠재적으로 해로울 수 있다고 결론지었습니다.
   • 평판 및 방향: 평판 메모리와 방향 일치성이 성능의 주요 동력이었습니다.
5. 탐지 실패: 심각한 이질성과 레이블 플리핑 상황에서, 정직한 병원과 악의적인 병원의 평판 점수는 완전히 중첩되고 수렴되었습니다. 이 규칙은 두 집단을 성공적으로 분리하지 못했으며, 그 성과는 공격자를 탐지해서가 아니라 **분산을 억제(damping variance)**했기 때문에 나타난 것이었습니다.

의의 및 주장
본 논문은 스스로를 새로운 최첨단(SOTA) 솔루션이 아닌, 벤치마크 및 부정적 결과(negative result)를 제시하는 연구로 규정합니다.

• 벤치마크: 임상 지표(균형 정확도, 공정성)와 보안 지표를 통합하여, 소수 클래스의 재현율을 희생하는 방어 기제는 임상적으로 무용하다는 것을 밝히는 엄격하고 재현 가능한 평가 프레스크를 제공합니다.
• 부정적 결과: 저자들은 업데이트 크기에 기반한 신뢰 신호가 의료적으로 현실적인 이질성 속에서 살아남지 못한다고 결론지었습니다. 또한, 이러한 신호에 기반한 평판 시스템은 데이터 수준의 공격이 발생하는 이질적 환경에서 정직한 병원과 악의적인 병원을 구별하는 데 실패합니다.
• 메커니즘 명확화: HTA 및 기타 강건한 규칙에서 관찰된 이점은 공격자 탐지가 아니라 분산 억제(정직한 이상치의 노이즈 억제)에서 비롯됩니다.
• 향후 방향: 저자들은 유효한 구성 요소가 노름 클리핑(norm clipping)과 결합된 방향 일치성에 기반한 평판 시스템이라고 제안하며, 크기 신호는 제거해야 한다고 조언합니다. 또한, 신호(trust signals)를 알고 있는 적응형 공격자(adaptive adversaries)에 대한 대응과, 보안 집계(secure aggregation)와 같은 프라이버시 보존 기술과 per-update 검사 간의 긴장 문제를 해결해야 함을 강조합니다.