Embedding-Based Federated Learning with Runtime Governance for Iron Deficiency Prediction

기술 요약: 철결핍 예측을 위한 런타임 거버넌스가 포함된 임베딩 기반 연방 학습

문제 제기
의료 분야에서 연방 학습 (FL) 의 이론적 가능성에도 불구하고, 최근 검토 결과에 따르면 출판된 연구의 대다수가 실제 현장 배포에 도달하지 못하고 있습니다. 이 격차는 편향, 개인정보 보호, 일반화, 통신 효율성, 그리고 거버넌스 준수와 관련된 방법론적 약점 때문입니다. 또한 임상 데이터는 단순한 표본 추출 노이즈가 아닌 인구 통계학적 차이, 임상 업무 흐름, 검사 적응증의 실제 차이로 인해 구조적으로 비독립적이며 동일하게 분포되지 않은 (non-IID) 경우가 많습니다. 표본 크기에 가중치를 둔 집계 (aggregation) 에 종종 의존하는 표준 FL 접근법은 사이트 간 작업 관련성과 데이터 분포가 현저히 다를 경우 성능을 저하시킬 수 있습니다. furthermore, 의료 분야에 FL 을 배포하려면 기관 간 경계를 넘어 정책 준수와 감사 가능성을 보장하는 강력한 런타임 거버넌스가 필요하며, 이는 연구 프로토타입에서 종종 결여된 기능입니다.

방법론
저자들은 암스테르담 대학교 의학 센터 (AUMC) 와 NHS 혈액 및 이식 (NHSBT) 이라는 두 가지 다른 임상 환경에 걸친 기관 간 배포를 제시합니다. 이 시스템은 일상적인 전체 혈구 수 (FBC) 데이터를 사용하여 철결핍 예측을 다룹니다.

1. 임베딩 기반 2 단계 설계:

   • 표현 추출: 파이프라인은 대규모 유동 세포계수 및 임피던스 데이터로 사전 훈련된 고정된 도메인 특화 혈액학 기반 모델인 DeepCBC를 활용합니다. 이 모델은 사이트 로컬 표현 추출을 수행하여 원시 FBC 입력을 256 차원 결정론적 임베딩 (후사 확률 평균) 으로 변환합니다.
   • 연방 학습: 오직 소형 하류 분류기 (약 41k 개의 매개변수를 가진 2 은닉층 MLP) 만 연방적으로 훈련됩니다. 이 접근법은 반복적인 통신을 분류기 매개변수로 제한하여 전체 인코더 연방 학습에 필요한 거대한 인코더 가중치 전송을 방지합니다.

2. 런타임 거버넌스 (FLA3):

   • 배포는 의료 지향 FL 플랫폼인 FLA3에서 실행됩니다.
   • 거버넌스는 정적 계약을 통해가 아니라 런타임에 강제됩니다. 시스템은 정책 기반 권한 부여 (기본 거부) 를 위해 XACML(확장 가능 액세스 제어 마크업 언어) 을 활용하며, 추가 전용 서명 감사 로그를 유지합니다.
   • 이는 연구 범위 내 실행을 보장하여 할당된 창 외부의 무단 매개변수 전송 또는 참여를 방지합니다.

3. 집계 전략:
   이 연구는 세 가지 집계 방법을 비교합니다:

   • FedAvg: 표준 표본 크기 가중 평균.
   • FedProx: 이질성 하에서 로컬 최적화를 안정화하기 위해 근접 패널티를 도입합니다.
   • FedMAP: 로컬 최적화를 최대 사후 (MAP) 추정으로 간주하는 개인화된 집계 방법입니다. 이는 데이터셋 크기에만 의존하는 대신 로컬 데이터 적합도와 글로벌 사전에 대한 근접성에 기반한 사후 정보 가중치를 사용하여 글로벌 정규화기를 학습합니다.

주요 기여

1. 실용적인 FL 아키텍처: 표현 학습 (고정된 기반 모델을 통해) 을 연방 작업 적응과 분리하는 2 단계 설계는 통신 오버헤드를 크게 줄이고 제한적인 기관 환경에서의 배포를 단순화합니다.
2. 구조적 이질성의 특성화: 철결핍 유병률 (AUMC 2.8% 대 NHSBT 19.5%), 페리틴 분포, 그리고 독특한 임상 업무 흐름 (반응형 병원 검사 대 보편적 기증자 선별 검사) 으로 인한 유효 양성 클래스 볼륨에서 사이트 간 상당한 차이가 있는 임상 연방에 대한 상세 분석.
3. 개인화된 집계의 경험적 검증: 이질적인 임상 환경에서 표본 크기 가중 집계 (FedAvg) 가 성능을 저하시키는 반면, 개인화된 집계 (FedMAP) 는 로컬 전용 성능을 회복하고 초과한다는 증거.
4. 운영 거버넌스: 국제 국경 (네덜란드와 영국) 을 넘어 규제 요구 사항을 충족하기 위해 실시간 제어 (연구 범위 설정, 정책 권한 부여, 서명 감사) 가 라이브 의료 FL 시스템에 통합되는 방식에 대한 시연.

결과
이 연구는 홀드아웃 테스트 세트에서 ROC-AUC 및 균형 정확도를 사용하여 성능을 평가했습니다:

• FedAvg 성능: 표준 집계는 로컬 전용 훈련에 비해 양쪽 사이트 모두에서 ROC-AUC 를 감소시켰습니다. 글로벌 업데이트는 더 큰 AUMC 분포에 편향되어 두 코호트 모두의 결정 경계를 저하시켰습니다.
• FedProx 성능: 성능 손실을 부분적으로 회복시켰지만, 클라이언트 작업 관련성에 둔감하게 남아 있어 로컬 전용 훈련이나 FedMAP 보다 성능이 우수하지 않았습니다.
• FedMAP 성능: 모든 지표에서 가장 높은 성능을 달성했습니다:
  • AUMC: ROC-AUC 가 로컬 전용 (0.9470) 에서 0.9594로 증가했습니다.
  • NHSBT: ROC-AUC 가 로컬 전용 (0.8558) 에서 0.8671로 증가했습니다.
  • 매크로 성능: FedMAP 은 가장 높은 매크로 ROC-AUC(0.9133) 와 매크로 균형 정확도(0.8389) 를 달성했습니다.
• 균형 정확도의 뉘앙스: FedMAP 이 NHSBT 에서 균형 정확도를 개선했지만, AUMC 의 개선은 미미했습니다 (로컬 전용 0.8964 대 0.8899). 저자들은 이를 낮은 양성 유병률 하의 임계값 민감성으로 귀결시켰습니다. 즉, FedMAP 은 판별력 (ROC-AUC) 을 개선했지만, 고정된 WHO 임계값 (15 µg/L) 은 염증 수치가 더 높은 AUMC 코호트의 최적 작동 지점을 포착하도록 이동하지 못했습니다.

의의 및 주장
이 논문은 성공적인 임상 FL 배포가 구조적 임상 이질성과 운영 거버넌스를 해결하기 위해 통계적 최적화를 넘어설 필요가 있다고 주장합니다.

• 개인화된 집계가 중요합니다: 클라이언트 표본 크기와 작업 관련성이 분기되는 연방 (예: 다른 임상 적응증과 인구 건강 상태) 에서 표준 크기 가중 집계는 최적이지 않습니다. 모든 사이트의 성능을 개선하기 위해 클라이언트 관련성을 고려하는 FedMAP 과 같은 개인화된 방법이 필요합니다.
• 임베딩 기반 설계는 실용적입니다: 로컬 표현 추출을 위해 고정된 기반 모델을 사용하는 것은 제한된 데이터나 인프라를 가진 병원에 대한 실행 가능한 패턴이며, 이는 도메인 지식 이전을 연방 학습 루프에서 분리합니다.
• 거버넌스는 운영적이어야 합니다: 정적 데이터 공유 계약은 다기관 간 신뢰에 불충분합니다. 정책의 런타임 강제와 감사 가능성은 서로 다른 규제 프레임워크 (예: 네덜란드 및 영국 임상 거버넌스) 를 넘어 FL 을 배포하기 위한 전제 조건입니다.

저자들은 두 사이트의 운영 배포에서 도출된 이러한 발견이 상당한 구조적 이질성을 특징으로 하는 임상 연방에서 개인화된 집계와 런타임 거버넌스의 필요성을 뒷받침한다고 결론지었습니다. 그들은 공식적인 개인정보 보호 공격 분석 (예: 멤버십 추론) 의 부재와 모델 보정 및 시간적 드리프트 모니터링에 대한 향후 작업의 필요성과 관련된 한계를 인정합니다.