기술 요약: 이질적 특징 공간 하의 연방 보정을 위한 FedHF-Impute

1. 문제 정의

연방 학습 (FL) 은 일반적으로 모든 참여 클라이언트가 동일한 특징 공간 (정렬된 스키마) 을 공유한다고 가정하며, 이를 통해 FedAvg 와 같은 방법을 통한 직접적인 매개변수 집계를 가능하게 합니다. 그러나 현실적인 표본 데이터 설정에서 클라이언트는 서로 다른 측정 파이프라인, 센서 구성 또는 기관적 제약으로 인해 종종 이질적인 특징 공간 하에서 운영됩니다. 이러한 시나리오에서 클라이언트는 특징의 부분적으로 겹치는 부분집합만 관찰합니다.

본 논문은 데이터 부재의 두 가지 유형을 구분합니다:

1. 임시 결측 (Temporary Missingness): 특징이 클라이언트의 스키마에 포함되지만 누락된 항목이 있는 경우 (표준 누락 데이터).
2. 구조적 부재 (Structural Unavailability): 특정 클라이언트의 로컬 스키마에 부재하기 때문에 해당 클라이언트에 의해 결코 측정되지 않는 특징.

기존의 연방 보정 방법들은 주로 임시 결측을 다루며 정렬된 스키마를 암묵적으로 가정합니다. 이질적인 설정에 적용될 때, 표준 매개변수 평균화 방법 (예: FedAvg) 은 약하게 겹치거나 분리된 특징 그룹 간에 정보를 전달할 수 없기 때문에 실패하며, 이로 인해 부정확한 집계와 모델 성능 저하가 발생합니다.

2. 방법론: FedHF-Impute

저자들은 FedHF-Impute를 제안하며, 이는 글로벌 특징 의미론을 로컬 클라이언트 스키마에서 분리합니다. 핵심 혁신은 통계적으로 관련된 특징들 간에 정보를 전파하기 위해 공유 글로벌 특징 그래프를 사용하는 것이며, 이는 어떤 단일 클라이언트에서도 해당 특징들이 함께 관찰되지 않더라도 가능합니다.

주요 구성 요소

• 글로벌 특징 그래프 구축:
  • 서버는 클라이언트로부터 특징 메타데이터 (식별자) 와 쌍별 상관 통계 (예: 피어슨 상관관계) 를 수집합니다. 원시 데이터는 공유되지 않습니다.
  • 노드가 글로벌 특징을 나타내고 에지가 통계적 의존성을 나타내는 가중 그래프 $G = (V, E, w)$가 구축됩니다.
  • 에지 가중치는 상위 $k$개 상관 이웃으로부터 유도됩니다. 이 그래프는 학습 시작 전 모든 클라이언트와 한 번 공유되며 고정됩니다.
• GNN 기반 보정기 아키텍처:
  • 모델은 샘플 차원이 아닌 특징 차원에서 작동합니다.
  • 각 샘플에 대해 입력에는 누락된 값을 0 으로 채운 특징 벡터, 관찰 마스크, 그리고 가용성 마스크(구조적 존재/부재를 나타냄) 가 포함됩니다.
  • 아키텍처는 메시지 전달 계층을 갖춘 그래프 신경망 (GNN) 을 사용합니다. 각 특징 노드는 글로벌 그래프의 이웃으로부터 신호를 집계하여, 사용 가능한 특징들과의 상관관계를 기반으로 사용 불가능한 특징의 값을 추론할 수 있게 합니다.
  • 초기 노드 표현은 특징 임베딩을 스칼라 관찰값, 마스크, 가용성 지표와 연결(concatenating) 한 후 MLP 를 통해 처리하여 형성됩니다.
• 자기지도 학습 목적 함수:
  • 누락된 데이터의 실제 값 (ground-truth) 은 알 수 없으므로, 모델은 블록 마스킹 전략을 사용합니다.
  • 로컬 학습 중 관찰되고 가용한 특징의 부분집합이 무작위로 마스킹 (손상) 됩니다.
  • 모델은 평균 제곱 오차 (MSE) 손실 함수를 사용하여 이러한 마스킹된 값을 재구성하도록 훈련되며, 이를 통해 보정에 필요한 특징 의존성을 학습합니다.
• 연방 프로토콜:
  • 이 프레임워크는 표준 FL 프로토콜 (FedAvg) 을 준수합니다. 클라이언트는 로컬 확률적 경사 하강법을 수행하고 업데이트된 모델 매개변수를 업로드합니다.
  • 서버는 로컬 데이터셋 크기에 기반하여 매개변수를 집계합니다.
  • 핵심적으로, 이 방법은 간접적인 클라이언트 간 지식 전달을 지원합니다: 한 클라이언트는 해당 특징을 관찰하는 다른 클라이언트들로부터 글로벌 그래프를 통해 전파된 통계적 강도를 활용하여, 결코 관찰하지 않는 특징을 보정하는 법을 학습할 수 있습니다.

3. 주요 기여

• 구조적 부재와 결측의 분리: 이 프레임워크는 특징이 누락된 경우 (데이터 문제) 와 구조적으로 부재한 경우 (스키마 문제) 사이의 차이를 명시적으로 모델링하며, 이는 이전 FL 연구에서 종종 간과된 구분입니다.
• 이질적 스키마를 위한 글로벌 특징 그래프: 글로벌 그래프를 통해 통계적 의존성을 공유하는 메커니즘을 도입하여, 로컬에서 결코 함께 관찰되지 않는 특징 간 정보 흐름을 가능하게 합니다.
• 호환성: 이 접근법은 원시 데이터 공유나 학습 중 복잡한 정렬 변환을 요구하지 않고 표준 연방 통신 프로토콜 (매개변수 교환만) 을 유지합니다.
• 종합적 평가: 이 방법은 다양한 차원과 결측 패턴을 가진 세 가지 서로 다른 데이터셋에 대해 중앙 집중식 및 연방 베이스라인 모두와 비교 평가되었습니다.

4. 실험 결과

저자들은 AirQuality(13 개 특징), PhysioNET(42 개 특징), SECOM(590 개 특징) 의 세 가지 데이터셋에서 FedHF-Impute 를 평가했습니다. 실험에서는 각 4 명의 클라이언트가 무작위 60% 특징 부분집합을 보유하는 부분 스키마 겹침이 시뮬레이션되었습니다.

• 성능 향상:
  • SECOM(고차원): FedHF-Impute 는 RMSE 0.8205를 달성하여 모든 연방 베이스라인 (1.17~4.05 범위) 과 중앙 집중식 경쟁자 (최고 중앙 집중식 MICE: 1.1231) 를 크게 능가했습니다. 이는 최상의 연방 베이스라인 대비 26.9% 향상이며, 최상의 중앙 집중식 방법 대비 27% 향상입니다.
  • AirQuality: RMSE 0.7074를 달성하여 모든 연방 베이스라인을 능가하고 최상의 중앙 집중식 방법 (MICE: 0.6756) 에 근접했습니다.
  • PhysioNET: RMSE 0.9363를 달성하여 최상의 연방 베이스라인 (Fed-FeatGen: 0.9339) 과 최상의 중앙 집중식 방법 (DAE: 0.9500) 과 유사한 수준을 보였습니다.
• 안정성: 이 방법은 통신 라운드 전반에 걸쳐 안정적인 수렴을 보인 반면, 연방 베이스라인은 특히 고차원 설정에서 높은 분산과 불안정성을 나타냈습니다.
• 확장성: 그래프 기반 접근법의 이점은 특징 차원과 스키마 이질성이 증가함에 따라 커지는 것으로 관찰되었으며, 이는 로컬 특징당 추정이 불량 조건이 될수록 특징 수준 모델링이 점점 더 중요해짐을 시사합니다.

5. 중요성과 주장

본 논문은 FedHF-Impute가 연방 학습의 중요한 격차, 즉 클라이언트가 구조적으로 다른 특징 세트를 보유할 때 데이터를 효과적으로 보정할 수 없는 문제를 해결한다고 주장합니다.

• 스키마 불일치 극복: 저자들은 단순한 매개변수 평균화 (FedAvg) 가 이질적인 특징 공간에는 부적절하다고 주장합니다. 그래프를 통해 특징 의존성을 명시적으로 모델링함으로써, 이 방법은 "간접적인 클라이언트 간 지식 전달"을 가능하게 하여 클라이언트들이 결코 관찰하지 않는 특징의 값을 추론할 수 있게 합니다.
• 개인정보 보호: 이 프레임워크는 데이터의 로컬성을 유지하며, 모델 매개변수와 스칼라 검증 지표만 교환됩니다. 그래프 구축은 원시 레코드가 아닌 메타데이터와 상관 통계에만 의존합니다.
• 복잡한 설정에서의 우월성: 결과는 고차원 이질적 표본 데이터의 경우, 분산 상관관계를 활용할 수 없는 단순한 연방 평균화 및 중앙 집중식 보정 방법보다 그래프 전파를 통한 구조화된 특징 수준 모델링이 우월함을 시사합니다.

저자들은 스키마 이질성에 직면한 차세대 연방 시스템에서 효과적인 보정을 위해 특징 수준 구조를 명시적으로 모델링하는 것이 필수적이라고 결론지었습니다. 또한 현재 작업은 표준 신뢰 가정 하에서 그래프 구축을 사전 학습 단계로 취급하지만, 향후 작업은 그래프 구축 단계에 차등 프라이버시를 통합할 수 있다고 언급했습니다.