FedHyperM: Modality-Sensitive Federated Hypergraph Learning for Heterogeneous Multimodal Edge Intelligence

기술 요약: FedHyperM

문제 정의
연합 학습(Federated Learning, FL)은 에지 인텔리전스(Edge Intelligence, EC)에서 프라이버시 문제를 해결하기 위해, 원시 데이터를 공유하지 않고도 에지 장치들이 협력하여 모델을 훈련할 수 있게 해줍니다. 그러나 실제 에지 배포 환경은 심각한 모달리티 이질성(modality heterogeneity) 문제에 직면합니다. 하드웨어 차이, 다양한 센싱 조건 또는 센서 고장으로 인해 장치들은 서로 다른 센서의 부분 집합(예: 어떤 장치는 RGB 카메라를 보유하고 있지만, 다른 장치는 열화상 또는 오디오 센서만 보유함)을 갖게 됩니다.

이러한 이질적인 환경에서는 기존의 연합 학습 집계 전략(예: FedAvg)이 신뢰할 수 없게 됩니다. 이들은 모델 파라미터가 비교 가능한 입력 공간으로부터 학습된다고 가정하기 때문입니다. 장치들이 서로 다른 모달리티 조합을 통해 훈련할 때, 학습된 파라미터는 서로 다른 증거원을 나타내며, 이들을 직접적으로 집계하는 것은 노이즈를 유발하고 글로벌 모델의 성능을 저하시킵니다. 또한, 기존의 멀티모달 연합 학습 방법들은 누락된 모달리티를 재구성하거나 정렬해야 할 데이터로 취급할 뿐, 모달리티 간의 고차 상관관계(high-order correlations)를 보존하면서 가용한 다양한 모달리티 집합 위에서 네이티브하게 작동하는 프레임워크를 설계하지 못하고 있습니다.

방법론: FedHyperM
저자들은 모달리티 이질성을 겪는 에지 장치를 위해 특별히 설계된 프라이버시 보호형 연합 멀티모달 학습 프레임워크인 FedHyperM을 제안합니다. 이 프레임워크는 세 가지 핵심 프로세스를 통해 작동합니다:

1. 로컬 멀티모달 특징 추출 및 동결 (Local Multimodal Feature Extraction & Freezing):
   각 에지 장치는 가용 모달리티에 특화된 사전 학습된 모델(예: 텍스트를 위한 BERT, 이미지를 위한 CLIP, 신호를 위한 LSTM, 오디오를 위한 BEATS)을 사용하여 멀티모달 특징 추출기를 초기화합니다. 협력 학습 단계 동안, 이러한 추출기들은 **동결(frozen)**됩니다. 이는 모델이 모달리티 간의 관계를 학습하는 데 집중하는 동안 특징 표현 공간이 일관되게 유지되도록 보장합니다.

2. 하이퍼그래프 기반 멀티모달 예측 (에지 측):
   FedHyperM은 모달리티를 독립적인 입력으로 취급하는 대신, 모달리티별 특징을 **노드(node)**로 하는 하이퍼그래프로 모델링합니다.

   • 적응형 구축 (Adaptive Construction): 프레임워크는 고차 상관관계를 포착하기 위해 하이퍼에지(hyperedge)를 동적으로 구축합니다. 학습된 재구성 계수에 따라 "앵커 노드(anchor nodes, 특정 모달리티를 나타냄)"를 정의하고 이를 "연관 노드(associated nodes, 다른 모달리티들)"와 동적으로 연결합니다.
   • 학습 목표: 시스템은 희소성(sparsity)을 제어하고 이상치의 영향을 조절하기 위해 $L_1$ 및 $L_2$ 노름(norm)으로 정규화된 재구성 손실(reconstruction loss, 앵커 노드가 연관 노드들로부터 얼마나 잘 재구성되는지를 측정)을 최소화합니다.
   • 예측: 멀티헤드 어텐션(multi-head attention) 메커니즘이 하이퍼에지 임베딩을 집계하여 노드 임베딩을 업데이트하며, 이후 이 임베딩은 예측을 위해 다층 퍼셉트론(MLP)을 통과합니다. 이를 통해 모델은 해당 장치에서 사용 가능한 특정 모달리티들 사이의 복잡한 그룹 수준 관계를 학습할 수 있습니다.

3. 모달리티 민감형 집계 (서버 측):
   서로 다른 모달리티 세트로 훈련된 모델들을 집계하는 문제를 해결하기 위해, FedHyperM은 모달리티 민감형 집계(Modality-Sensitive Aggregation, MSA) 메커니즘을 도입합니다.

   • 가중치 전략: 균등한 평균화 대신, 서버는 인접한 장치들의 가용 모달리티 명칭 집합 간의 **최소 편집 거리(Minimum Edit Distance, MinED)**를 기반으로 집계 가중치를 계산합니다.
   • 논리: 작은 MinED 값은 모달리티 가용성의 유사성이 높음을 의미하며, 이는 더 높은 집계 가중치로 이어집니다. 이를 통해 호환되지 않는 증거의 집계로 인한 노이즈를 완화하고, 모달리티 구성이 유사한 장치들의 파라미터가 글로벌 업데이트에 더 유의미하게 기여하도록 합니다.

주요 기여

• 새로운 프레임워크: 모달리티 가용성이 이질적인 에지 장치 간의 연합 멀티모달 학습을 촉진하기 위해 특별히 설계된 협력 프레임워크인 FedHyperM을 제나합니다.
• 하이퍼그래프 학습 모듈: 모달리티 특징을 노드로 취급하고, 멀티모달 특징 간의 고차, 비쌍방향(non-pairwise) 상관관계를 포착하기 위해 적응적으로 하이퍼에지를 구축하는 하이퍼그래프 기반 예측 모듈을 설계했습니다.
• MSA 메커니로: 각 에지 장치의 특정 모달리티 구성을 고려한 집계가 이루어지도록, 최소 편집 거리(MinED)를 사용하여 모델 업데이트에 가중치를 부여하는 모달리티 민감형 집계 전략을 개발했습니다.
• 실증적 검증: 프레임워크가 원시 데이터 공유나 복잡한 결측치 보간 없이도 모달리티 이질성을 효과적으로 처리함을 광범적인 실험을 통해 입증했습니다.

실험 결과
저자들은 모달리티 존재율(MER: $\rho = 0.5, 0.7, 0.8$)에 따른 다양한 모달리티 결핍 상황을 시뮬레이션하여, UR-FALL 데이터셋(RGB-depth 비디오를 이용한 낙상 감지)에서 FedHyperM을 평가했습니다. 이들은 FedAvg, FedCor, FedProx, AutoFed, FedInMM의 5가지 베이스라인 모델과 비교하였습니다.

• 성능 향상: FedHyperM은 모든 MER 설정에서 모든 베이스라인 모델보다 일관되게 우수한 성능을 보였습니다.
  • 정확도(Accuracy): 베이스라인 대비 평균 정확도를 **3.64%에서 22.33%**까지 향상시켰습니다.
  • F1-Score: 평균 F1-스코어를 **2.91%에서 26.82%**까지 향상시켰습니다.
  • 강건성(Robustness): 본 프레임워크는 "최악의 정확도(W. Acc)" 및 "최악의 F1(W. F1)" 지표에서 특히 강점을 보였으며, 이는 모달리티 세트가 가장 제한적인 장치에서도 성능을 안정화함을 나타냅니다.
• 절제 연구 (Ablation Studies):
  • 하이퍼그래프 모듈을 제거했을 때(w/o HyperG) 평균 정확도가 약 6.6% 하락하여, 고차 상관관계를 포착하는 것의 필요성을 확인했습니다.
  • MSA를 단순 평균으로 대체했을 때(w/o MSA) 더 큰 성능 저하(평균 정확도 약 9.15% 하락)가 발생하여, 모달리티 인지형 가중치 부여가 이질적인 집계에 필수적임을 입증했습니다.
• 하이퍼파라미터 민감도: 모델은 안정성을 보였으며, 최적의 성능은 $\alpha = 0.3$ 및 $\beta = 0.5$ ($L_1$ 및 $L_2$ 정규화를 위한 하이퍼파라미터)에서 관찰되었습니다.

의의
본 논문은 FedHyperM이 프라이버시를 침해하거나 데이터 보간을 요구하지 않으면서도, 분산된 이질적 센서 데이터로부터 협력적으로 학습할 수 있는 에지 인텔리전스의 근본적인 격차를 해결한다고 주장합니다. 모달리티 이질성을 수정해야 할 결함이 아니라 하이퍼그래프를 통해 모델링해야 할 구조적 특징으로 취급함으로써, 이 프레임워크는 센서 가용성이 불일치하는 실제 에지 시나리오에서 더욱 강력하고 정확한 글로벌 모델을 가능하게 합니다. 실험 결과는 고차 모달리티 상관관계를 명시적으로 모델링하고 모달리티별 집계 가중치를 존중하는 것이 차세대 연합 멀티모달 시스템에 필수적임을 시사합니다.