A Drift Stable Quantum Federated Learning for Intelligent Services

기술 요약: 드리프트 안정성을 위한 DUQFL-Prox 기반 양자 연합 학습

문제 정의
양자 연합 학습(QFL)은 금융 사기 탐지 및 유전체 분류와 같이 프라이버시가 중요한 지능형 서비스를 위해, 원시 데이터를 중앙 집중화하지 않고도 분산된 클라이언트가 양자 신경망(QNN)을 훈련할 수 있게 한다. 그러나 기존의 QFL 파이프라인은 이질적인 환경에서 상당한 문제에 직면한다. QNN의 로컬 최적화는 본질적으로 노이즈가 많고, 비볼록(non-convex)하며, 옵티마이저 설정에 민다. 클라이언트 데이터가 독립 동일 분포(non-IID)가 아닌 경우, 고정된 로컬 최적화 스케줄(예: 정적 하이퍼파라미터를 가진 표준 SPSA)은 불안정한 로컬 업데이트, 과도한 클라이언트 드리프트(client drift), 그리고 클라이언트 간 불공정한 성능을 초래할 수 있다. 또한, 효율성을 높이기 위해 "스트래글러(straggler)" 클라이언트를 제외하는 전략은, 희귀하거나 도메인 특화된 데이터 분포가 중요한 영역에서 특히 해로운 대표성 편향을 유발할 수 있다. 핵심 문제는 집합 가능성(aggregation compatibility), 공정성, 그리고 신뢰할 수 있는 일반화를 보장하기 위해 이질적인 설정에서 로컬 QNN 최적화 궤적을 안정화하는 것이다.

방법론: DUQFL-Prox
본 논문은 이중 레벨 학습 구조를 통해 QFL을 안정화하도록 설계된 프레임워크인 DUQFL-Prox(근사 규제 기반 심층 언폴딩 양자 연합 학습)를 제안한다:

1. 심층 언폴딩 로컬 최적화(Deep-Unfolded Local Optimization): 로컬 훈련을 고정된 루틴으로 취급하는 대신, 이 방법은 로컬 QNN 훈련을 $K$개의 언폴딩된 최적화 블록으로 분해한다. 각 단계 $k$에서, 경량화된 공유 **메타 컨트롤러(meta-controller)**는 적응형 SPSA(Simultaneous Perturbation Stochastic Approximation) 하이퍼파라미터, 구체적으로 학습률($\eta$)과 섭동 스케일($\delta$)을 생성한다. 이는 언폴드 진행도, 손실 거동, 파라미터 변위 및 클라이언트 컨텍스트를 포함하는 최적화 상태 특징 벡터($z$)로부터 도출된다.
2. 근사 드리프트 제어(Proximal Drift Control): non-IID 데이터 하에서의 클라이언트 드리프트를 상쇄하기 위해, 로컬 목적 함수에 근사 규제 항(proximal regularization term)이 추가된다. 이 항은 브로드캐스트된 글로벌 모델($\theta^{(t)}$)로부터의 과도한 이탈에 페널티를 부여하여, 클라이언트가 로컬하게 적응하면서도 그들의 업데이트가 글로벌 집합과 호환되도록 보장한다. 로컬 목적 함수는 $L_i^{prox}(\theta) = L_i(\theta) + \frac{\mu}{2}\|\theta - \theta^{(t)}\|_2^2$가 된다.
3. 검증 기반 최적 언폴드 선택(Validation-Based Best-Unfold Selection): 클라이언트는 반드시 로컬 훈련의 최종 상태를 업로드하는 것은 아니다. 대신, 모든 언폴딩된 상태에 대해 검증 손실(validation loss)을 평가하고, 검증 손실을 최소화하는 체크포인트($\theta_{i, \star}$)를 업로드한다. 이는 과도하게 공격적인 후기 업데이트가 글로벌 모델을 저하시키는 것을 방지한다.
4. 외부 메타 목적 함수 및 컨트롤러 적응(Outer Meta-Objective and Controller Adaptation): 공유 컨트롤러는 정적이지 않다. 이는 집합 후 글로벌 검증 성능을 기준으로 평가된 외부 메타 목적 함수를 사용하여 주기적으로 정교화된다. 메타 손실에는 글로벌 검증 손실, 클라이언트 수준의 공정성, 통신 비용 및 최적화 안정성에 대한 항이 포함된다. 컨트롤러 파라미터는 외부 루프 SPSA 단계를 통해 업데이트되며, 이는 글로벌 및 공정한 성능을 극대화하기 위해 로컬 QNN을 "어떻게 최적화할 것인가"를 효과적으로 학습한다.

주요 기여

• 적응형 프레임워크: 로컬 QNN 훈련을 고정된 옵티마이저 루틴이 아닌 적응형 다단계 심층 언폴딩 프로세스로 모델링하는 DUQFL-Prox를 도입하였다.
• 컨트롤러 기반 SPSA: 공유 컨트롤러가 로컬 최적화 상태에 따라 단계별 SPSA 학습률과 섭동 스케일을 동적으로 생성하여, 클라이언트와 통신 라운드 전반에 걸쳐 적응을 가능하게 하는 메커니즘이다.
• 드리프트 및 공정성 제어: 근사 규제와 검증 기반 최적 언폴드 선택을 통합하여 클라이언트 드리프트를 줄이고, 과도한 특수화를 방지하며, 집합 호환성을 개선한다.
• 이중 레벨 학습 구조: 로컬 최적화 동작을 집합 후 글로벌 성능과 일치시키도록 하는 외부 루프 적응 메커니즘을 통해, 최적화 과정 자체를 최적화하는 법을 학습한다.

실험 결과
본 프레임워크는 두 가지 지능형 서비스 태스크인 은행 계좌 사기(BAF) 탐지(고도로 불균형하며 non-IID임)와 유전체(Genome) 분류에 대해 평가되었다.

• BAF 데이터셋: DUQFL-Prox는 가장 높은 최종 글로벌 정확도(0.65)와 평균 클라이언트 테스트 정확도(0.64)를 달로 성, FedProx-QFL 및 Default-QFL을 크게 상회하였다. 결정적으로, 훈련-테스트 간극을 거의 제로에 가깝게 줄였으며 가장 낮은 클라이언트 공정성 격차(~0.019)를 달성하여, 클라이언트 간 균형 잡힌 성능을 입증하였다. 또한, 베이스라인과 비교하여 ROC-AUC, PR-AUC, MCC에서 더 안정적인 후기 에포크(late-epoch) 거동을 보여주었다.
• 유전체 데이터셋: FedProx-QFL이 약간 더 높은 최종 글로벌 정확도(0.85)를 달성했으나, DUQFL-Prox는 가장 높은 평균 클라이언트 테스트 정확도(0.80), 가장 낮은 훈련-테스트 간극, 그리고 가장 낮은 공정성 격차를 달성하였다. 이는 이 모델의 우수한 일반화 능력과 이질적인 클라이언트에 대한 안정성을 강조한다.
• 하드웨어 검증: DUQFL-Prox를 통해 훈련된 선택된 글로벌 체크포인트들은 실제 IBM 양자 하드웨어에서 실행되었다. 결과에 따르면, DUQFL-Prox 체크포인트는 디바이스 노이즈에도 불구하고 시뮬레이터 결과와의 정렬을 유지하며 Default-QFL 베이스라인에 비해 더 안정적인 궤적을 유지함을 보여주었다.

의의 및 주장
본 논문은 DUQFL-Prox가 이질적인 분산 환경에서 프라이버시, 공정성 및 신뢰성을 요구하는 지능형 서비스를 위한 강력한 솔루션을 제공한다고 주장한다. 심층 언폴딩과 근사 제어를 통해 로컬 최적화 궤적을 안정화함으로써, 이 프레임워크는 어렵거나 자원이 제한된 클라이언트가 배제되지 않고 유용한 업데이트를 기여할 수 있도록 한다. 저자들은 이 연구를 임의의 비볼록 QFL 시스템에 대한 완전한 수렴 보장이 아니라, 더 신뢰할 수 있고 공정한 지능형 서비스를 지원하는 안정성, 드리프트 제어 및 메타 최적화 거동에 대한 특성화로 포지셔닝한다. 결과는 심층 언폴딩된 양자 연합 학습이 노이즈가 있는 양자 설정에서 로컬 적응성과 글로벌 일관성 사이의 트레이드오프를 효과적으로 관리할 수 있음을 시사한다.