MAFL-PdM: A Multi-Agent Federated Learning Framework for Personalised Predictive Maintenance Across Heterogeneous Industrial IoT Sites

기술 요약: MAFL-PdM

문제 정의

산업 인터넷 사물인터넷(IIoT) 환경은 운영 효율성을 최적화하고 잔여 유효 수명(RUL)을 추정하기 위해 예지 보전(Predictive Maintenance, PdM)에 점점 더 의존하고 있습니다. 그러나 데이터 주권, 독점적 제약 및 규제 요구사항(예: GDPR)으로 인해 원시 센서 데이터를 중앙 집중화하는 것이 차단되어 교차 사이트 간의 협업이 저해되고 있습니다. 연합 학습(Federated Learning, FL)은 데이터 공유 없이 분산 학습을 가능하게 함으로써 해결책을 제시하지만, 이질적인 산업 현장에 표준 FL 프로토콜을 적용하는 데는 두 가지 결정적인 과제가 존재합니다:

1. 데이터 이질성 (Non-IID): 산업 현장은 기계 유형, 센싱 구성 및 열화 패턴이 서로 다릅니다. 표준 집계 전략(예: FedAvg)은 로컬 업데이트가 상충하는 방향으로 이동할 때 종종 불안정한 수렴과 모델 품질 저하를 겪습니다.
2. 프라이버시 적응: 기존의 FL 프레임워크는 정적이고 균일한 프라이버시 설정을 사용하는 경우가 많습니다. PdM에서는 희귀한 결함 신호가 매우 중요하므로, 무분별한 노이즈 주입은 고장 민감 패턴을 불균형하게 저하시킬 수 있습니다. 또한, 현재의 접근 방식은 공장을 단순한 수동적 클라이언트가 아닌 고유한 운영 제약을 가진 자율적 에이전트로 취급하지 못하는 경우가 많습니다.

방법론: MAFL-PdM

본 논문은 이질적인 사이트 간의 개인화된 PdM을 위해 설계된 다중 에이전트 연합 학습 프레임워크인 MAFL-PdM을 제안합니다. 시스템 아키텍처는 4개의 자율적인 공장 에이전트(Factory Agents)와 1개의 연합 오케스트레이터 에이전트(Federated Orchestrator Agent)로 구성됩니다.

핵심 구성 요소

1. 로컬 모델 아키텍처: 각 공장 에이전트는 시간적 어텐션(temporal attention)이 포함된 2층 LSTM(Long Short-Term Memory) 네트워크를 사용하여 로컬 모델을 학습합니다. 이 모델은 로컬 최적화를 제한하기 위해 FedProx 정규화와 결합된 가중치 Huber 손실을 사용하여 RUL을 예측합니다.
2. 클러스터 기반 집계 (CMFL-PdM): 오케스트레이터는 유사한 운영 동작을 가진 공장들을 그룹화하기 위해 그래디언트 업데이트의 코사인 유사도에 대해 K-means 클러스터링(K=2)을 수행합니다. 집계는 소수 사이트의 배제를 방지하기 위해 주요 클러스터와 소수 클러스터 사이에 80/20 가중치를 적용하여 수행됩니다.
3. 연합 후 개인화 (Post-Federation Personalisation): 30회의 연합 라운드 이후, 각 공장 에이전트는 자신의 로컬 데이터로 8회의 추가 에포크 동안 글로벌 합의 모델을 미세 조정(fine-tuning)합니다. 이 단계는 추가적인 그래디언트 공유 없이 공유 모델을 로컬 데이터 분포에 적응시키는 데 매우 중요합니다.
4. 프라이버시 계정 (Privacy Accounting): 프레임워크는 Rényi accountant (Opacus)를 사용하여 공장별 차분 프라이버시(Differential Privacy, DP) 계정을 구현합니다. 그러나 보고된 설정에서 그래디언트 노이즈 주입은 비활성화되었습니다. 시스템은 프라이버시 예산($\epsilon = [3.0, 5.0, 8.0, 7.0]$)을 추적하지만, 현재 실험에서는 공식적인 DP 보장을 강제하지는 않습니다.
5. 드리프트 인식 선택 (Drift-Aware Selection): 공장은 Kolmogorov–Smirnov 테스트를 사용하여 로컬 데이터 드리프트를 모니터링하며, 이를 통해 오케스트레이터가 유의미한 분포 변화를 보이는 클라이언트를 우선시할 수 있도록 합니다.

데이터셋

프레임워크는 두 가지 이질적인 실제 산업 데이터셋에 대해 평가되었습니다:

• 엘리베이터 도어 모니터링: 도어 볼 베어링 회전, 습도 및 진동 데이터를 사용하는 세 개의 공장(Factories 0–2).
• 금속 가공 유체 모니터링: pH, 전도도, 농도 및 온도를 사용하는 하나의 공장(Factory 3).
• RUL 레이블: 가우시안 노이즈가 추가된 지수적 감소 곡선을 통해 생성된 합성 확률 신호이며, [0, 1] 범위로 정규화되었습니다.

주요 결과

실험은 5개의 무작위 시드(42–46)에 걸쳐 중앙 집중식 학습, 로컬 전용 학습, 바닐라 FedAvg, FedProx 및 노이즈 섭동 베이스라인과 MAFL-PdM을 비교하며 수행되었습니다.

• 성능: MAFL-PdM은 0.0498 ± 0.0012의 RMSE와 0.819 ± 0.016의 F1 스코어를 달성했습니다.
  • 모든 5개 시드에서 중앙 집중식 학습보다 낮은 RMSE를 달성했습니다.
  • 데이터 국지성을 유지하면서 중앙 집중식 학습과 동일한 F1 스코어를 기록했습니다.
  • 모든 연합 베이스라인(예: 바닐라 FedAvg RMSE: 0.244 따라)을 크게 능가했습니다.
• 절제 연구 (Ablation Study): 구성 요소 절제 연구 결과, 연합 후 개인화가 성능 향상의 거의 전부를 차지하는 것으로 나타났습니다.
  • 개인화를 제거하면 F1 스코어가 0.457 하락하여, 프레임워크가 바닐라 FedAvg와 구별할 수 없을 정도가 되었습니다.
  • 클러스터 인식 집계 및 결함 민감 손실 가중치를 제거했을 때의 변화는 미미했으며(F1 하락폭 각각 -0.0019 및 -0.0096), 이는 시드 간 변동 범위 내에 있었습니다.
• 클러스터링 분석: K-means 클러스터링 메커니즘은 의도된 데이터 파티션(엘리베이터 vs 금속 가공)을 일관되게 복구하는 데 실패했습니다. 대신, 데이터를 맞추기 어려운 정도(difficulty of fitting)를 기준으로 공장들을 그룹화했습니다(예: 크로스 도메인인 Factory 3를 맞추기 가장 어려운 엘리베이터 Factory 2와 함께 그룹화). 결과적으로, 클러스터링 메커니즘은 이 작은 규모의 연합(N=4)에서 측정 가능한 이점을 제공하지 못했습니다.

의의 및 주장

논문은 다음과 같은 구체적인 기여 및 한계점에 대한 주장을 펼칩니다:

1. 주요 메커니즘: 본 연구는 집계 전략이나 손실 가중치가 아니라, 연합 후 개인화가 이질적인 사이트 간의 연합 PdM을 가능하게 하는 핵심 메커로임을 식별했습니다. 이는 공유된 초기화 이후 로컬 미세 조정이 회귀 오차(RMSE) 측면에서 중앙 집중식 풀링보다 우수할 수 있으며, 분류 성능(F1) 측면에서는 이에 필적할 수 있음을 입증합니다.
2. 클러스터링에 대한 부정적 결과: 논문은 특정 실험 환경(클라이언트 4개, K=2)에서 클러스터 인식 집계가 측정 가능한 이득을 제공하지 못했음을 명시적으로 보고했습니다. 이는 작은 규모의 연합 때문이며, 클러스터링 파티션의 불안정성에 기인하며, 집계 가중치를 의미 있게 재분배하기 위해서는 더 큰 규모가 필요함을 시사합니다.
3. 프라이버시 입장: 저자들은 보고된 결과에 대해 공식적인 차분 프라이버시 보장을 주장하지 않음을 명확히 했습니다. 프레임워크에 DP 계정 및 예산 추적이 포함되어 있지만, 그래디언트 노이즈 주입은 비활성화되었습니다. 결과는 데이터 국지성은 보존하지만, per-sample clipping 및 subsampling 가정 문제로 인해 수학적 DP-SGD 요구 사항을 충족하지는 못하는 시스템을 나타냅니다.
4. 재현성: 논문은 모든 표와 그림을 재생성할 수 있는 코드, 데이터셋 및 스크립트를 포함한 완전한 재현 가능 파이프라인을 제공하여 결과가 유효한 특정 조건을 강조합니다.

한계점

저자들은 다음과 같은 몇 가지 제약 사항을 인정합니다:

• 합성 레이블: RUL 레이블이 합성 데이터이므로, 실제 접지(ground-truth) 열화 데이터셋에 대한 검증 없이는 실제 배포에 적용하는 데 한계가 있습니다.
• 프라이버시 격차: 노이즈 주입이 없으므로 시스템은 공식적으로 차분 프라이버시를 보장하지 않습니다.
• 규모: 평가는 4개의 공장으로 제한되어 있으며, 클러스터링의 이점은 이 규모에서 검증되지 않았습니다.
• 특징 불일치 (Feature Misalignment): Factory 3(금속 가공)는 다른 공장들과 맞추기 위해 특징 공간이 축소되어야 했으며, 이로 인해 의미론적 불일치가 발생했습니다.
• 통계적 유의성: 5개의 시드만 사용했기 때문에, 중앙 집중식 학습과의 비교에서 양측 p-값은 0.063을 기록하여 전통적인 0.05 임계값에 근접했으나 이를 약간 상회했습니다.