FusionNet Lite: Compact Federated Deep Learning for Predictive Maintenance under Label Heterogeneity and Temporal Generalization

기술 요약: 레이블 이질성 및 시간적 일반화 하에서의 예측 유지보수를 위한 FusionNet Lite

문제 정의
연합 학습(Federated Learning, FL)은 원시 관측 데이터를 공유하지 않고도 분산된 산업 데이터를 통해 협력적 예측 유지보수(PdM)를 수행할 수 있는 경로를 제공한다. 그러나 기존 방식들은 상당한 과제에 직면해 있다: 클라이언트 데이터는 종종 비독립적이며 비동일 분포(non-IID)이며, 특히 레이블 이질성 문제가 두드ila 있다; 시간적 의존성과 희귀 고장 이벤트는 평가를 복잡하게 만든다; 또한, 에지 장치의 계산 효율성 요구와 높은 예측 정확도 및 설명 가능성 사이에는 상충 관계가 존재한다. 제약이 있는 이러한 연합 조건 하에서, 소규모 딥러닝 모델이 유용한 고장 탐지 능력과 일관된 특성 기여도 설명을 유지할 수 있는지 결정하는 데 중요한 격차가 존재한다.

연구 방법론
본 연구는 단 1,420개의 학습 가능한 파라미터만을 가진 소규모 피처 축 분류기인 FusionNet Lite를 네 가지 경량 베이스라인(CNN, BiLSTM, MLP, CNN-LSTM)과 비교 평가한다.

• 아키텍처: FusionNet Lite는 분리 가능한 컨볼루션(separable convolutions), ConvMixer 스타일의 피처 믹싱, 잔차 연결(residual connections), 그리고 Squeeze-and-Excitation(SE) 채널 재가중치를 사용하여 개별 관측치(형태 $F \times 1$)를 처리한다. 이는 시간적 시퀀스가 아닌 단일 관측치 상에서 작동하도록 설계되었으나, 평가를 위해 연대순 분할(chronological splits)이 사용되었다.
• 데이터셋: 두 가지 데이터셋이 서로 다른 파티셔닝 전략과 함께 활용되었다:
  • AI4I 2020: 층화 무작위 분할(65/15/20)을 적용한 합성 데이터셋.
  • MetroPT3: 시간적 일반화를 시뮬레이션하기 위해 고정 행 연대순 분할(55/20/25)을 적용한 실제 압축기 기록 데이터.
• 실험 설계:
  • 학습 모드: 모델은 중앙 집중식 설정과 세 명의 클라이언트를 가정한 시뮬레이션 동기식 연합 평균(FedAvg) 환경 모두에서 학습되었다.
  • 레이블 이질성: 통제된 레이블 non-IID 조건을 생성하기 위해 디리클레 분포($\alpha=0.5$)를 사용하여 클라이언트 파티션을 생성하였다.
  • 평가: 핵심 비교를 위해 10개의 매칭된 랜덤 시드를 사용하였다. 체크포인트는 검증 AUROC를 기준으로 선택되었다. 성능은 AUROC, AUPRC, 그리고 클래스 불균형 문제를 해결하기 위해 확장된 그리드 임계값 선택을 포함한 F2 점수로 측정되었다.
  • 설명 가능성: 클래스별 통합 기울기(Integrated Gradients, IG)를 계산하여 중앙 집중식 모델과 연합 모델 간의 기여도 일치도를 비교하였다.
  • 효율성: 계산 비용의 대리 지표로서, 파라미터 수와 측정된 배치 추론 지연 시간의 곱으로 정의된 에너지 효율 지수(Energy Efficiency Index, EEI)를 사용하였다.

주요 기여

1. 소규모 아키텍처: 연합 교환에 적합한 최소한의 풋프린트를 위해 확립된 연산들(separable conv, SE, residuals)을 결합한 1,420개 파라미터 규모의 아키텍처를 도입하고 평가하였다.
2. 통제된 벤치마크: 아키텍처 효과를 튜닝 아티팩트로부터 분리하기 위해 10개의 매칭된 시드, 검증 선택된 체크포인트, 특정 임계값 정책(F1 vs. F2 최적화)을 사용하여 다섯 가지 아키텍처와 두 데이터셋에 대해 엄격한 비교를 수행하였다.
3. 민감도 분석: 아키텍처 구성 요소(Ablation), 피처 순서, 클라이언트 수(3 vs. 10), 레이블 농축도($\alpha$), 참여율, 학습률에 대한 체계적인 조사를 수행하였다.
4. 기여도 일치도: 클래스별 IG 상관관계, 부호 일치도, Jaccard 중첩을 통해 중앙-연합 모델 간의 기여도 일치도를 정량적으로 평가하여, 탐지 품질과 설명의 일관성을 구분하였다.

결과

• 예ific 성능:
  • AI4I에서 FusionNet Lite는 FedAvg 하에서 경쟁력 있는 결과(AUROC $0.8289 \pm 0.0621$, F2 $0.3508 \pm 0.0908$)를 달성했으나, 다중 비교 보정 후 모든 지표에서 MLP보다 통계적으로 유의미하게 우월함을 보여주지는 못했다.
  • MetroPT3에서 FusionNet Lite는 높은 순위 변별력(FedAvg 하의 AUROC $0.9351 \pm 0.0462$)을 달성했으나, BiLSTM 및 CNN-LSTM 베이스라인과 비교했을 때 더 낮고 가변적인 희귀 고장 탐지 성능(AUPRC $0.2197 \pm 0.1971$, F2 $0.1566 \pm 0.2044$)을 보였다.
  • 임계값 민감도: 원래의 그리드 F1 선택에서 확장된 그리드 F2 선택으로 전환했을 때 MetroPT3의 평균 테스트 F2가 크게 개선되었으나(0.0423에서 0.1566으로), 변동성은 여전히 높았다.
• 효율성: FusionNet Lite는 두 데이터셋 모두에서 다섯 가지 아키텍처 중 가장 작은 파라미터 수와 가장 낮은 고정 배치 EEI(파라미터-지연 지수)를 보유하여, 자원 제약적 배포를 위한 효율적인 대리 모델임을 확인하였다.
• 기여도(Attribution): 중앙-연합 기여도 일치도는 모델과 데이터셋에 따라 달랐다. MetroPT3에서 FusionNet Lite는 MLP의 예측 성능이 더 약함에도 불구하고, MLP보다 더 낮고 가변적인 IG 일치도(Spearman 상관계수 $\approx 0.24-0.27$)를 보였다. 이는 높은 설명적 일치도가 반드시 우수한 탐지 품질과 상관관계가 있는 것은 아님을 나타낸다.
• 민감도: 성능 순위는 피처 순서, 클라이언트 할당, 학습률에 민сле한 영향을 받았다. 특정 구성 요소(예: SE 어텐션 또는 stem residual)를 제거하면 한 데이터셋에서는 성능이 향상되는 반과 다른 데이터셋에서는 저하되는 등 혼합된 결과가 나타났다.

의의 및 주장
본 논문은 **조건부 성능-복잡도 트레이드오프(performance–complexity trade-off)**를 확립한다고 주장한다. 연구는 훨씬 더 작은 모델(FusionNet Lite)이 통제된 연합 조건 하에서 유용한 예측 성능과 가장 낮은 계산 비용 대리 지표(EEI)를 제공할 수 있음을 입증한다. 그러나 저자들은 다음과 같이 명시적으로 밝힌다:

• 소규모 모델이라는 사실 자체가 우수한 고장 탐지나 일관된 설명을 보장하지는 않는다.
• 높은 AUROC가 불균형한 시계열 환경에서의 신뢰할 수 있는 희귀 고장 탐지를 의미하지는 않는다.
• 설명적 일치도(IG)는 예측 유용성의 직접적인 대리 지표가 아니다.
• 본 연구의 결과는 특정 벤치마크 조건(합성 데이터 및 단일 레코드 실측 데이터, 동기식 FedAvg, 고정 시드)에 국한된다.

결론적으로, FusionNet Lite는 연합 PdM을 위한 실행 가능하고 효율적인 옵션을 제공하지만, 그 배치는 운영 지점(임계값), 데이터 이질성, 그리고 순위 변별력과 실제 고장 탐지 간의 구분에 대한 신중한 고려가 필요하다. 저자들은 이 모델이 다양한 장비와 고장 사례에 대해 독립적인 검증 없이 보편적으로 우월하거나 즉시 산업 현장에 배치될 수 있다고 주장하지 않는다.