A Bayesian Optimization-Based AutoML Framework for Non-Intrusive Load Monitoring

기술 요약: 비침습적 부하 모니터링을 위한 베이지안 최적화 기반 AutoML 프레임워크

문제 정의
비침습적 부하 모니터링(NILM), 또는 에너지 분해(energy disaggregation)는 가정의 총 전력 사용량을 분석하여 개별 가전제품의 전력 소비량을 추정하는 것을 목표로 한다. 침습적 부하 모니터링(ILM)은 전용 센서를 통해 높은 정확도를 제공하지만, 설치 비용이 높고 개인정보 보호 문제가 있어 실용성이 떨어진다. NILM은 비용 효율적인 대안을 제공하지만, 복잡한 머신러닝(ML) 파이프라인에 크게 의존한다. 전통적으로 이러한 파이프라인을 개발하려면 모델을 수동으로 선택하고 하이퍼파라미터를 조정하기 위해 데이터 과학 분야의 상당한 전문 지식이 필요하다. 이러한 수동 프로세스는 시간이 많이 소요되며, 한 번에 하나의 모델만 평가할 수 있고, 최적이 아닌 설정을 초래할 수 있다. 본 논문은 실무자가 고급 ML 전문 지식을 갖추지 않고도 에너지 분해를 위한 최적의 ML 모델과 하이퍼파라미터를 체계적으로 식별할 수 있는 자동화되고 접근 가능한 프레임워크의 필요성을 다룬다.

방법론
저자들은 NILM 문제를 해결하기 위해 자동 머신러닝(AutoML)을 베이지안 최적화와 결합한 유연한 오픈 소스 프레임워크인 AutoML4NILM을 제안한다.

1. 프레임워크 아키텍처: 이 시스템은 모델 선택과 하이퍼파라미터 튜닝을 탐색 문제로 취급함으로써 ML 파이프라인의 설계를 자동화한다. 시스템은 다음을 포함한 11가지의 뚜렷한 알고리즘을 포괄하는 광범위한 탐색 공간을 정의한다:

   • 전통적 ML: 결정 트리(DT), 랜덤 포레스트(RF).
   • 딥러닝: 완전 연결 신경망(Fully-Connected Neural Networks), GRU(Gated Recurrent Units), 윈도우 기반 GRU, Seq2Seq, Seq2Point, LSTM(Long Short-Term Memory), 노이즈 제거 오토인코더(DAE).
   • 확률적/조합적 모델: 팩토리얼 은닉 마르코프 모델(FHMM) 및 조합 최적화(CO).

2. 하이퍼파라미터 탐색 공간: 프레임워크는 다음을 포함하여 이 모델들의 다양한 하이퍼파라미터 세트를 탐색한다:

   • 트리 기반: 기준(Criterion), 최소 샘플 분할, 결정 트리 개수.
   • 신경망: 옵티마이저(Adam, Nadam), 학습률, 손실 함수, 레이어 수, 드롭아웃 확률, 시퀀스 길이, 윈도우 크기.

3. 최적화 전략: 핵심 엔진은 Hyperopt 라이브러리를 통한 베이지안 최적화를 활용한다. 각 평가를 독립적으로 취급하는 그리드(Grid) 또는 랜덤 서치(Random Search)와 달리, Hyperopt는 트리 구조 파젠 추정기(Tree-structured Parzen Estimators, TPE)를 사용하는 순차 모델 기반 최적화(SMBO)를 채택한다. 이 접근 방식은 이전 평가로부터 얻은 정보를 사용하여 지능적으로 탐색 공간을 탐색하며, 더 적은 반복 횟수로 최적의 모델 구성을 찾기 위해 기대 개선(Expected Improvement, EI) 기준을 최적화한다.

4. 실험 설정:

   • 데이터셋: 5개 영국 가정의 총합 및 가전제품별 데이터를 포함하는 UK-DALE 데이터셋.
   • 전처리: 데이터를 훈련(25일), 검증(7일), 테스트(나머지) 세트로 분할하였다. 상세도와 계산 비용 사이의 균 균형을 맞추기 위해 60 Hz 샘포링 속도를 선택하였다.
   • 지표: 회귀 정확도는 평균 절대 오차(MAE)로, 상태 감지(ON/OFF)는 분류 정확도로 평가하였다.
   • 제약 조건: 실험은 계산 리소스 제약(서버 충돌 및 응답 불능 발생)으로 인해 20 에포크(epoch)와 알고리즘당 최대 30회의 하이퍼파라미터 평가로 제한되었다.

주요 결과
본 연구는 AutoML4NILM 프레임워크를 지원되는 11가지 알고리즘과 벤치마킹하였다:

• 베이스라인 성능: 알고리즘을 표준 구성으로 개별 실행했을 때, Seq2Point가 가장 낮은 MAE(8.31)와 높은 정확도(97.98%)를 달립다. 반대로, 조합 최적화(CO)와 FHMM은 MAE 측면에서 저조한 성능(각각 224 및 177.3)을 보였으며, 윈도우 기반 GRU는 가장 낮은 정확도(80.9%)를 나타냈다.
• AutoML 최적화: 베이지안 최적화 프레임워크를 적용하여 하이퍼파라미터를 튜닝했을 때:
  • Seq2Point는 여전히 우수한 모델로 남았으며, 윈도우 크기 20, 학습률 0.01, Nadam 옵티마이저 구성을 통해 최적의 MAE 7.12를 달성하였다.
  • 다른 모델들도 다양한 정도의 개선을 보였으나, 최적화된 Seq2Point의 성능을 능가하지는 못했다.
  • 프레임워크는 제한된 30회 평가 예산 내에서 최적의 구성을 성공적으로 식별하였으며, 이는 수동 시행착오 방식보다 베이지안 최적화의 효율성을 입증한다.

의의 및 주장
본 논문은 AutoML4NILM을 NILM 연구 및 배포를 민주화하기 위한 중요한 단계로 자리매김한다. 주요 기여는 다음과 같다:

1. 접근성: 데이터 과학에 대한 깊은 전문 지식이나 수동 하이퍼파라미터 튜닝 없이도 도메인 전문가가 에너지 분해를 위한 최첨단 ML 기술을 적용할 수 있도록 한다.
2. 효율성: 프레임워크는 모델을 하나씩 평가하는 전통적인 수동 방식에 비해 현저히 향상된 효율성과 우수한 실험 성능을 입증한다.
3. 확장성: 프레임워크는 새로운 알고리즘과 하이퍼파라미터를 추가할 수 있는 모듈형 아키텍처로 설계되어, 추가적인 연구와 산업 도입을 촉진한다.
4. 검증: 테스트된 조건 하의 UK-DALE 데이터셋에 대해 Seq2Point를 최적의 아키텍처로 식별함으로써, 정밀한 가전제품 단위 에너지 분해를 위한 시퀀스-투-시퀀스 모델의 효용성을 검증한다.

저자들은 현재의 구현이 계산적 제약으로 인해 (전수 조사를 방해하는) 제한 사항이 있지만, 이 프레임워크가 학술 및 산업적 NILM 애플리케이션을 위한 구조화된 참조 아키텍처를 구축하여 원시 데이터에서 최적화된 에너지 모니터링 솔루션으로 가는 경로를 간소화한다고 결론짓는다.