기술 요약: 실제 환경의 RL을 위한 오프라인 하이퍼파라미터 선택용 다이내믹스 모델

문제 정의

강화 학습(RL)을 실제 산업 시스템에 배포하는 것은 하이퍼파라미터 선택의 어려움으로 인해 빈번하게 제약을 받는다. 표준적인 접근 방식들은 상당한 한계에 직면해 있다: 기본 하이퍼파ら미터는 특정 시스템 다이내믹스와 일치하지 않는 경우가 많고, 시뮬레이터 기반의 튜닝은 정확한 모델을 필요로 하지만 그러한 모델은 가용하지 않은 경우가 많으며, 직접적인 온라인 튜닝은 실제 환경과의 상호작용에 따르는 높은 비용, 위험 또는 시간 집약성 때문에 불가능한 경우가 많다.

비록 "캘리브레이션 모델(calibration models)"—하이퍼파라미터 선택을 위한 대리 환경 역할을 하도록 오프라인 데이터로 학습된 다이내믹스 모델—이 제안되었으나(Wang et al., 2022), 이들은 이전까지 단순한 시뮬레이션 도메인에서만 평가되었다. 이러한 모델들이 하이퍼파라미터 구성의 상대적 순위를 보존할 수 있을 만큼 복잡하고 비정상적인(non-stationary) 실제 세계의 다이내믹스를 효과적으로 근사할 수 있는지는 여전히 불분명하다. 본 논문은 이론적인 캘리브레이션 모델과 실제 산업 환경 적용 사이의 간극을 다룬다.

방법론

프레임워크: Data2Online

본 연구는 "Data2Online" 프레임워크(Wang et al., 2022)를 활용한다. 이 설정에서, 캘리브레이션 모델 $\hat{p}$는 오프라인 로그를 통해 실제 환경 다이내믹스 $p$를 근사하도록 학습된다. 이 모델은 정책을 직접 최적화하는 데 사용되는 것이 아니라, 이후 온라인에서 학습할 에이전트의 하이퍼파라미터($\lambda$)를 선택하기 위한 평가 환경 역할을 한다. 목적은 모델에서 발견된 최적의 하이퍼파라미터($\lambda^*_{model}$)가 실제 환경의 최적 하이퍼파라미터($\lambda^*_{env}$)와 일치하도록 보장하는 것이다.

태스크: Nexting Prediction

평가된 특정 태스크는 nexting prediction으로, 이는 일반 가치 함수(General Value Function, GVF) 문제이다(Modayil et al., 2012). 플랜트를 제어하는 대신, 수동적 에이전트는 특정 센서 신호(cumulants)에 대한 할인된 미래 가치의 합을 예측한다. 성능은 제어 리턴(control return)이 아닌, 예측값과 경험적 몬테카를로 리턴 사이의 평균 제곱근 오차(RMSE)로 측정된다.

캘리브레이션 모델 아키텍처

저자들은 다음과 같은 몇 가지 모델 아키텍처를 평가한다:

1. k-최근접 이웃 (k-Nearest Neighbors, kNN): 데이터셋 내의 전이만을 사용하여 다음 상태와 보상을 예측함으로써 외삽(extrapolation)을 피하는 비매개변수적 접근 방식이다. 두 가지 변형이 테스트되었다:
   • Euclidean kNN: 원시 상태-행동 거리를 사용한다.
   • Laplacian kNN: 기저 MDP 구조에 민감한 거리 메트릭을 구축하기 위해 근사 라플라시안 표현(Wu et al., 2018)을 사용한다.
   • 앙상블링(Ensembling): 인식론적 불확실성(epistemic uncertainty)을 해결하기 위해, 다섯 개의 kNN 모델에 대한 Leave-One-Block-Out (LOBO) 앙상블을 사용한다. 성능은 보수적인 추정치를 제공하기 위해 모델 간의 최악 순위(worst rank)를 취함으로써 집계된다.
2. 매개변수적 베이스라인 (Parametric Baselines): 1단계 다음 상태 예측 손실을 최소화하도록 학습된 피드포워드 신경망(FFNN) 및 게이트 순환 유닛(GRU)이다.

평가 지표

• 롤아웃 품질 (Rollout Quality): 실제 데이터에 대한 장기 호라이즌(30k 스텝) 궤적의 정성적 시각적 비교.
• 하이퍼파라미터 민감도 (Hyperparameter Sensitivity): 캘리브레이션 모델과 "온라인" 설정(보류된 데이터를 재현한 데이터) 간의 학습률 민감도 곡선(NRMSE vs. learning rate) 비교.
• 동적 시간 왜곡 (Dynamic Time Warping, DTW): 속도, 타이밍 또는 위상의 차이를 고려하여 모델 생성 궤적과 실제 궤적 사이의 유사성을 측정하는 데 사용된다.

실험 설정

본 연구는 캐나다 앨버타주 드레이턴 밸리에 위치한 시립 정수 처리장(WTP)에 이 방법들을 적용한다.

• 데이터셋: 2022~2024년 사이의 1Hz 주기로 기록된 2년간의 센서 로그이며, 142차원 특징 벡터로 축소되었다.
• 센서: 세 가지 핵심 센서가 선정되었다: 막 압력(PIT300), 유입 온도(TIT101), 유입 탁도(TUIT101).
• 시나리오:
  1. 표준 (Standard): 약 350k 개의 전이를 포함하는 1주일 분량의 슬라이스로 학습.
  2. 스케일링 (Scaling): 서브샘플링 후 약 3.2M 개의 샘플을 포함하는 1년치 전체 데이터로 학습.
  3. 파인 튜닝 (Fine-Tuning): 6개월치 데이터로 에이전트를 사전 학습시킨 후, 모델을 사용하여 파인 튜닝 학습률을 선택.
  4. 분포 변화 (Distribution Shift): 계절적 변화 및 센서 드리프트에 대한 일반화 능력을 평가하기 위해 2023년 4월, 5월, 7월의 데이터로 테스트.

주요 결과

1. 실제 환경 적용 및 롤아웃 품질

• kNN의 우수성: kNN 모델(Euclidean 및 Laplacian 모두)은 PIT300 센서에 대해 실제 데이터와 매우 유사한 현실적인 장기 롤아웃을 성공적으로 생성하였다. 반면, 매개변수적 베이스라인(NN 및 GRU)은 50~100 타임스텝 이후 붕괴되는 경향을 보였다.
• Laplacian vs. Euclidean: Laplacian kNN은 PIT300에 대해 전반적으로 더 밀접한 정렬을 보여주었으나, Euclidean kNN은 TIT101 및 TUIT101에 대해 온라인 곡선과 더 밀접하게 일치하였다. 이는 Laplacian 표현이 센서 다이내믹스에 특화된 튜닝이 필요할 수 있음을 시사한다.

2. 하이퍼파라미터 민감도

• 순위 보존: 두 kNN 모델 모두 온라인 설정과 비교했을 때 올바른 하이퍼파라미터 순위(학습률 민감도)를 일반적으로 복구하였다.
• 매개변수 모델의 실패: NN 및 GRU 모델은 낮은 롤아웃 품질과 일관되게 하이퍼파라미터 민감도를 보존하는 데 실패하였다.
• 결론: 캘리브레이션 모델은 TD(0) 예측 에이전트를 위한 학습률의 오프라인 선택을 지원할 수 있다.

3. 스케일링 및 분포 변화

• 데이터 볼륨: kNN 모델을 1년치 데이터셋(12개월 kNN)으로 확장함으로써 1주일 모델에 비해 더 넓은 범위의 다이내믹스를 포착할 수 있었다. 그러나 DTW를 사용한 정량적 결과는 혼재되어 나타났다. 12개월 모델은 TIT101에서 가장 좋은 성능을 보였으나, 1주일 모델은 TUIT101에서 더 나은 성능을 보였다.
• 파인 튜닝: 파인 튜닝 시나리오에서 6개월 kNN 모델은 일반적인 분포 변화를 반영할 수 있었으며, 이는 배포 기간이 멀어질수록 가장 작은 학습률의 성능이 저하됨을 보여주어 더 많은 적응이 필요함을 나타냈다. 그러나 모델은 특정 변화를 포착하는 데 어려움을 겪었으며, 이는 후기 배포 기간에 대한 온라인 민감도 곡선과 불일치를 보였다.
• 시작 상태 선택: 롤아웃 시작 상태를 선택하는 전략(예: 배포 기간의 최근접 이웃 선택)은 이 특정 설정에서 무작위 선택보다 제한적인 이점만을 보여, 표적화된 시작 상태 선택만으로는 임의의 분포 변화를 완전히 시뮬레이션하기에 불충분함을 시사했다.

의의 및 주장

본 논문은 실제 산업 환경에서 오프라인 하이퍼파라미터 선택을 위한 캘리브레이션 모델의 첫 번째 적용 사례를 제시한다. 주요 의의는 시뮬레이터가 존재하지 않고 온라인 실험이 비용이 많이 드는 환경에서 오프라인 다이내믹스 모델이 RL 배포를 지원할 수 있다는 **개념 증명(proof of concept)**을 제공한다는 점에 있다.

저자들은 캘리브레이션 모델이 현실적인 롤아웃을 생성하고 의미 있는 하이퍼파라미터 트렌드를 복구할 수 있음을 입증하면서도, 여전히 상당한 실무적 과제가 남아 있다고 겸허하게 주장한다. 구체적으로, 본 논문은 다음과 같은 열린 질문들을 강조한다:

• 모델의 외삽이 실패하는 조건은 무엇인가?
• 특정 대상 배포 기간과 관련된 분포 변화를 어떻게 효과적으로 시뮬레이션할 것인가?
• 예측 정확도와 하이퍼파라미터 순위 보존 사이의 관계는 무엇인가?
• 장기 롤아웃 품질을 평가하기 위해 DTW보다 더 정보가 풍부한 지표를 어떻게 개발할 것인가?

이 연구는 시뮬레이션 기반의 캘리브레이션 모델 연구와 실제 배포 사이의 간극을 메우며, 접근 방식이 유망하지만 복잡한 산업 시스템의 확장성과 비정상성을 해결하기 위해 추가적인 조사가 필요함을 강조한다.