Automating data splitting and hyper-parameters tuning in an Echo State Network-based model for Dynamic Aperture prediction

기술 요약: 에코 상태 네트워크(Echo State Network) 기반 모델의 동적 아퍼처 예측을 위한 데이터 분할 및 하이퍼파라미터 튜닝 자동화

문제 정의
해론트론(hadron) 저장링에서 유계 운동(bounded motion)이 발생하는 위상 공간 영역의 범위인 동적 아퍼처(Dynamic Aperture, DA)를 예측하는 것은 LHC 및 HL-LHC와 같은 입자 가속기의 설계 및 최적화에 매우 중요하다. 전통적인 DA 결정 방식은 방대한 초기 조건의 앙상블에 대한 비용이 많이 드는 수치 시뮬레이션에 의존하며, CPU 제약으로 인해 짧은 시간 규모(예: $10^6$ 턴)로 제한되는 경우가 많다. 반면, 운영 시간 규모는 훨씬 더 긴 기간에 대한 외삽을 요구한다.

이전 연구[1]에서는 에코 상태 네트워크(ESN, 리저버 컴퓨팅의 일종)를 네코로셰프 정리(Nekhoroshev theorem)에서 유도된 해석적 스케일링 법칙(Scaling Law, SL)과 결합하면 예측 정확도를 크게 향상시키고 계산 비용을 줄일 수 있음을 입증했다. 그러나 이러한 하이브리드 접근 방식의 성능은 데이터셋이 훈련, 검증, 테스트 세트로 어떻게 분할되는지와 ESN의 특정 하이퍼파라미터에 크게 의존한다. 본 연구는 이러한 과정의 자동화가 부족하다는 점에 주목하여, 수동 개입 없이 견고하고 재현 가능한 결과를 보장하기 위해 최적의 데이터 분할 전략을 결정하고 하이퍼파라미터 튜닝을 자동화하는 것을 목표로 한다.

방법론
저자들은 두 가지 데이터셋을 활용한다: 하나는 자기적 결함(magnetic imperfections)을 고려하기 위해 60개의 시드(seed)를 사용하여 생성된 HL-LHC 횡방향 빔 역학으로부터의 수치 시뮬레이션 데이터이고, 다른 하나는 변조된 4D 헤논 맵(Hénon map)에 기반한 데이터이다. 핵심 방법론은 다음과 같다:

1. 하이브리드 모델링: 본 연구는 훈련 및 검증 세트의 트래킹 데이터에 스케일링 법칙(SL)을 피팅하여 DA 진화를 예측하고, 테스트 세트(시뮬레이션 한계를 넘어서는 턴)에 대해서는 동일한 데이터를 바탕으로 학습된 ESN을 사용하여 DA를 예측하는 모델을 채택한다. 최종 예측은 SL 피팅과 ESN 출력을 결합(SL+ESN)하여 이루어진다.
2. 데이터 분할 분석: 저자들은 데이터를 훈련, 검증, 테스트 세트에 할당하는 비율의 변화가 미치는 영향을 조사한다. 특히 이 세트들의 경계에서 해석적 스케일링 법칙의 미분값($dSL/dN$)을 분석한다. 이들의 가설은 미분의 거동(급격한 하락에서 완만한 감소로의 전환)이 훈련/검증 세트와 테스트 세트 사이의 최적의 분할 지점을 결정하는 자동화된 지표 역할을 할 수 있다는 것이다.
3. 자동 하이퍼파라미터 최적화: 수동 튜닝을 대체하기 위해, 본 연구는 hyperopt 라이브ей러리를 통한 트리 구조 파젠 추정기(Tree-structured Parzen Estimator, TPE) 알고리즘을 사용하는 베이지안 최적화 기법을 구현한다. 이를 통해 여섯 가지 ESN 하이퍼파라미터인 리저버 차원($N_r$), 스택된 리저버 수($L$), 스펙트럼 반경($\rho$), 버려지는 입력 데이터($B_I$), 시간 이산화 상수($\Delta t$), 그리고 티코노프 정규화 계수($\beta$)를 최적화한다.
4. 앙상블 접근법: 이전 연구와 일관되게, 본 연구는 알고리즘적 무작위성을 완화하기 위해 각 시드에 대해 ESN 실현체들의 앙상블을 사용하며, 결과를 평균하여 최종 예측을 생성한다.

주요 결과

• 최적의 데이터 분할: 분석 결과, 약 35%(SL+ESN 모델의 경우 최저 30%)의 훈련 공유량만으로도 테스트 세트에서 몇 퍼센트 수준의 상대 제곱 평균 제곱근 오차(RRMSE)를 달ell 수 있음을 밝혀냈다. 연구는 30%와 45% 훈련 공유량 사이의 성능 "플래토(plateau, 고원 현상)"를 확인하였다.
• 미분 기반 자동화: 해석적 SL 미분의 절대값과 60개 시드 간의 분산은 훈련 공유량에 따라 단조롭게 변화한다. 저자들은 평균 절대 미분 또는 그 표준 편차에 대한 고정된 임계값을 사용하여, 데이터가 검증에 적합한 점근적 거동을 보이는 지점을 자동으로 식별함으로써 훈련/검증과 테스트 세트 사이의 분할을 자동화할 수 있음을 입증하였다.
• 하이퍼파라미터 최적화: 50회의 독립적인 실행을 통한 TPE 기반 베이지안 최적화를 통해, SL+ESM 모델이 매우 견고함을 발견하였다. SL+ESN 모델의 중앙값 RRMSE는 1% 미만으로 유지되었으며, 서로 다른 하이퍼파라미터 세트에 대한 최대 평균 RRMSE 역시 2% 미만을 유지하였다. 반면, ESN 전용 모델은 다소 높은 변동성을 보였으나 여전히 우수한 성능을 나타냈다.
• 성능 이득: 결합된 SL+ESN 접근 방식은 테스트 세트에서의 값비싼 트래킹 시뮬레이션을 ESN 예측으로 대체할 수 있게 한다. HL-LHC 시뮬레이션의 경우, 이는 20배의 속도 향상을 가져왔다. 테스트 세트 이후 3개 차수(orders of magnitude)만큼 지난 턴에 대한 예측 정확도는 약 1% RRMSE 수준을 유지하였다.

의의 및 주장
본 논문은 가속기 물리학 문제에 머신러닝을 적용하기 위한 더 효율적이고 견고한 절차를 제공한다고 주장한다. 구체적으로 다음을 확립하였다:

1. 자동화 가능성: 해석적 스케일링 법칙의 미분을 사용하여 최적의 데이터 파티셔닝을 자동으로 결정할 수 있으며, 이를 통해 휴리스틱하거나 수동적인 훈련/테스트 경계 선택의 필요성을 제거할 수 있다.
2. 하이브리드 모델의 견고성: 네코로셰프 기반 스케일링 법칙과 ESN 예측의 결합은 단일 방법론을 사용할 때보다, 특히 데이터가 적은 상황(low-data regimes)에서 더 우수한 신뢰성을 제공한다.
3. 자동 튜닝: 베이지안 최적화(TPE)는 최적의 ESN 하이퍼파라미터를 성공적으로 식별하며, 이러한 매개변수와 관련된 불확실성에 대한 정량적 추정을 제공하고 대리 모델(surrogate models)의 안정성을 확인시켜 준다.

저자들은 이러한 발견이 새로운 가속기 구성에 대한 향-후 적용을 위한 더욱 간소화된 워크플로우를 가능하게 하며, 신뢰할 수 있는 장기 DA 예측을 위한 정확도를 희생하지 않으면서도 계산적 절감(속도 향상 계수)을 달성할 수 있음을 결론지었다.