Prediction of Runtime Parameters of Parallel Chemistry Applications via Active and Generative Learning

기술 요약: 능동 학습 및 생성 학습을 통한 병렬 화학 애플리케ations의 실행 시간 파라미터 예측

문제 정의
대규모 전자 구조 계산, 특히 결합 클러스터 단일 및 이중(CCSD) 방식은 슈퍼컴퓨팅 시스템에 상당한 계산 부하를 가합니다. 이러한 대규모 병렬 애플리케이션의 실행 시간은 문제 크기(분자 궤도 수), 대상 하드웨어 아키텍처, 그리고 노드 수 및 타일 크기와 같은 실행 시간 설정 사이의 복잡한 상호작용에 따라 달라집니다. 시행착오를 통해 최적의 구성을 찾는 것은 제한된 자원 할당 하에서 낭비되는 노드-시간(node-hours) 비용이 높기 때문에 비현실적입니다. 이론적인 스케일링 법칙과 경험적 휴리스틱이 존재하지만, 통신 오버헤드, 부하 불균형, 이종 하드웨어 효과로 인해 실제 실행 시간이나 최적의 구성을 정확하게 예측하지 못하는 경우가 많습니다. 본 논문은 사용자의 두 가지 주요 의사결정 시나리오인, 주어진 문제 크기에 대해 실행 시간을 최소화하는 구성을 찾는 '최단 시간 질문(STQ)'과, 특정 자원 제약(예: 노드-시간 또는 시간 제한)을 준수하는 구성을 식별하는 '예산 질문(BQ)'을 지원하기 위한 정확한 실행 시간 예측 모델의 필요성을 다룹니다. 핵심적인 과제는 역사적 실행 시간 데이터의 희소성으로, 값비싼 슈퍼컴퓨터 실행으로부터 충분한 측정값을 수집하는 것은 종종 불가능합니다.

방법론
저자들은 데이터 희소성 문제를 해결하기 위해 지도 학습(supervised learning)을 능동 학습(active learning) 및 생성 학습(generative learning) 전략과 결래한 머신러닝 프레임워크를 제안합니다.

• 기초 지도 학습: 본 연구는 다항 회귀(Polynomial Regression), 커널 릿지 회귀(Kernel Ridge Regression), 결정 트리(Decision Trees), 랜덤 포레스트(Random Forests), 그래디언트 부스팅 트리(GB), 아다 부스팅 트리(Ada Boosting Trees), 가우시안 프로세스(GPs), 베이지안 릿지 회귀(Bayesian Ridge Regression), 서포트 벡터 회귀(Support Vector Regression)를 포함한 일련의 회귀 모델을 평가합니다. 하이퍼파라미터 튜닝은 그리드 탐색(Grid Search), 랜덤 탐색(Random Search) 및 베이지안 최적화(Bayesian Optimization)를 사용하여 수행됩니다. 모델은 세 대의 미국 에너지부(DOE) 슈퍼컴퓨터인 Aurora(ALCF), Frontier(OLCF), Perlmutter(NERSC)에서 수행된 CCSD 실행으로부터 수집된 실행 시간 데이터로 학습됩니다.
• 능동 학습: 데이터 부족을 완화하기 위해, 저자들은 가장 정보가 풍부한 구성을 선택하기 위해 능동 학습을 채택합니다. 두 가지 쿼리 전략이 구현됩니다:
  • 불확실성 샘플링(Uncertainty Sampling, US): 가우시안 프로세스 모델을 사용하여 모델의 예측 불확실성(분산)이 가장 높은 데이터 포인트를 쿼리합니다.
  • 위원회에 의한 쿼리(Query-by-Committee, QC): 그래디언트 부스팅 모델의 앙상블을 사용하여 위원회 구성원 간의 불일치가 가장 큰 지점을 쿼리합니다.
    이 과정은 선택된 지점들을 반복적으로 학습 세트에 추가하여 더 적은 레이블 샘플로 모델 정확도를 개선합니다.
• 생성 학습: 희소한 데이터셋을 더욱 보강하기 위해, 저자들은 원래 데이터의 통계적 특성을 보존하면서 그럴듯한 데이터 포인트를 합성하는 생성 모델을 활용합니다. 두 가지 합성기가 비교됩니다:
  • 가우시안 코퓰라(Gaussian Copula): 데이터를 가우시안 공간으로 변환함으로써 변수 간 의존성을 모델링하는 통계적 방법입니다.
  • 조건부 테이블형 생성적 적대 신경망(Conditional Tabular Generative Adversarial Networks, CTGAN): 이산형 및 연속형 변수와 불균형 분포를 처리할 수 있는 혼합 유형의 테이블형 데이터에 설계된 딥러닝 접근 방식입니다.

주요 기여

1. 고성능 예측 모델 개발: 본 연구는 CCSD 실행 시간 파라미터를 예측하기 위한 포괄적인 ML 모델 세트를 구현하고 평가합니다. 충분한 데이터가 있을 때 높은 $R^2$ 점수와 낮은 평균 절대 백분율 오차(MAPE)를 달려내며, 그래디언트 부스팅이 테스트된 세 가지 슈퍼컴퓨팅 플랫폼 모두에서 가장 정확하고 견고한 예측 도구임을 확인했습니다.
2. 능동 및 생성 학습의 통합: 본 논문은 데이터 희소성을 극복하기 위해 능동 및 생성 학습을 사용하는 것의 효용성을 입증합니다. 전략적으로 정보가 풍부한 샘플을 선택하거나 합성 데이터로 데이터를 보강함으로써, 원래 데이터셋 크기의 20~25%만을 사용하여 정확한 실행 시간 예측 모델을 학습할 수 있음을 보여줍니다.
3. 포괄적인 교차 플랫폼 평가: 본 프레임워크는 세 대의 주요 DOE 슈퍼컴퓨터(Aurora, Frontier, Perlmutter)로부터 얻은 실제 성능 데이터를 사용하여 STQ 및 BQ 목적을 모두 엄격하게 평가받았습니다.

결과

• 기초 성능: 전체 데이터셋에 대해 그래디언트 부스팅 모델은 탁월한 정확도를 달성했습니다. Aurora에 대한 STQ의 경우, MAPE 0.023 및 $R^2$ 0.999에 도달했습니다. BQ의 경우, MAPE 0.12 및 $R^2$ 0.979를 달성했습니다. Frontier와 Perlmutter에서도 유사한 높은 성능이 관찰되었습니다.
• 능동 학습 효율성: 능동 학습을 사용할 때, 모델은 원래 데이터셋의 20~25%만 사용하여 약 0.2의 MAPE를 달성했습니다. 구체적으로 Aurora의 경우, 450개의 데이터 포인트(데이터셋의 25%)로 MAPE 0.2에 도달했으며, 약 550개의 포인트로 0.1까지 개선되었습니다. Uncertainty Sampling 전략이 Aurora에서는 일반적으로 Query-by-Committee보다 우수한 성능을 보였으나, Frontier와 Perlmutter에서는 특정 목적에 대해 QC가 더 나은 성능을 보였습니다.
• 생성 학습의 영향: 생성 학습은 합성 데이터를 추가했을 때 특히 MAPE 측면에서 성능의 완만한 개선을 보여주었습니다. 그러나 저자들은 특히 기초 데이터셋이 작을 때 합성 데이터가 학습의 불안정성을 초래할 수 있다고 언급했습니다. Gaussian Copula 합성기는 CTGAN보다 적합(fit) 속도가 현저히 빨랐습니다(약 160배). 샘플링 시간은 비슷했습니다.
• 통계적 분석: 선택된 배치(batch) 내의 실행 시간 평균, 분산 및 표준 편차를 분석했습니다. 능동 학습 전략(US 및 QC)은 모델의 불확실성이나 불일치가 가장 높은(즉, 실행 시간이 더 길고 분산이 큰) 구성을 초በ에 선택한 후, 모델이 학습함에 따라 더 균질하고 실행 시간이 짧은 배치로 수렴하는 경양을 보였습니다.

의의
본 논문은 자신의 접근 방식이 대규모 양자 화학 시뮬레이션의 파라미터 선택 부담을 줄이기 위한 실용적인 프레임워크를 제공한다고 주장합니다. 훨씬 적은 수의 값비싼 슈퍼컴퓨터 실행만으로 정확한 실행 시간 예측을 가능하게 함으로써, 이 방법론은 더 효율적인 자원 사용, 더 빠른 구성 튜닝 및 계산 예산에 대한 사용자 의사결정 개선을 촉진합니다. 본 연구는 전통적인 지도 학습이 풍부한 데이터가 있을 때 매우 효과적이지만, 데이터 수집이 비용과 시간으로 인해 제한되는 시나리오에서는 능동 및 생성 학습 전략이 유효한 대안이 될 수 있음을 강조합니다.