기술 요약: RL4F – 핵융합 플라즈마 제어를 위한 오프라인 강화 학습

문제 정의

핵융합 토카막을 위한 컨트롤러를 온라인 강화 학습(RL)으로 개발하는 것은 실제 장치의 높은 운영 비용, 시간 제한 및 안전 필수적 특성으로 인해 매우 비용이 많이 들고 위험합니다. 물리 기반 시뮬레이터(예: RAPTOR, TORAX)가 존재하지만, 이는 계산 비용이 많이 들고 광범적인 보정이 필요하며, 복잡하고 비선형적인 플라즈마 역학을 포착하는 데 어려움을 겪는 경우가 많습니다. 반대로, 온라인 상호작용 없이 과거의 실험 데이터로부터 직접 학습하는 방식(오프라인 RL)은 더 안전한 대안을 제공하지만 표준화된 벤치마크가 부족합니다. 현재의 과제는 고차원의 플라즈마 프로파일, 비선형 및 확률적 역학, 부분 관측 가능성, 그리고 장기 제어 과제를 위한 보상(reward) 지정의 어려움입니다.

방법론

본 논문은 토카막 프로파일 제어를 위한 오프라인 RL의 통합 벤치마크인 RL4F를 소개합니다. 방법론은 네 가지 핵심 구성 요소로 구조화되어 있습니다.

1. 역학 모델링 (환경)

저자들은 물리 기반 시뮬레이터를 사용하는 대신, 순환 확률 신경망(Recurrent Probabilistic Neural Network, RPNN) 앙상블을 사용하여 데이터 기반의 "디지털 트윈"을 구축했습니다.

• 훈련 데이터: 이 모델은 거의 10년에 걸친 DIII-D 토카막의 18,000개 역사적 실험 방전(discharges) 데이터를 기반으로 훈련되었습니다.
• 아키텍처: 25개의 멤버로 구성된 RPNN 앙상블은 현재 상태($s_t$), 이전 액추에이터 설정($a_{t-1}$), 그리고 액추에이터 증분($\Delta a_t$)이 주어졌을 때 상태 변화($\Delta s_t$)의 분포를 예측합니다.
• 불확실성 정량화: 모델은 가우시안 분포의 파라미터($\mu_t, \sigma_t$)를 출력합니다. 앙상블은 에피스테믹 불확실성(멤버 간의 불일치를 통해)을 포착하며, 로그 분산 헤드는 알레아토릭 불확실성을 포착합니다.
• 2단계 훈련: 첫 번째 단계에서는 예측 평균(MSE)을 최적화하고, 두 번째 단계에서는 백본을 고정한 후 음의 로그 가능도(negative log-likelihood)를 통해 불확실성을 보정합니다.

2. 데이터셋 구축

실제 "플랫 탑(flat-top)" 샷 상태에서 롤아웃을 초기화하고 참조 역학 모델을 자기회귀적으로 롤아웃하여 합성 오프라인 데이터셋을 생성합니다.

• 규모: 최종 데이터셋은 5,882개의 샷과 945,828개의 전이(transitions)로 구성됩니다.
• 분할: 고정된 분할 방식을 사용합니다: 훈련용 5,282 샷, 검증용 300 샷, 테스트용 300 샷.
• 절차: 실제 액추에이터 스케줄을 유지하면서 폐루프 동작을 시뮬레이션하기 위해, 측정된 다음 상태를 앙상블 예측값으로 대체합니다.

3. 벤치마크 과제

이 벤치마크는 정규화된 반경 좌표($\psi_N \in [0, 1]$)에 따른 고차원 공간 양을 조절하는 네 가지 전체 프로파일 추적 과제에 대해 알고리즘을 평가합니다.

1. 회전(Rotation): 테어링 모드(tearing mode) 억제 및 연료 공급 비대칭성에 중요합니다.
2. 밀도(Density): 코어 연료 재고 및 융합율을 조절합니다.
3. 전자 온도(Electron Temperature): 열 수송 및 가둠(confinement)에 영향을 미칩니다.
4. 압력(Pressure): MHD 안정성 한계를 결정합니다.

제어 설정:

• 액션 공간(Action Space): 중성 입자 입사(NBI) 출력, NBI 토크, 가스 퍼핑 전압, 전자 사이클로트론 가열(ECH) 출력.
• 관측 공간(Observation Space): 전류 프로파일, 목표 프로파일, 미래 목표(10단계 앞선 값), 그리고 비례 오차 항(P-terms).
• 보상(Reward): 타겟과 달성된 프로파일 사이의 평균 제곱 오차(MSE)의 음수 값.

4. 평가 프로토콜

알고리즘은 정적인 합성 데이터셋에서 훈련되며, 참조 역학 모델 상에서 폐루프(closed-loop) 환경에서 평가됩니다.

• 베이스라인: 연구는 GCIL(모방 학습)을 포함하여 TD3BC, CQL, IQL, EDAC, MCQ(모델 프리 오프라인 RL)와 PPO, COMBO, MOPO, MOBILE, RAMBO, BAMCTS(모델 기반 오프라인 RL) 등 광범위한 방법을 평가합니다.
• 지표: 33개의 반경 위치에서의 평균 제곱근 오차(RMSE)를 300개의 테스트 샷과 10개의 무작위 시드에 대해 평균하여 산출합니다.

주요 기여

1. RL4F 벤치마크: 핵융합 플라즈마 제어를 위해 특별히 설계된 최초의 표준화된 오프라인 RL 벤치마크로서, 알고리즘 비교를 위한 공통 테스트베드를 제공합니다.
2. 현실적인 데이터 기반 환경: 실제 DIII-D 데이터로 훈련된 고충실도 역학 모델을 제공하여, 물리 기반 시뮬레이터의 보정 오버헤드를 피하면서 장치 특유의 비선형성을 포착합니다.
3. 포괄적인 베이스라인 평가: 네 가지 서로 다른 장기 프로파일 추적 과제에 걸쳐 다양한 오프라인 RL 및 모방 학습 접근법을 통합적으로 평가합니다.
4. 오픈 소스 공개: 재현성과 커뮤니티 채택을 촉진하기 위해 코드베이스, 데이터셋 및 평가 프레임워크를 오픈 소스로 공개합니다.

결과

평가 결과, 모델 기반 오프라인 RL 방법들이 일반적으로 모델 프리 베이스라인보다 우수한 성능을 보였으나, 단일 알고리즘이 모든 과제를 지배하지는 않았습니다.

• 회전: RAMBO가 가장 낮은 평균 RMSE(8.03)를 기록했으며, COMBO와 MOPO가 그 뒤를 바짝 쫓았습니다. 모델 프리 방법들은 훨씬 낮은 성능을 보였는데, 이는 정적인 데이터셋 내에서 장기적인 토크 수정을 위해 행동 분포에서 벗어나기가 어렵기 때문인 것으로 보입니다.
• 밀도: COMBO가 가장 좋은 성능(RMSE 0.691)을 보였으며, MOPO와 PPO가 근접했습니다. 모델 기반과 모델 프리 방법 간의 격차가 작은 것은 데이터셋이 밀도 제어를 위한 충분한 커버리지를 제공했음을 시사합니다.
• 온도: MOPO가 최고의 성능(RMSE 0.193)을 달성했습니다. 불확실한 모델 예측에 페널티를 주는 능력이 지연된 응답과 누적된 수송 효과를 포함하는 온도 역학에 유리하게 작용했습니다.
• 압력: MOPO가 다시 한번 선두(RMSE 5198.6)를 차지했으며, RAMBO가 그 뒤를 이었습니다. 압력은 밀도 및 온도와 강력하게 결합되어 있어 가장 어려운 과제이며, 불확실성을 고려하는 방법론이 유리했습니다.

일반적인 경향:

• 플라즈마 코어 근처($\psi_N \approx 0$)의 추적은 프로파일의 크기와 시간적 변화가 더 크기 때문에 가장자리보다 일관되게 더 어렵습니다.
• 순수 모방 학습(GCIL)은 이러한 장기적인 문제에 불충분하여, 오프라인 RL 방법들보다 현저히 높은 오차를 나타냈습니다.
• 보편적으로 최적인 단일 알고리즘은 없으며, 성능은 특정 물리적 역학과 타겟 프로파일의 결합 방식에 따라 달라집니다.

의의 및 주장

본 논문은 RL4F가 핵융합과 오프라인 RL 알고리즘 개발 모두의 진전을 가속화하는 중요한 단계라고 주장합니다. 데이터 기반의 표준화된 환경을 제공함으로써, 연구자들이 실제 장치 실험의 즉각적인 위험과 비용 없이 컨트롤러를 개발하고 비교할 수 있게 합니다.

저자들은 RL4F가 실제 DIII-D 데이터를 기반으로 구축되었지만, 다른 토카막으로의 일반화 가능성은 더 넓은 협력이 필요한 미결 과제임을 겸허히 언급합니다. 또한 RL4F가 통제된 오프라인 평가 환경 역할을 한다는 점을 강조하며, 여기서의 성능은 알고리즘의 잠재력을 보여주는 증거일 뿐, 물리적 장치에 대한 안전 필수적 검증을 대체할 수는 없다고 명시합니다. 이 벤치마크는 핵융합에 내재된 비선형 역학, 장기 제어, 부분 관측 가능성의 과제를 다룸으로써, 더 넓은 오프라인 RL 커뮤니티를 위한 엄격한 테스트베드로 자리매김하고 있습니다.