Application of Reinforcement Learning for Multigroup Energy Grid Optimization for Neutron Transport Criticality Problems

본 논문은 1 차원 구형 k-임계 중성자 수송 문제에 대한 다군 에너지 구조를 최적화하기 위해 신경망 대리 모델과 결합된 강화 학습 접근법을 제시하며, 기존 방법과 동등하거나 더 높은 정확도를 달성하면서도 더 큰 유연성과 계산 효율성을 제공합니다.

핵심

이 논문은 간단한 언어와 창의적인 비유를 사용하여 설명한 것입니다.

큰 그림: 핵 신호를 위한 라디오 튜닝

핵반응로에서 오는 매우 희미한 라디오 신호를 듣고 있다고 상상해 보세요. 신호 (중성자) 는 복잡하며, 빠르게 변하는 다양한 "주파수" (에너지) 를 가지고 있습니다. 이 신호를 이해하려면 라디오 다이얼을 조정해야 합니다.

핵물리학에서 과학자들은 **다중군 중성자 수송 (Multigroup Neutron Transport)**이라는 방법을 사용합니다. 이는 전체 라디오 스펙트럼을 일정한 수의 "채널"이나 "통" (에너지 군이라고 함) 으로 나누는 것이라고 생각하세요.

• 통이 너무 많으면: 신호의 선명한 그림을 얻을 수 있지만, 컴퓨터가 너무 많은 작업을 해야 하므로 계산이 완료되는 데 며칠이 걸립니다. 마치 모든 단일 주파수를 개별적으로 들어야 하는 것과 같습니다.
• 통이 너무 적으면: 컴퓨터는 빠르게 실행되지만, 중요한 세부 사항을 놓치거나 잡음을 들을 수 있어 부정확한 결과가 나올 수 있습니다.

이 논문의 목표는 특정 핵 문제에 대해 완벽한 통의 수와 그 사이의 선을 그을 완벽한 위치를 찾는 것입니다.

문제: "골디락스"의 딜레마

수십 년 동안 과학자들은 표준 "사전 설정" 채널 레이아웃 (LANL30 또는 LANL70 구조와 같은) 을 사용해 왔습니다. 이는 고정된 버튼이 달린 라디오를 구매하는 것과 같습니다. 많은 상황에서 작동은 하지만, 모든 특정 반응기에 완벽하지는 않습니다.

가장 좋은 맞춤형 레이아웃을 찾는 것은 어렵습니다.

1. 비쌉니다: 새로운 레이아웃이 작동하는지 테스트하려면 거대하고 느린 컴퓨터 시뮬레이션을 실행해야 합니다 (각 버튼 누름마다 전체 물리 테스트를 실행하는 것과 같습니다).
2. 어렵습니다: 단순히 추측을 시작하면 "국소 최소값"에 갇힐 수 있습니다. 안개가 낀 계곡에 있다고 상상해 보세요. 다음 언덕 너머에 더 깊은 계곡이 있음을 볼 수 없기 때문에 바닥에 도달했다고 생각할 수 있습니다.

해결책: 수정구와 함께한 스마트 로봇

벤 후웰 (Ben Whewell) 과 로스앨러모스 국립연구소의 팀은 **강화 학습 (Reinforcement Learning, RL)**을 사용했습니다.

비유:
미로를 풀려고 하는 로봇을 상상해 보세요.

• 로봇 (RL 에이전트): 이 로봇의 임무는 매우 상세한 지도 (618 개의 채널을 가진 고신뢰도 그리드) 로 시작하여 목표 수 (예: 30 또는 70) 에 도달할 때까지 선을 제거하는 것입니다.
• 보상: 로봇이 선을 제거할 때마다 점수를 받습니다. 높은 점수를 원한다는 것은 시뮬레이션이 여전히 정확하면서도 시간을 절약하기 위해 가능한 한 많은 선을 제거했다는 것을 의미합니다.
• 함정: 로봇이 단순히 추측한다면, 학습하는 데 수백만 번의 시도가 필요하며 각 시도마다 느리고 비싼 물리 시뮬레이션이 필요합니다.

비밀 무기: 대리 모델 (수정구)
로봇이 더 빠르게 학습할 수 있도록 팀은 **신경망 대리 모델 (Neural Network Surrogate Model)**을 구축했습니다.

• 이는 수정구나 매우 경험이 많은 코치라고 생각하세요.
• 로봇이 움직일 때마다 느리고 비싼 물리 시뮬레이션을 실행하는 대신, 로봇은 수정구에 묻습니다: "이 선을 제거하면 결과가 얼마나 좋아질까요?"
• 수정구는 선과 재료 (우라늄이나 플루토늄 등) 의 패턴을 보고 정확도를 즉시 예측합니다. 완벽한 숫자를 제공하지는 않지만, 결과를 "품질 통" (예: "이것은 10 점 만점에 9 점입니다") 에 넣습니다.

이를 통해 로봇은 수천 년 대신 몇 시간 만에 수백만 번 연습할 수 있습니다.

그들이 한 일

그들은 이 "로봇 + 수정구" 팀을 두 가지 유명한 핵 퍼즐에 대해 테스트했습니다.

1. 고디바 (Godiva): 순수 우라늄으로 된 구.
2. BeRP 볼: 베릴륨 껍질로 둘러싸인 플루토늄 구.

그들은 로봇에게 거대한 그리드로 시작하여 30 또는 70 개 군으로 "가지치기"하도록 가르쳤으며, 어떤 선을 유지해야 하고 어떤 선을 잘라내야 하는지 학습했습니다.

결과: 표준보다 우수함

로봇이 만든 맞춤형 레이아웃을 표준 "사전 설정" 레이아웃 (LANL30 및 LANL70) 과 비교했을 때:

• 정확도: 로봇의 맞춤형 레이아웃이 더 정확했습니다. 표준 사전 설정보다 핵반응의 중요한 세부 사항을 더 잘 포착했습니다.
• 속도: 로봇은 이전 방법 (느리고 단계별 탐욕적 접근법인 "계층적 응집"과 같은) 보다 훨씬 빠르게 이러한 좋은 레이아웃을 찾는 법을 배웠습니다.
• 유연성: 로봇은 일반적인 전략을 학습했습니다. 구의 크기나 재료를 변경하더라도 로봇은 처음부터 다시 훈련할 필요 없이 적응할 수 있었습니다.

쉬운 영어로 된 핵심 요약

1. 스마트 가지치기: AI 는 처음부터 그리드를 구축하는 대신 완벽하고 상세한 그리드로 시작하여 정확도를 잃지 않으면서 시간을 절약하기 위해 정확히 어떤 부분을 잘라내야 하는지 학습합니다.
2. 코치: 그들은 느리고 비싼 시뮬레이션을 수백만 번 실행하는 것을 방지하기 위해 빠른 AI "코치" (대리 모델) 를 사용하여 결과를 예측했습니다.
3. 승리: AI 가 설계한 그리드는 이러한 특정 핵 테스트에서 오래된 표준 그리드를 능가했으며, 핵물리학 문제를 해결하는 더 유연하고 효율적인 방법을 제공했습니다.

요약하자면, 그들은 컴퓨터가 핵 안전 계산을 위해 속도와 정확도 사이의 완벽한 균형을 찾는 마스터 튜너가 되도록 가르쳤으며, 학습 과정을 가속화하기 위해 "수정구"를 사용했습니다.

기술 요약

기술 요약: 중성자 수송 임계 문제의 다군 에너지 그리드 최적화를 위한 강화 학습 적용

문제 정의
정확한 중성자 수송 계산은 연속 에너지 변수를 유한 범위에 걸쳐 적분하여 조각상 일정 에너지 군을 생성하는 다군 이산화 체계에 크게 의존합니다. 에너지 군 경계 선택은 결정적입니다. 비최적의 경계는 중성자 플럭스 스펙트럼과 반응률에 상당한 오차를 초래할 수 있습니다. 고충실도 그리드 (예: LANL618) 는 정확성을 제공하지만 높은 계산 비용과 메모리 사용량을 수반합니다. 반면, 저충실도 그리드 (예: LANL30, LANL70) 는 비용을 절감하지만 정확성을 유지하기 위해 경계를 신중하게 선택해야 합니다. 입자 군집 최적화 (PSO) 와 계층적 응집 (HA) 과 같은 기존 최적화 기법들은 모든 평가 단계에서 전체 수송 시뮬레이션이 필요하여 발생하는 높은 계산 비용과 국소 최소값에 대한 취약성 또는 수렴 불량 등의 문제에 직면해 있습니다.

방법론
저자들은 1 차원 구형 $k$-임계 문제에 대한 에너지 군 구조를 최적화하기 위해 강화 학습 (RL) 과 신경망 대리 모델링을 결합한 새로운 프레임워크를 제안합니다.

• 강화 학습 공식화: 문제는 근접 정책 최적화 (PPO) 알고리즘을 사용하여 모델링됩니다.

  • 상태 공간: 참조 LANL618 그리드의 에너지 경계 존재 여부를 나타내는 길이 619 의 이진 벡터입니다. 비균질 문제 (예: BeRP 볼) 의 경우, 재료 두께와 총 단면적 데이터가 추가됩니다.
  • 행동 공간: 에이전트는 한 번에 하나의 에너지 경계를 제거하여 고충실도 시작 상태 ($G_{max} \in [200, 617]$) 에서 목표 군 수 ($G_{min}$) 로 전환합니다. 행동 마스킹은 유효한 제거만 발생하도록 보장합니다.
  • 보상 함수: 보상은 에너지 군 수를 최소화하고 그리드 정확도를 최대화하는 두 가지 목표를 균형 있게 조정합니다. 정확도는 유효 증배 인자 ($k_{eff}$) 와 적분 반응률 (총계, $\nu$-분열, 흡수) 의 상대 오차를 결합한 오차 지표 ($\epsilon$) 를 통해 평가됩니다. 플럭스 부정확성을 가리는 오차 상쇄를 방지하기 위해 $k_{eff}$ 오차는 제곱근 합 제곱 계산에서 3 배의 가중치를 받습니다.

• 대리 모델링: 온-정책 RL 의 샘플 비효율성 (그렇지 않으면 수백만 건의 전체 수송 시뮬레이션이 필요함) 을 극복하기 위해 10 클래스 분류 신경망 대리 모델이 사용됩니다.

  • 아키텍처: 균질 문제 (Godiva) 의 경우, 1D 합성곱 신경망 (CNN) 이 이진 에너지 경계 벡터를 처리합니다. 이질 문제 (BeRP 볼) 의 경우, 다중 모달 아키텍처가 CNN 과 장기 단기 기억 (LSTM) 네트워크를 결합하여 공간 및 재료 특성을 인코딩합니다.
  • 훈련 데이터: LANL618 그리드의 무작위 부분 집합이 생성되고, 오차 지표 $\epsilon$을 계산하기 위해 전체 수송 시뮬레이션이 수행됩니다. 이러한 오차는 정규 분포로 변환되어 10 개의 클래스 (1 = 가장 정확도 낮음, 10 = 가장 정확도 높음) 로 분류됩니다.
  • 통합: 대리 모델은 이러한 10 개 클래스에 대한 확률 분포를 출력합니다. 기대 클래스 값은 보상을 계산하는 데 사용되어, RL 에이전트가 각 단계에서 전체 수송 시뮬레이션을 실행하지 않고도 학습할 수 있도록 합니다.

주요 기여

1. 군 구조 최적화를 위한 RL: 이 연구는 PPO 기반 RL 을 다군 에너지 구조 최적화라는 특정 문제에 적용하여, 에이전트가 고정된 초기 그리드 토폴로지 (LANL618 부분 집합 제약 이상) 에 제한받지 않고 중요한 경계를 식별할 수 있도록 합니다.
2. 대리 가속 훈련: 에너지, 재료, 공간 정보를 통합한 분류 기반 대리 모델의 개발은 RL 훈련의 계산 비용을 크게 줄여, 비싼 수송 시뮬레이션을 빠른 신경망 추론으로 대체합니다.
3. 유연한 최적화: 새로운 시작 조건마다 시뮬레이션을 다시 실행해야 하는 탐욕적 계층적 방법과 달리, 훈련된 RL 에이전트는 재훈련 없이 다른 시작 군 구조와 재료 배치에 적응할 수 있습니다.

결과
이 방법은 Godiva (우라늄 구) 와 BeRP 볼 (베릴륨 반사체가 있는 플루토늄 구) 의 두 가지 벤치마크 문제에서 검증되었습니다.

• 대리 성능:
  • Godiva: CNN 대리 모델은 아임계 테스트 데이터에서 78.3% 의 실제 정확도와 98.2% 의 인접 정확도 (한 클래스 이내 예측) 를 달성하여 초임계 구성에 잘 일반화되었습니다.
  • BeRP 볼: 다중 모달 CNN-LSTM 대리 모델은 다양한 플루토늄 반지름과 임계 상태 전반에 걸쳐 70.8% 의 실제 정확도와 97.4% 의 인접 정확도를 달성했습니다.
• RL 최적화 성능:
  • 정확도: RL 로 구성된 군 구조 (RL30 및 RL70) 는 LANL618 참조와 비교했을 때 $k_{eff}$ 및 반응률 오차 측면에서 표준 LANL30 및 LANL70 구조보다 우수한 성능을 보였습니다.
  • HA 와의 비교: RL 방법은 계층적 응집 (HA) 방법과Comparable 한 성능을 달성했지만 계산 오버헤드는 훨씬 줄였습니다. HA 는 단일 문제를 최적화하기 위해 수만 건의 전체 수송 시뮬레이션 (301 군 시작 시 45,225 건, LANL618 시작 시 191,362 건) 이 필요했던 반면, RL 방법은 30 개 및 70 개 군을 목표로 하는 두 개의 훈련된 모델만 필요했고 다른 시작 그리드나 재료 배치에 대해 재훈련이 필요하지 않았습니다.
  • 훈련 효율성: 대리 모델과 RL 모델을 훈련하는 데 표준 노트북 (Apple M3 Max) 에서 약 6 시간이 소요되었으나, 대리 모델 없이 (전체 시뮬레이션 사용) 훈련하는 경우 8,300 시간 이상이 필요했을 것입니다.
  • 스펙트럼 적응: 결과 군 구조의 분석은 RL 에이전트가 에너지 경계를 특정 중성자 스펙트럼에 성공적으로 적응시켰음을 보여주었습니다. 고속 스펙트럼 Godiva 문제의 경우, RL 모델은 경계를 고속 에너지 영역에 집중시켰으며, 반면 표준 LANL30 구조는 해당 문제와 덜 관련이 있는 공명/열 영역에 더 많은 해상도를 배치했습니다.

의의
본 논문은 대리 모델링과 결합된 강화 학습이 기존 군 구조 최적화 기법에 비해 유연하고 계산적으로 효율적인 대안을 제공함을 입증합니다. 이 방법은 탐욕적 알고리즘에서 흔히 발생하는 국소 최소값 함정을 성공적으로 피하고 최적화의 계산 부담을 수차례 줄입니다. 고충실도 그리드에서 경계를 제거하는 법을 학습함으로써, 이 접근 방식은 일반화된 표준 그리드 (LANL30/70) 보다 우수한 문제별 군 구조를 생성하면서도 재훈련 없이 다양한 재료 구성과 시작 조건 전반에 걸쳐 일반화할 수 있는 능력을 유지합니다. 저자들은 향후 작업에서 행동 공간을 경계 추가 또는 교란을 포함하도록 확장하고 성능을 개선하기 위해 대리 해상도를 더 정교하게 다듬을 수 있다고 언급했습니다.