Optimised neural networks for online processing of ATLAS calorimeter data on FPGAs

본 논문은 HL-LHC에서 예상되는 높은 파일업(pile-up) 조건 하에서 기존 방식보다 우수한 에너지 분해능과 정확한 불확실성 추정을 달성하기 위해, 베이지안 절차와 딥 에비덴셜 회귀(Deep Evidential Regression)를 사용하여 ATLAS 칼로리미터 FPGA에서 구동되는 다양한 신경망 구조(Dense, CNN, Dense+RNN)를 최적화하는 연구를 제시한다.

핵심

ATLAS 검출기를 거대한, 초정밀 마이크가 우주의 소리를 듣고 있는 것으로 상상해 보십시오. 25나노초마다 두 개의 양성자 빔이 서로 충돌하며 입자들의 혼란스러운 교향곡을 만들어냅니다. 이 "마이크"(구체적으로는 액체 아르곤 칼로리미터)는 입자들이 만들어내는 전기적 "펄스"를 들음으로써 그 에너지의 크기를 측정하려고 시도합니다.

하지만 문제가 발생했습니다. 오케스트라가 점점 더 커지고 북적거리고 있습니다. 미래의 업그레이드(HL-LHC라고 불리는)에서는 동시에 발생하는 충돌(파일업/pile-up 현상이라 불림)이 너무 많아서, 신호들이 엉킨 헤드폰 더미처럼 서로 겹치게 될 것입니다. 이러한 신호를 풀어내기 위한 현재의 방식(최적 필터링/Optimal Filtering이라 불림)은 마치 아주 오래되고 느린 귀를 사용하여 록 콘서트 속의 단 하나의 바이올린 소리를 들으려고 하는 것과 같습니다. 이 방식은 혼란스러워하며 실제 음량을 놓치곤 합니다.

이 논문은 새로운 해결책을 제시합니다: 검출기의 뇌가 현대적인 AI처럼 생각하도록 가르치는 것입니다.

연구진이 수행한 작업의 세부 내용은 다음과 같은 쉬운 비유를 사용합니다:

1. 도전 과제: 작고 빠른 뇌

검출기는 데이터를 처리하기 위한 슈퍼컴퓨터를 가지고 있지 않습니다. 데이터가 수집되는 바로 그 자리에서 즉각적으로 결정을 내려야 하며, 이를 위해 FPGA(Field-Programmable Gate Arrays)라고 불리는 특수 칩을 사용합니다. 이 FPGA들을 매우 빠른 계산기라고 생각하면 됩니다. 이 계산기들은 매우 엄격한 규칙을 따릅니다:

• 속도: 벌새가 날개를 치는 시간(125나노초)보다 짧은 시간 안에 입자의 에너지를 결정해야 합니다.
• 크기: 메모리 공간이 매우 적습니다. 이들에게 거대하고 무거운 소프트웨어 프로그램을 설치할 수는 없습니다.

2. 해결책: 새로운 신경망 "레시피"

연구진은 이 작은 계산기들이 복잡한 신호를 인식하도록 신경망(Neural Networks, AI 모델)을 가르치는 실험을 했습니다. 그들은 속도나 크기의 제한을 깨뜨리지 않으면서 노이즈를 가장 잘 풀어낼 수 있는 네 가지 "레시피"(아키텍처)를 테스트했습니다:

• RNN (순환 신경망): 이야기를 읽을 때 이전 단어를 기억하여 현재의 단어를 이해하는 사람을 상상해 보십시오. 이는 순서가 있는 데이터에는 좋지만, 이처럼 혼잡한 환경에서는 너무 커지고 느려졌습니다.
• CNN (합성곱 신경망): 복도를 스캔하는 보안 카메라처럼, 슬라이딩 윈도우를 통해 패턴을 보는 것을 상상해 보십시오. 이는 한 번에 신호의 한 덩어리를 살펴보며 형태를 찾아냅니다. 이 방식은 매우 효과적이었습니다.
• Dense 네트워크: 퍼즐을 풀기 위해 모든 구성원이 서로 대화하는 전문가 팀을 상상해 보십시오. 이 방식 또한 매우 효과적이었습니다.
• "Dense + RNN" 하이브리드: 두 방식의 장점을 모두 취하기 위해 두 가지를 혼합한 형태입니다.

3. 튜닝 과정: "스마트 탐색"

연구진은 단순히 레시피를 추측하지 않았습니다. 그들은 베이지안 최적화(Bayesian Optimization) 과정을 사용했습니다.

• 비유: 케이크를 굽기에 완벽한 온도를 찾으려 하는데, 오븐이 고장 나기 전까지 시도할 수 있는 횟수가 몇 번 안 되는 상황을 상상해 보십시오. 무작정 추측하는 것이 아니라, "좋아요, 180°C로 해봤더니 너무 건조했네요. 그럼 190°C로 해보되, 밀가루는 조금 적게 넣어봅시다"라고 말해주는 똑똑한 조수를 사용하는 것입니다.
• 그들은 이 "똑똑한 조수"를 사용하여 정확도(에너지를 정확히 측정하는 것)와 크기(코드를 칩에 들어갈 만큼 작게 유지하는 것)라는 두 가지 상충하는 목표 사이의 균형을 맞추었습니다. 그 결과, AI가 기존 방식보다 똑똑하면서도 칩에 들어갈 만큼 작은 "최적의 지점"을 찾아냈습니다.

4. 결과: 더 선명한 그림

이 새로운 AI 모델들을 기존의 "최적 필터링" 방식과 비교했을 때의 결과입니다:

• 더 나은 정확도: 새로운 AI 모델들(Dense 및 CNN)은 약 80 MeV(매우 작은 에너지 단위)의 정밀도로 에너지를 측정할 수 있었습니다. 기존 방식과 RNN은 정밀도가 낮았습니다(약 90 MeV).
• 과소평가 방지: 기존 방식은 신호의 에너지가 실제보다 낮은 것처럼 판단하여 "볼륨을 줄이는" 경향이 있었습니다. 새로운 AI 모델들은 볼륨을 정확하게 맞췄습니다.
• 효율성: 승리한 모델들은 매우 작았으며(500개 미만의 "수학 연산" 사용), 이는 하드웨어에 충분히 탑재될 수 있음을 증명했습니다.

5. 보너스 기능: "얼마나 확신하나요?"

보통 AI는 답을 주지만 확신 점수는 주지 않습니다. 이는 일기 앱이 "비가 올 것입니다"라고만 말하고, 그것이 50% 확률인지 99% 확률인지 알려주지 않는 것과 같습니다.

• 연구진은 딥 에비덴셜 회귀(Deep Evidential Regression)라고 불리는 특별한 기술을 추가했습니다.
• 비유: 이것은 AI에게 "확신도 계측기"를 부여하는 것과 같습니다. 이제 AI가 "이 입자의 에너지는 50 GeV입니다"라고 말할 때, "저는 이 결과에 대해 95% 확신합니다" 또는 "노이즈가 이상해서 이 부분은 조금 불확실합니다"라고도 말할 수 있습니다.
• 연구진은 이 확신도 계측기가 정확하다는 것을 발견했습니다. 이 기능은 AI를 더 느리게 만들거나 크게 만들지 않으면서도, 과학자들이 어떤 측정값을 신뢰할 수 있는지 알 수 있는 방법을 제공했습니다.

요약

이 논문은 스마트하고 작은 AI 모델(특히 Dense 및 CNN 네트워크)을 "스마트 탐색" 방식으로 튜닝함으로써, ATLAS 검출기가 미래의 고에너지 충돌의 혼돈을 처리할 수 있도록 업그레이드할 수 있음을 보여줍니다. 이 새로운 모델들은 더 빠르고, 더 정확하며, 심지어 자신들이 데이터에 대해 얼마나 확신하는지도 말할 수 있는 동시에, 검출기 자체의 작은 칩 안에 들어갈 수 있을 만큼 작습니다.

기술 요약

기술 요약: 온라인 ATLAS 칼로리미터 데이터 처리를 위한 최적화된 신경망

문제 정의
고휘도 대형 강입자 충돌기(HL-LHC)는 최대 200개의 동시 양성자-양성자 충돌이 한 번의 번치 교차(bunch crossing)에서 발생하는 극심한 신호 파일업(pile-up)을 도입할 예정입니다. 이러한 환경은 현재 ATLAS 액체 아르곤(LAr) 칼로리미터에서 사용되는 기존 최적 필터링(Optimal Filtering, OF) 알고리즘의 성능을 저하시키며, 특히 펄스가 중첩될 때 에너지 재구성 성능을 떨어뜨립니다. Phase-II 업그레이드 단계의 LAr 판독 전자 장치는 새로운 INTEL Agilex 7 FPGA(Field-Programmable Gate Array) 기반 하드웨어를 도입합니다. 이 FPGA들은 향상된 처리 능력을 제공하지만, 온라인 에너지 재구성을 위해 엄격한 지연 시간(125 ns 미만)과 네트워크 크기(셀당 약 500회의 곱셈-누산 연산, 즉 MAC) 제한을 부과합니다. 과제는 고파일업 환경에서 OF 알고리즘보다 에너지 분해능이 뛰어나면서도, 이러한 가혹한 하드웨어 제약을 준수하고 신뢰할 수 있는 이벤트별 불확실성 추정치를 제공하는 신경망(NN) 구조를 개발하는 것입니다.

방법론
본 연구는 디지털화된 펄스 샘플을 입력으로 사용하여 칼로리미터 셀에 퇴적된 횡에너지를 예측하도록 설계된 네 가지 신경망 구조를 평가합니다. 입력 데이터에는 이전 충돌로 인한 펄스 왜곡을 고려하기 위한 사전 퇴적(pre-deposit) 샘플과 대상 에너지 퇴적의 펄스 형태를 포착하기 위한 사후 퇴적(post-deposit) 샘플이 포함됩니다.

1. 평가된 구조:

   • 순환 신경망 (RNN): 샘플을 순차적으로 처리합니다. 시계열 데이터에는 효율적이지만, 표준 RNN은 긴 시퀀스에 대한 장기 의존성을 포착하기 위해 큰 내부 차원을 필요로 하며, 이는 종종 FPGA 자원 제한을 초과합니다.
   • 합성곱 신경망 (CNN): 입력 샘플에 대해 1D 및 2D 필터를 슬라이딩 방식으로 활용합니다. 이는 가중치 공유를 활용하고 이전 번치 교차로부터 계산을 재사용하여 지연 시간을 줄입니다.
   • Dense+RNN: 하이브리드 접근 방식으로, 사전 퇴적 샘플을 처리하는 밀집층(dense layer)이 사후 퇴적 샘플을 위한 RNN 시퀀스를 초기화하여, RNN의 장점과 감소된 계산 비용 사이의 균형을 맞추는 것을 목표로 합니다.
   • Staged Dense: 밀집층만을 사용하는 다단계 구조입니다. 사전 퇴적 샘플은 왜곡을 보정하기 위해 첫 번째 단계에서 처리되며, 이후 두 번째 단계에서 사후 퇴적 샘플과 결합됩니다. 이를 통해 첫 번째 단계의 사전 계산이 가능해져 지연 시간을 최소화할 수 있습니다.

2. 최적화 전략:
   하이퍼파라미터(예: 사전/사후 퇴적 샘플 수, 층 차원, 커널 크기)를 튜닝하기 위해 베이지안 최적화 절차가 사용되었습니다. 목적 함수는 에너지 분해능과 네트워크 크기(MAC 수) 사이의 균형을 맞추었으며, 500 MAC을 초과하는 구조에는 페널티를, 850 MAC을 초과하는 경우에는 엄격한 페널티를 적용하여 FPGA 구현 가능성을 보장했습니다.

3. 불확실성 추정:
   샘플링이 필요한 베이지안 신경망(BNN)의 계산 비용을 피하면서 이벤트별 에너지 불확실성을 확보하기 위해, 저자들은 **심층 증거 회귀(Deep Evidential Regression, DER)**를 구현했습니다. 이 기술은 마지막 층을 수정하여 Normal-Inverse-Gamma 분포의 파라미터를 출력하게 함으로써, 예측된 에너지와 그와 관련된 알레아토리적(aleatoric, 데이터 노이즈) 및 에피스테믹(epistemic, 모델 불확실성) 불확실성을 모두 추론할 수 있게 합니다.

4. 시뮬레이션 및 훈련:
   네트워크는 AREUS 툴킷을 사용하여 시뮬레이션된 데이터로 훈련 및 테스트되었습니다. 여기에는 최악의 파일업 시나리오($\langle\mu\rangle = 200$)와 0에서 130 GeV 사이의 경성 산란(hard-scattering) 이벤트가 포함됩니다. 통계적 변동을 최소화하기 위해 최종 평가에는 1,300만 개의 이벤트 데이터셋이 사용되었습니다.

주요 결과

• 에너지 분해능: 최적화된 Dense, CNN, Dense+RNN 구조는 약 80 MeV의 횡에너지 분해능을 달𝙖 achieved했습니다. 이는 기존의 OF 알고리즘과 RNN 구조(약 90 MeV 달성)를 모두 능가하는 성능입니다.
• 에너지 스케일 정확도: OF 알고리즘 및 표준 RNN과 달리, Dense, CNN, Dense+RNN 네트워크는 전체 동적 범위에 걸쳐 에너지를 정확하게 재현합니다(OF는 인타임(in-time) 파일업을 무시하며, RNN은 제한된 입력으로 인해 장기 의존성을 포착하는 데 실패함).
• 하드웨어 구현 가능성: 성공적인 모든 구조(Dense, CNN, Dense+RNN)는 500 MAC 단위 미만을 사용하도록 최적화되어, 엄격한 지연 시간 제약 내에서 Agilex 7 FPGA에 구현하기에 적합합니다.
• 불확실성 성능: DER 구현은 계산 오버헤드를 최소화했습니다. 예측된 불확실성($\delta_{pred}$)은 평균적으로 실제 값과 예측된 에너지 사이의 차이와 일치하는 것으로 나타났습니다. 풀 분포(pull distribution) $(E_{pred} - E_{true})/\delta_{pred}$의 표준 편차는 0.75로, 불확실성을 약간 과대평가하는 경향이 있으나 전반적으로 신뢰할 수 있는 수준이었습니다. 분석 결과 에피스테믹 불확실성이 지배적이었으며, 이는 더 큰 데이터셋이나 정교한 구조를 통해 개선될 여지가 있음을 시사합니다.

의의 및 주장
본 논문은 현대적인 머신러닝 알고리즘이 ATLAS LAr 칼로리미터의 온라인 판독 체인에 성공적으로 임베딩될 수 있음을 입증한다고 주장합니다. 주요 의의는 분해능과 하드웨어 제약 사이의 성공적인 트레이드오프에 있습니다:

• 본 연구는 Dense 및 CNN 구조가 Phase-II FPGA 하드웨어의 엄격한 MAC 제한을 준수하면서도 기존 OF 방식보다 에너지 분해능을 약 8% 개선할 수 있음을 증명했습니다.
• 사전 퇴적 샘플이 펄스 왜곡을 포착하는 데 결정적임을 입증하였으며, 이는 순수 RNN 방식이 긴 시퀀스에 대한 자원 집약성 때문에 경쟁력이 낮음을 보여줍니다.
• **심밀 증거 회귀(DER)**를 통한 실용적인 이벤트별 불확실성 추정 방법을 도입하였으며, 이는 추론 비용을 크게 높이지 않습니다. 이 기능은 고파일업 환경에서 전자 및 광자와 같은 물리적 객체를 더 정확하게 재구성할 수 있도록 클러스터링 알고리즘의 셀 에너지 선택을 개선하는 단계로서 제시됩니다.

저자들은 결론적으로, 최적화된 신경망들이 FPGA 배포에 적합하며, 트리거 및 판독 시스템의 엄격한 지연 시간 및 자원 요구 사항을 타협하지 않으면서도 현재의 알고리즘보다 우수한 성능을 제공하는 ATLAS Phase-II 업그레이드의 유망한 경로임을 밝히고 있습니다.