Deploying a Hybrid PVFinder Algorithm for Primary Vertex Reconstruction in LHCb's GPU-Resident HLT1

이 논문은 LHCb 의 Run 3 업그레이드에 맞춰 30MHz 처리 속도와 엄격한 시간 제약 하에서 GPU 기반 HLT1 프레임워크에 PVFinder 라는 하이브리드 딥러닝 알고리즘을 통합하기 위한 추론 엔진 개발, 데이터 레이아웃 변환 기술, 그리고 향후 성능 개선을 위한 로드맵을 제시합니다.

핵심

🎬 비유: 초대형 파티의 '초고속 카메라'와 'AI 감시관'

1. 상황: 혼란스러운 초대형 파티 (LHCb 실험)
거대한 파티 (입자 가속기) 가 열려 있습니다. 1 초에 3000 만 번 (30 MHz) 이나 되는 엄청난 속도로 파티가 열리고 닫힙니다.

• 문제: 파티가 너무 빨라서, 한 번에 5~6 개의 작은 파티 (입자 충돌) 가 동시에 일어납니다.
• 목표: 이 혼란 속에서 "어디서 진짜 중요한 만남 (입자 충돌) 이 일어났는지"를 찾아내야 합니다. 이를 **주요 충돌점 (Primary Vertex)**이라고 부릅니다.

2. 기존 방식 vs 새로운 방식

• 기존 방식 (수동 감시): 사람이 눈으로 보고 규칙을 적용해서 찾습니다. 빠르지만, 아주 정교하지 못합니다.
• 새로운 방식 (PVFinder): **AI(인공지능)**를 도입했습니다. AI 는 눈으로 보는 것보다 훨씬 정교하게 "어디서 누가 만났는지"를 찾아냅니다. 하지만 AI 는 보통 느리고, 메모리를 많이 먹으며, 예측 불가능하게 움직입니다.

3. 핵심 문제: "고정된 예산"과 "AI 의 무한한 욕심"
이 실험의 컴퓨터 (Allen 프레임워크) 는 매우 특별한 제약이 있습니다.

• 시간 제한: 한 번의 파티를 분석하는 데 **0.0004 초 (400 마이크로초)**를 넘을 수 없습니다.
• 메모리 제한: 메모리 통 (풀) 이 정해져 있고, 중간에 "메모리 좀 더 주세요"라고 요청할 수 없습니다.
• 작업 방식: 한 번에 한 줄기 작업만 처리해야 합니다.

그런데 일반적인 AI 는 "메모리 좀 더 할당해 줘", "여러 줄기로 동시에 처리해 줘"라고 요구합니다. AI 를 이 좁고 빠른 시스템에 넣으려면, AI 가 규칙을 어기지 않고 행동하도록 '번역기'가 필요했습니다.

---

🔧 해결책: "AI 번역기"와 "트레이닝"

연구팀은 PVFinder라는 AI 를 이 시스템에 넣기 위해 두 가지 큰 작업을 했습니다.

1. 번역기 개발 (Translation Layer)

• 상황: AI 는 데이터를 '박스 (Tensor)' 모양으로 정리하는 것을 좋아하고, 컴퓨터는 '열 (Stream)' 모양으로 정리하는 것을 좋아합니다.
• 해결: 두 가지 형식을 서로 변환하지 않고도 AI 가 바로 읽을 수 있게 하는 번역기를 만들었습니다.
• 효과: 데이터를 옮기는 시간 (지연) 을 0 으로 만들었습니다. 마치 통역사가 없이도 두 사람이 바로 대화하듯, AI 가 컴퓨터의 규칙을 그대로 따르면서도 제 기능을 하도록 했습니다.

2. 성능 테스트 결과 (현실적인 장벽)

• 성공: AI 는 97% 이상의 정확도로 충돌점을 찾아냈습니다! (기존 방식보다 훨씬 정확함)
• 실패: 하지만 속도가 너무 느렸습니다.
  • 원래 컴퓨터가 100% 의 능력을 낼 수 있었는데, AI 를 넣으니 25% 로 떨어졌습니다. (75% 의 성능이 AI 때문에 날아간 셈입니다.)
  • 원인: AI 의 '뇌' (CNN) 부분이 너무 무겁고, 컴퓨터의 메모리 통로가 막혀서 병목 현상이 발생했습니다.

---

🚀 미래 계획: 2030 년을 위한 '고도화'

지금 상태로는 2030 년에 더 많은 데이터를 처리해야 하는 목표에 도달할 수 없습니다. 하지만 연구팀은 4 배, 4 배, 1.5 배씩 속도를 높일 수 있는 3 단계 계획을 세웠습니다.

1. 계산 방식 변경 (FP16):

   • 비유: "정밀한 금 (32 비트) 대신, 가볍고 빠른 은 (16 비트) 을 쓰자."
   • AI 가 아주 미세한 오차까지 계산할 필요는 없습니다. 조금 덜 정밀하게 계산해도 결과는 거의 비슷하면서, 속도가 2 배 빨라집니다.

2. 모델 축소 (32 채널 UNet):

   • 비유: "너무 넓은 64 차선 도로를, 이 프로젝트에는 32 차선만으로도 충분하다."
   • 현재 AI 모델이 너무 비쌉니다. 필요한 부분만 남기고 모델 크기를 절반으로 줄이면, 계산량이 4 배 줄어듭니다.

3. 메모리 정리:

   • 비유: "창고 정리하기."
   • 컴퓨터의 메모리 사용 방식을 최적화해서, 다른 프로그램들이 서로 부딪히지 않게 합니다.

🎯 최종 목표:
이 세 가지를 합치면 최대 24 배 빨라질 것으로 예상합니다. 그렇게 되면 AI 를 넣어도 전체 시스템 속도가 95% 이상 유지되어, 2030 년 목표인 실시간 초고속 분석이 가능해집니다.

---

💡 요약: 이 논문이 우리에게 주는 메시지

이 연구는 **"최고의 AI 를 단순히 가져다 쓰는 게 아니라, 그 AI 가 작동할 환경 (컴퓨터, 메모리, 시간) 에 맞춰서 AI 를 재설계하고 번역해야 한다"**는 것을 보여줍니다.

• 핵심: AI 가 빠르고 정확하다고 해서 바로 쓸 수 있는 건 아닙니다.
• 해결: 시스템의 규칙에 맞춰 AI 를 '번역'하고, 불필요한 부분을 잘라내면, 엄청난 속도와 높은 정확도를 동시에 잡을 수 있습니다.

이 기술은 LHCb 실험뿐만 아니라, 앞으로 우리가 개발할 모든 **실시간 AI 시스템 (자율주행, 의료 진단 등)**에 적용될 수 있는 중요한 청사진이 됩니다.

기술 요약

논문 개요: LHCb 의 GPU 기반 HLT1 을 위한 하이브리드 PVFinder 알고리즘 배포

이 논문은 대형 강입자 충돌기 (LHC) 의 LHCb 실험에서 Run 3 업그레이드 이후 도입된 30MHz 의 초고속 소프트웨어 트리거 시스템 내에서, 주요 입자 충돌점 (Primary Vertex, PV) 을 재구성하기 위한 하이브리드 딥러닝 모델 (PVFinder) 의 실시간 추론 엔진 개발 및 통합을 다룹니다. 특히, 엄격한 메모리 및 실행 제약 조건을 가진 LHCb 의 GPU 기반 HLT1 프레임워크인 'Allen'에 머신러닝 모델을 성공적으로 통합하는 방법론과 성능 최적화 로드맵을 제시합니다.

---

1. 문제 정의 (Problem)

• 초고속 데이터 처리 요구: LHCb Run 3 은 이전 기간 대비 5 배 증가한 광도 (Luminosity) 를 기록하며, 초당 30MHz 의 충돌률과 이벤트당 평균 5.6 개의 주요 충돌점 (PV) 을 처리해야 합니다.
• 엄격한 실시간 제약 (Allen Framework): LHCb 의 HLT1 은 GPU 에서 실행되며 다음과 같은 엄격한 제약을 가집니다.
  • 이벤트당 처리 시간: 400 마이크로초 (µs) 미만.
  • 메모리 관리: 고정된 메모리 풀 (Fixed Memory Pools) 사용, 런타임 동적 할당 금지 (예측 가능한 지연 시간 및 메모리 파편화 방지).
  • 실행 모델: 단일 스트림 (Single-stream) 실행 및 전역 동기화 금지 (이벤트 병렬 처리 보장).
• 통합의 어려움: 기존 머신러닝 추론 라이브러리 (cuDNN 등) 는 동적 메모리 할당, 다중 스트림 실행, 그리고 NCHW 형식의 텐서 데이터를 기본으로 하여, Allen 의 결정론적 (Deterministic) 고정 자원 실행 모델과 충돌합니다.

2. 방법론 (Methodology)

저자들은 PVFinder 알고리즘을 Allen 프레임워크에 통합하기 위해 다음과 같은 기술적 접근을 취했습니다.

가. PVFinder 아키텍처

PVFinder 는 3 단계 파이프라인으로 구성된 하이브리드 딥러닝 모델입니다.

1. Fully Connected (FC) 단계: VELO 검출기에서 재구성된 궤적 파라미터 (9 개 특징) 를 6 개의 FC 레이어를 통해 처리합니다. (Native CUDA 구현)
2. CNN (UNet) 단계: 1 차원 컨볼루션 신경망 (UNet 스타일, 5 레이어) 을 사용하여 공간적 패턴을 인식하고 확률 분포를 정제합니다. (cuDNN 사용)
3. Peak Finding 단계: 학습된 임계값을 적용하여 국소 최대값을 탐지하고 최종 PV 위치를 추출합니다.

나. 통합 및 번역 계층 (Translation Layer)

Allen 의 Structure-of-Arrays (SoA) 데이터 레이아웃과 cuDNN 의 텐서 포맷 간의 격차를 해소하기 위해 번역 계층을 개발했습니다.

• Zero-Copy Semantics: 데이터를 복사하지 않고 Allen 의 SoA 버퍼를 cuDNN 호환 텐서로 재해석 (reinterpret) 합니다.
• 3 단계 어댑터 프로세스:
  1. Prepare: FC 출력 데이터가 이미 cuDNN 요구 사항인 [B, C, L] 형식이므로 재구성이 최소화되며, 경계 트랙은 미리 할당된 스테이징 버퍼로 처리합니다.
  2. Execute: Allen 의 단일 스트림에서 cuDNN 연산을 실행합니다. 런타임 할당을 방지하기 위해 최대 중간 활성화 크기에 맞춰 16MB 의 고정 작업 공간 (Workspace Arena) 을 초기화 시 할당하고 재사용합니다.
  3. Extract: cuDNN 출력을 Allen 의 SoA 버퍼로 매핑하여 하위 알고리즘이 직접 읽을 수 있도록 합니다.

3. 주요 기여 (Key Contributions)

1. 실시간 ML 추론 엔진 구현: LHCb 의 GPU 기반 HLT1 프레임워크 (Allen) 내에서 결정론적 제약 조건을 만족하면서 PVFinder 를 실행할 수 있는 최초의 추론 엔진을 구축했습니다.
2. 데이터 레이아웃 브리징: Allen 의 SoA 레이아웃과 cuDNN 텐서 간의 제로-복사 (Zero-copy) 번역 계층을 설계하여, 메모리 오버헤드 없이 효율적인 연산을 가능하게 했습니다.
3. 성능 병목 분석 및 최적화 로드맵: 현재 CNN 단계가 처리량 병목 현상의 주원인임을 규명하고, 2030 년까지 목표 성능을 달성하기 위한 구체적인 최적화 전략 (혼합 정밀도, 모델 압축 등) 을 제시했습니다.

4. 결과 (Results)

• 물리 성능: 시뮬레이션 이벤트에서 이벤트당 3~8 개의 PV 를 가진 경우 97% 이상의 효율과 **이벤트당 0.03 개의 오탐지 (False Positive)**를 달성하여 기존 LHCb 휴리스틱 방법론을 크게 능가했습니다.
• 처리량 (Throughput) 영향:
  • FC 단계만: HLT1 예산의 약 5% 를 소모 (300 kHz 처리량).
  • 하이브리드 전체 (FC+CNN): HLT1 처리량이 기반 (Baseline) 대비 25% 로 감소 (75% 감소). 이는 CNN 단계의 연산 비용과 메모리 대역폭 병목이 주원인임을 보여줍니다.
  • 원인 분석: 메모리 대역폭 포화, 다른 알고리즘과의 캐시 간섭, 그리고 최적화되지 않은 커널로 인한 SM (Streaming Multiprocessor) 점유율 부족 (<50%) 이 주요 요인입니다.

5. 최적화 로드맵 및 전망 (Optimization Roadmap & Outlook)

2030 년까지 HLT1 처리량 감소를 5% 미만으로 줄이기 위해 다음과 같은 최적화 전략을 제안합니다.

1. 혼합 정밀도 추론 (FP16):
   • FP32 에서 FP16 으로 전환하여 연산 밀도를 2 배로 높이고 텐서 코어 (Tensor Core) 활용을 통해 2 배 이상의 속도 향상을 기대합니다.
   • 물리 성능 저하는 0.5% 미만으로 허용 범위 내입니다.
2. 모델 압축 (32 채널 UNet):
   • 현재 64 채널을 32 채널로 축소합니다. 컨볼루션 비용이 채널 수의 제곱에 비례하므로, 연산량과 메모리 사용량을 4 배 감소시킵니다.
   • 지식 증류 (Knowledge Distillation) 를 통해 성능을 유지할 것으로 예상됩니다.
3. 메모리 레이아웃 및 커널 최적화:
   • FC 출력과 cuDNN 텐서 간의 형식 변환 제거 (Fusing).
   • 스레드 블록 크기 및 레지스터 할당 조정을 통해 SM 점유율을 75~80% 로 향상.

예상 효과:
이러한 최적화들을 조합하면 (FP16 × 4, 모델 압축 × 4, 메모리 최적화 × 1.5), **총 24 배의 속도 향상 (24x Speedup)**이 예상됩니다. 이는 CNN 단계의 처리량 감소를 75% 에서 약 3~5% 수준으로 낮추어 2030 년 목표인 <5% 감소를 달성할 수 있음을 의미합니다.

6. 의의 (Significance)

• 실시간 트리거 시스템의 ML 통합 선구자: 이 작업은 엄격한 실시간 제약 하에서 복잡한 딥러닝 모델을 물리 실험의 트리거 시스템에 통합하는 성공적인 사례를 제시합니다.
• 확장 가능한 아키텍처: 개발된 번역 계층과 최적화 패턴은 LHCb 의 궤적 피팅 (Track Fitting), 입자 식별 (PID), 무거운 맛 태그 (Heavy Flavor Tagging) 등 다른 머신러닝 알고리즘의 GPU 통합에도 적용 가능한 표준 템플릿이 됩니다.
• 시스템 수준의 설계 중요성 강조: ML 모델 자체의 성능뿐만 아니라, 데이터 형식, 메모리 관리, 실행 모델 간의 공동 설계 (Co-design) 가 실시간 시스템 성공의 핵심임을 입증했습니다.

이 논문은 LHCb 의 미래 데이터 수집 (2030 년) 을 위한 고성능, 저지연 ML 기반 트리거 시스템 구축의 토대를 마련했다는 점에서 중요한 의의를 가집니다.