A real-time demonstrator of track reconstruction with FPGAs at LHCb

본 논문은 LHCb VELO 검출기의 30 MHz 궤적 재구성을 위한 실시간 FPGA 기반 시연 장치를 제시하며, LHCb Run 3 운영 중 실시간 데이터를 처리하면서 정렬 상수와 동기화 및 데이터 분배를 포함한 아키텍처를 상세히 설명한다.

핵심

거대 강입자 가속기 (LHC) 를 입자들이 승객인 거대하고 고속인 기차역으로 상상해 보세요. 매초 이 입자들의 3 천만 개 '뭉치'가 서로 충돌하며 데이터의 혼란스러운 폭발을 만들어냅니다. LHCb 실험은 무슨 일이 일어났는지 파악하기 위해 모든 단일 충돌의 사진을 찍으려 하는 거대한 카메라와 같습니다.

문제점은 무엇일까요? 데이터가 너무 많습니다. 모든 사진을 저장하려 한다면 하드 드라이브가 즉시 가득 차고 컴퓨터가 멈추게 될 것입니다. 보통은 '도어맨' (컴퓨터 프로그램) 이 문 앞에 서서 대부분의 사진을 버리고 흥미로운 것들만 남깁니다. 하지만 기차역이 더 바빠질수록 (충돌이 더 많아질수록) 도어맨은 더 빠르고 똑똑하게 일해야 합니다.

이 논문은 FPGA 라는 특수 컴퓨터 칩을 사용하여 구축된 새로운 초고속 '도어맨'에 대해 설명합니다. 이것이 어떻게 작동하는지 간단히 설명해 보겠습니다:

1. '인공 망막' (똑똑한 눈)

연구팀은 '인공 망막'이라고 부르는 시스템을 구축했습니다. 거대하고 첨단 보안 그리드라고 생각하면 됩니다.

• 그리드: 모든 칸이 작은 독립적인 작업자라고 상상해 보세요.
• 역할: 각 작업자는 입자 경로 (궤적) 의 특정 '패턴'을 담당합니다.
• 과정: 입자가 센서에 닿으면 신호 (히트) 를 보냅니다. 시스템은 하나의 패턴만 찾는 것이 아니라, 그 히트가 정확히 동시에 여러 다른 패턴에 맞는지 확인합니다.
• 결과: 히트가 패턴에 잘 맞으면 그 작업자가 '흥분'합니다 (전구가 켜지는 것처럼). 특정 패턴에 대한 작업자가 충분히 흥분하면 시스템은 "아하! 궤적을 찾았다!"라고 말합니다.

2. 교통 시스템 (배분 네트워크)

가장 어려운 부분은 센서에서 데이터를 올바른 작업자에게 전달하는 것입니다.

• 문제: 하나의 입자 히트가 여러 다른 패턴에 맞을 수 있어, 이를 복사하여 여러 작업자에게 보내야 합니다. 이로 인해 교통 체증이 발생합니다.
• 해결책: 연구팀은 광케이블 (광속 데이터) 로 구성된 맞춤형 '고속도로 시스템'을 구축했습니다. 교통을 정리하는 스마트 분류기 (스위치) 를 설계했습니다.
• 최적화: 데이터를 무작위로 보내는 대신, 유사한 패턴이 함께 그룹화되도록 작업자를 배치했습니다. 이는 같은 주제의 책이 같은 선반에 있도록 도서관을 정리하는 것과 같아, 필요한 것을 훨씬 빠르게 찾을 수 있게 합니다. 이로 인해 시스템이 막히는 것을 방지했습니다.

3. 시운전 (시연기)

연구팀은 이 아이디어를 테스트하기 위해 프로토타입 (시연기) 을 구축했습니다.

• 구성: 광섬유 케이블로 연결된 8 개의 강력한 컴퓨터 보드를 사용했으며, 모두 단일 서버 랙 안에 들어갔습니다.
• 목표: 충돌이 먼저 발생하는 실험의 '정문'과 같은 검출기의 특정 부분인 VELO(Vertex Locator) 에 집중했습니다. 이 영역의 약 4 분의 1 을 커버했습니다.
• 시뮬레이션: 먼저 실제 LHC 충돌을 모방한 가짜 데이터를 시스템에 입력했습니다. 시스템은 10 일 내내 중단 없이 실행되어 초당 1 천 9 백만 개의 이벤트를 처리했습니다. 이는 놀라울 정도로 빠릅니다! (목표는 3 천만 개이지만 매우 근접했습니다).

4. 현실 세계 테스트 (실시간 데이터)

실제 테스트는 LHC 가 실제로 물리 실험을 수행하는 동안 실시간 데이터로 시스템을 사용하는 것이었습니다.

• 도전 과제: 실제 데이터는 지저분하고 끊임없이 변합니다. 시스템은 센서의 정확한 위치를 알기 위해 최신 '정렬 상수' (최신 지도 좌표로 생각하세요) 를 사용해야 했습니다.
• 결과: 실험 모니터링 시스템에서 프로토타입으로 실시간 데이터를 공급하는 특수 브릿지를 구축했습니다. 시스템은 7 월과 9 월의 실제 물리 실행 동안 원활하게 작동했습니다.
• 결과물: 프로토타입이 찾은 궤적은 표준적이고 느린 소프트웨어가 찾은 궤적과 정확히 같았습니다. 이는 시스템이 현실 세계에서 아무것도 손상시키지 않고 작동함을 증명했습니다.

결론

이 논문은 '망막' 패턴으로 배치된 새로운 유형의 하드웨어 (FPGA) 가 입자 물리 데이터의 초고속 필터로 작용할 수 있음을 보여줍니다. 이는 LHC 의 실시간 데이터를 성공적으로 처리하여 초당 수백만 개의 충돌을 압도당하지 않고 처리했습니다.

연구팀은 이 기술이 LHC 의 다음 대규모 업그레이드 (Run 4) 에 준비되어 있다고 결론지었습니다. 이 무거운 작업을 이러한 빠른 칩으로 이동시킴으로써 주 컴퓨터의 전력을 다른 작업에 사용할 수 있게 하여, 실험이 미래에 더 많은 충돌을 처리할 수 있게 합니다.

기술 요약

기술 요약: LHCb 에서의 FPGA 기반 실시간 궤적 재구성 시연기

문제 제기
고에너지 물리학 (HEP) 실험은 무어의 법칙이 둔화되는 징후를 보이는 가운데 데이터 흐름과 복잡성 증가라는 도전에 직면해 있습니다. 특히 LHCb 실험은 Run 3 와 향후 "Upgrade II"(광도를 5 배에서 10 배로 증가시킬 예정) 를 위해 실시간 데이터 처리를 전체 LHC 충돌률 (30 MHz) 에서 수행할 수 있는 고급 이종 컴퓨팅 아키텍처가 필요합니다. 기존 CPU/GPU 기반의 고수준 트리거 (HLT) 는 시간 분할multiplexing 이나 과도한 버퍼링 없이 제로 지연 처리가 필요한 방대한 데이터 양을 처리하는 데 어려움을 겪을 수 있습니다. 따라서 검출기 판독값에서 직접 실시간으로 궤적을 재구성할 수 있는 확장 가능한 병렬 처리 솔루션을 개발하는 것이 과제입니다.

방법론
저자들은 Field-Programmable Gate Arrays (FPGA) 에 구현된 고도로 병렬화된 커스텀 추적 프로세서인 "인공 망막 (Artificial Retina)"아키텍처 기반의 시연기를 제시합니다.

• 알고리즘적 접근: 망막 아키텍처는 궤적 매개변수 공간을 행렬 형태의 셀 ($M \times N$) 로 이산화합니다. 각 셀은 기준 궤적을 나타내며, 들어오는 검출기 히트 (hit) 가 해당 기준 궤적과 얼마나 호환되는지에 기반하여 "흥분 수준 (excitation level)"을 계산하는 연산 엔진을 포함합니다. 이는 호프 변환 (Hough transform) 을 모방합니다. 히트들은 검출기 층과의 교차점인 궤적의 "수용체 (receptor)"로부터의 거리에 따라 가중치를 부여받아 적분기에 기여하며, 이 가중치는 가우시안 분포를 따릅니다. 궤적 처리 유닛 (TPU) 은 흥분 지도에서 국소 최대치를 식별하여 후보 궤적 매개변수를 추정합니다.
• 하드웨어 구현: 시연기는 단일 서버에 수용된 8 개의 PCIe 호스트 Stratix 10 FPGA 보드 (Bittware 520N) 를 활용하며, 고속 광 네트워크를 통해 상호 연결됩니다. 이 시스템은 LHCb 코프로세서 테스트베드 시설에 통합되어 물리 실행 중 표준 데이터 획득 (DAQ) 시스템에 간섭하지 않고 실시간 데이터를 기회적으로 처리할 수 있습니다.
• 분배 네트워크: 핵심 구성 요소는 모듈식 분배기 (2s), 병합기 (2m), 그리고 디스패처 (2d, 4d, 8d) 로 구성된 커스텀 분배 네트워크입니다. 이 네트워크는 DAQ 판독에서 관련 FPGA 셀로 히트를 라우팅합니다. 히트 증배 (하나의 히트가 여러 궤적에 기여할 수 있음) 로 인한 네트워크 혼잡을 방지하기 위해 저자들은 최적화 전략을 구현했습니다. 이는 TPU 를 가장 공통된 히트를 가진 것끼리 짝지우도록 순서를 정하여, 히트 중복을 TPU 에 가장 가까운 계층으로 지연시키는 것을 포함합니다. 또한, 라인 점유율을 제한하기 위해 Post-Switch 를 8x16 디스패처 구성으로 수정했습니다.
• 데이터 처리: 시스템은 두 가지 모드로 테스트되었습니다:
  1. 시뮬레이션 데이터: 명목상 Run 3 광도 ($2 \times 10^{33} \text{ cm}^{-2}\text{s}^{-1}$) 에서 생성된 이벤트가 내부 RAM 에 로드되었습니다.
  2. 실시간 데이터: 모니터링 팜에서 실제 LHCb 충돌 데이터를 시연기로 공급하기 위해 커스텀 데이터 체인이 개발되었습니다. 이 체인에는 조건 데이터베이스에서 실시간 정렬 상수를 가져오는 "AlignmentChecker"와 로컬 센서 좌표를 전역 LHCb 시스템으로 변환하는 "DecodeTransform"이 포함되었습니다.

주요 기여

• 프로토타입 시연기: 실제 검출기의 상당 부분을 대표하는 38 개 VELO (Vertex LOcator) 모듈 중 16 개 (특히 오른쪽 하류 사분면) 를 포괄하는 대규모 시연기 구축.
• 최적화된 분배 네트워크: 중간 계층에서의 히트 증배 인자를 최소화하여 처리량을 크게 향상시키는 스위치 네트워크용 특정 순서 지정 알고리즘 개발.
• 실시간 통합: 최신 정렬 상수를 가진 실시간 충돌 데이터를 실시간으로 처리할 수 있음을 입증한 FPGA 기반 시스템의 성공적인 LHCb 실시간 DAQ 환경 통합.
• 동기화: 정확한 물리 분석을 위한 필수 요구사항인 최신 검출기 정렬 상수와 궤적 재구성을 동기화하는 메커니즘 구현.

결과

• 처리량: 명목상 Run 3 광도에서 시뮬레이션 데이터를 처리할 때 시스템은 19.0 MHz의 이벤트 속도를 달성했습니다. 이는 동일한 조건에서 불과 170 kHz 를 기록한 비최적화 스위치 구성에 비해 엄청난 개선입니다.
• 신뢰성: 시스템은 시뮬레이션 데이터로 10 일 동안 중단 없이 실행되었으며, 실시간 데이터 수집 기간 (7 월 중순 및 9 월) 동안 약 60 일 동안 충돌이나 비정상적인 동작 없이 원활하게 운영되었습니다.
• 정확도: 시연기에서 재구성된 궤적은 궤적 매개변수의 2 차원 분포 ($u-v$ 공간) 측면에서 표준 LHCb 소프트웨어 재구성 (HLT2) 과 정성적으로 일치했습니다. 비트 레벨 일관성은 C++ 비트 단위 에뮬레이터의 출력과 일치하는 시뮬레이션 데이터 패킷을 실시간 데이터 스트림에 주기적으로 주입함으로써 확인되었습니다.
• 한계: 달성된 19.0 MHz 의 속도는 현재 목표 LHC 평균 빔 교차율인 30 MHz 보다 1.58 배 낮습니다. 저자들은 최종 선택 논리 (수용 컷, 클론 제거) 가 아직 이 시연기에 구현되지 않았다고 지적합니다.

의의 및 주장
본 논문은 망막 기술이 향후 HEP 실험의 실제 응용에 적합한 성숙도에 도달했다고 주장합니다. 높은 속도로 실시간 LHCb 데이터를 처리하는 성공적인 시연과 함께, 추가적인 클록 주파수 증가 및 논리 체인 개선과 같은 특정 펌웨어 및 아키텍처 최적화의 식별은 현재 하드웨어 세대를 사용하여 30 MHz 의 목표 속도에 도달할 수 있음을 시사합니다.

따라서 LHCb 협력단은 Run 4 에서 망막 아키텍처의 첫 번째 물리 응용을 구현하기 위해 LHC 과학 위원회에 제안을 제출했습니다. 이 응용은 판독 수준에서 투명하게 작동하는 FPGA 로 추적 재구성의 일부를 오프로드하여 HLT1 컴퓨팅 전력을 절약하는 것을 목표로 합니다. 이 작업은 향후 고광도 런에서 예상되는 극한의 데이터 속도를 처리하기 위해 FPGA 기반 "인공 망막"아키텍처를 사용할 수 있음을 검증합니다.