APEIRON: composing smart TDAQ systems for high energy physics experiments

APEIRON 기술 요약: 고에너지 물리학 실험을 위한 스마트 TDAQ 시스템 구성

문제 정의
실시간 데이터 흐름 처리를 요구하는 실험 입자 물리학은 높은 컴퓨팅 처리량, 결정론적 지연 시간(deterministic latency), 그리고 상당한 I/O 대역폭을 필요로 한다. FPGA(Field-Programmable Gate Array)는 재구성 가능한 로직과 고속 트랜시버 덕분에 이러한 요구 사항에 적합하지만, 현재의 HLS(High-Level Synthesis) 환경에는 중대한 한계가 존재한다: 이들은 일반적으로 단일 FPGA 장치에 국한된다. 트리거 또는 데이터 획득(TDAQ) 문제가 단일 칩의 용량을 초과하는 경우(현대적인 실험의 높은 채널 수에서 흔히 발생하는 시나리오), 개발자들은 임시방편으로 수동 제작된 인터-FPGA 통신 계층에 의존해야만 한다. 단일 장치 HLS 기능과 다중 장치 실시간 시스템 간의 이러한 간극이 APEIRON 개발의 동기가 되었다.

방법론 및 아키텍처
APEIRON은 Xilinx Vitis HLS 생태계를 확장하여 상호 연결된 FPGA 네트워크 전체에서 투명하게 작동하도록 설계된 분산형 이종 프로세싱 프레임워크이다. 이 프레임워크는 저수준 장치 드라이버부터 고수준 데이터플로 프로그래밍 모델에 이르기까지 전체 소프트웨어 계층 구조를 포괄한다.

• 시스템 토폴로지: 시스템은 데이터 경로를 $m$개의 독립적인 데이터 소스가 $n$개의 스트림 처리 단계로 이어지는 캐스케이드(cascade)로 공급되는 모델로 정의한다. 이 단계들은 하나 또는 그 이상의 FPGA 노드에 위치할 수 있으며, 네트워크 패브릭은 필요에 따라 데이터 스트림을 재결합한다. 기반 네트워크는 패킷 스위칭 방식의 차원 순서 라우팅(dimension-order-routed) 메시 구조를 따르며, 이를 통해 물리적 토폴로지를 재설계 없이 설정만으로 맞춤화할 수 있다.
• 통신 인프라: APEnet 및 EXANEST 네트워크 온 칩(NoC) 설계에서 유래된 이 통신 서브시스템은 노드 내 전송(동일 FPGA 내 커널 간)과 노드 간 전송(고속 직렬 트랜시버를 통한)을 모두 지원한다. 라우팅은 낮은 지연 시간을 보장하기 위해 차원 순서 라우팅과 가상 컷스루(Virtual Cut-Through) 스위칭을 사용하는 크로스바 스위치를 활용한다. 차원 순서 라우팅 하에서의 데드락(deadlock)을 방지하기 위해 물리적 링크당 두 개의 가상 채널이 제공된다.
• 프로그래밍 모델: APEIRON은 Kahn 프로세스 네트워크에 기반한 데이터플로 추상화를 채택한다. 개발자는 AXI4-Stream 포트를 노출하는 알고리즘 C/C++ 커널을 작성한다. 통신은 비차단형(non-blocking) send()와 차단형(blocking) receive() 프리미티브를 특징으로 하는 경량 C++ API를 통해 처리된다. 이 API는 하부의 패킷 프로토콜을 추상화하여, 커널이 물리적 배치와 관계없이 통신할 수 있게 한다.
• 빌드 흐름: 계산 데이터플로 그래프를 물리적 FPGA 네트워크에 매핑하는 작업은 YAML 설정 파일에 의해 정의된다. APEIRON 툴체인은 모든 부수적인 로직(라우팅, 디스패칭, 집계)을 자동으로 생성하고 완전한 디자인 비트스트림을 생성하여, 설계자가 수동 통합 작업에서 벗어날 수 있도록 한다.

주요 기여
본 논문은 다음과 같은 핵심 기여를 제시한다:

1. 모듈형 인터커넥트: FPGA 노드 간의 토폴로지 설정이 가능한 저지연 직접 인터커넥트.
2. 통합 추상화: 태스크가 경량 send/receive 프리미티브를 통해 통신하는 데이터플로 프로그래밍 모델로서, 논리적 통신과 물리적 배치를 분리함.
3. 자동화: 컴팩트한 애플리케이션 설명을 바탕으로 라우팅, 디스패칭 및 집계 로직을 자동 생성하여, 사용자가 오로지 알고리즘 커널에만 집중할 수 있게 하는 툴체인.
4. 타겟 범용성: 전통적인 저수준 트리거 시스템과 트리거리스(trigger-less) 또는 스트리밍 판독 설정의 데이터 축소 단계를 모두 다룰 수 있는 시스템.

검증 및 결과
프레임워크는 CERN의 NA62 실험을 위한 입자 식별(PID) 애플리케이션을 사용하여 검증되었다.

• 맥락: NA62의 RICH(Ring Imaging Cherenkov) 검출기는 저수준 트리거 결정을 알리기 위해 온라인 PID를 필요로 한다. 저자들은 기존의 이종 GPU+FPGA 파이프라인(GPURICH)을 APEIRON으로 구축된 단일 FPGA 솔루션(FPGA-RICH)으로 교체하였다.
• 구현: PID 태스크는 시드리스(seedless) 접근 방식(RICH 히트 데이터에만 의존)을 사용하는 신경망 추론 문제로 정식화되었다. 아키텍처는 완전 연결 네트워크(64-16-4 뉴런)이다. 모델은 QKeras를 사용하여 양자화되었으며, 고정 소수점 표현을 활용하여 HLS4ML을 통해 합성 가능한 펌웨어로 변환되었다.
• 성능: 150 MHz에서 Xilinx VCU118 보드 상의 합성을 수행한 결과, 가용 LUT의 14%, DSP 슬라이스의 2%만을 사용하는 컴팩트한 구현을 달성했다. 측정된 추론 지연 시간은 146.66 ns였으며, 18.75 MHz의 지속적인 처리량을 달성하여 실험의 요구 사항인 10 MHz를 충분히 상회하였다.
• 정확도: ROC(Receiver Operating Characteristic) 곡선은 전하 입자의 다중도($N_r$)에 대해 만족스러운 식별력을 보여주었다. 전자/양전자($e^\pm$) 식별 결과는 다소 만족스럽지 못했는데, 이는 15–35 GeV/c 에너지 범위를 벗어난 입자 유형을 구별하지 못하는 RICH 검출기의 한계에 기인한다.

의의 및 향후 과제
본 논문은 APEIRON이 구성 가능한 저지연 FPGA 네트워크와 자동화된 빌드 툴링, 그리고 데이터플로 프로그래밍 모델을 결합함으로써 입자 물리학 TDAQ 설계의 반복적인 요구 사항을 해결한다고 주장한다. 성공적인 FPGA-RICH 배포는 복잡한 물리 알고리즘을 위해 고처리량, 저지연 솔루션을 제공할 수 있는 프레임워크의 능력을 입증한다.

향후 연구는 프레임워크의 성능과 사용성을 개선하는 데 중점을 둔다. 구체적으로, 저자들은 이벤트 에너지 정보를 제공하는 LKr 칼로리미터의 온라인 프리미티브를 통합함으로써, RICH 검출기 단독의 한계를 보완하고 $e^\pm$ 식별 결과를 향상시키는 것을 목표로 한다.