TrackCore-F: Deploying Transformer-Based Subatomic Particle Tracking on FPGAs

이 논문은 고에너지 물리학의 입자 궤적 추적 작업에 트랜스포머 기반 머신러닝 모델을 FPGA 에 효율적으로 배포하기 위한 자동화된 합성 방법론과 도구를 개발하고, 이를 'TrackFormers' 프로젝트의 모델에 적용하여 초기 결과를 제시합니다.

핵심

🌌 1. 배경: 거대한 우주 실험실과 '입자 추적기'

우리는 거대한 원형 터널 (LHC) 에서 입자들을 충돌시켜 우주의 비밀을 파헤치고 있습니다. 이때 충돌로 튀어 나온 수백만 개의 작은 입자들 (비행기 조각처럼) 의 경로를 따라가야 합니다. 이를 **'입자 추적 (Tracking)'**이라고 합니다.

• 과거의 방식: 컴퓨터가 모든 조각을 하나하나 손으로 맞춰보듯 계산했습니다. 하지만 데이터가 너무 많아서 시간이 너무 오래 걸렸습니다.
• 새로운 시도 (AI): 최근에는 '트랜스포머 (Transformer)'라는 똑똑한 AI 가 이 일을 잘해냅니다. 마치 천재 탐정이 조각들을 한눈에 보고 전체 그림을 그리는 것과 같습니다.
• 문제점: 이 똑똑한 AI 는 보통 무거운 그래픽 카드 (GPU) 가 있어야 돌아갑니다. 하지만 실험 현장에서는 전기도 아껴야 하고, 결과가 즉시 나와야 합니다 (온라인 처리). 그래서 FPGA라는 '재구성 가능한 작은 칩'에 이 AI 를 심으려고 합니다.

🧩 2. 핵심 과제: 거대한 AI 를 작은 칩에 넣기

문제는 이 AI 모델이 너무 크다는 것입니다. 거대한 아파트 (AI 모델) 를 작은 오프라인 쇼핑몰 (FPGA) 에 통째로 옮기는 것은 불가능합니다.

• 해결책 (조각내기): 논문의 저자들은 이 아파트를 층별로 나누어 FPGA 에 실으려고 합니다.
  • 전체 설치 (Monolithic): 작은 아파트는 통째로 넣습니다.
  • 부분 설치 (Partitioned): 큰 아파트는 1 층만 FPGA 에 넣고, 나머지는 외부 (CPU) 에서 처리하게 합니다.
  • 비유: 거대한 요리를 할 때, 모든 재료를 한 번에 넣지 않고, 중요한 '불 조절' 단계만 특수한 가스레인지 (FPGA) 에서 하고, 나머지 준비 과정은 일반 주방에서 하는 것과 같습니다.

🛠️ 3. 개발 과정: 레고 조립처럼

저자들은 이 작업을 위해 다음과 같은 도구들을 사용했습니다.

1. PyTorch & ONNX: AI 모델을 설계하고, 모든 칩이 이해할 수 있는 '공용 언어 (ONNX)'로 번역합니다.
2. Vitis HLS: 이 번역된 모델을 C/C++ 언어로 바꿔서, FPGA 가 이해할 수 있는 '하드웨어 설계도'로 만듭니다.
3. Vivado: 최종적으로 이 설계도를 FPGA 칩에 실제로 불어넣는 (합성) 작업을 합니다.

이 과정은 마치 레고 블록을 조립하듯, AI 의 한 부분 (엔코더 레이어) 을 잘라내어 FPGA 칩 위에 딱 맞게 조립하는 과정입니다.

⚖️ 4. 실험 결과: 정확도 vs 속도 (양날의 검)

FPGA 에 넣기 위해 AI 의 숫자를 줄이는 작업 (양자화, Quantization) 을 해보았습니다.

• 비유: 고해상도 사진 (정밀한 AI) 을 압축해서 작은 파일로 만드는 것과 같습니다. 파일은 작아져서 빨리 전송되지만, 화질이 떨어질 수 있습니다.
• 결과:
  • 정수 (INT8) 로 줄이면: 속도는 빨라지고 공간은 절약되지만, 정확도가 뚝 떨어집니다. (예: 97% 정답률 → 70% 대로 하락)
  • 결론: 무조건 작게 만들면 안 됩니다. 정확도를 너무 희생하지 않는 선에서만 줄여야 합니다.

💾 5. 자원 제한: 책상 위의 공간 문제

FPGA 칩에는 '기억 공간 (BRAM)'과 '연산 공간 (LUT)'이라는 제한된 자원이 있습니다.

• 현황: 현재 실험한 칩 (ZCU102) 에는 **단 하나의 AI 층 (Layer)**만 넣어도 기억 공간의 약 38% 를 차지했습니다.
• 한계: 이 칩에는 최대 4 개의 층만 넣을 수 있습니다. 그 이상 넣으면 공간이 부족해집니다.
• 해결: 공간이 부족하면 외부 메모리 (DDR) 를 쓰면 되지만, 그렇게 하면 데이터 이동 시간이 늘어나 속도가 느려집니다.

🏁 6. 결론: 왜 이 연구가 중요한가?

이 논문은 **"거대한 AI 모델을 어떻게 하면 작은 칩에 효율적으로 심을 수 있을까?"**에 대한 청사진을 제시했습니다.

• 의의: 거대한 실험실 (LHC) 에서 실시간으로 입자 경로를 추적하려면, 무거운 GPU 대신 작고 효율적인 FPGA 가 필요합니다.
• 교훈: 무조건 모델을 다 넣으려고 하기보다, **어떤 부분을 잘라내어 칩에 심을지 (부분 배치)**를 잘 설계하는 것이 더 중요합니다. 또한, 속도를 위해 정확도를 너무 희생하지 않도록 균형을 잡아야 합니다.

한 줄 요약:

"거대하고 똑똑한 AI 탐정을, 작은 칩 (FPGA) 이라는 작은 책상에 앉혀서, 우주 입자들의 경로를 실시간으로 찾아내게 하려고 노력한 실험 보고서입니다."

기술 요약

논문 요약: TrackCore-F (FPGA 기반 트랜스포머 입자 추적 시스템)

1. 문제 제기 (Problem)

• 배경: 고에너지 물리학 (HEP), 특히 대형 강입자 충돌기 (LHC) 의 고광도 단계 (HL-LHC) 에서는 데이터 양과 실험 주파수가 급격히 증가하여 기존 컴퓨팅 방식으로는 실시간 (Online) 또는 준실시간 (Pseudo-online) 입자 추적 (Tracking) 이 불가능해지고 있습니다.
• 현재 한계:
  • 기존 추적 작업은 사후 처리 (Post-mortem) 로 수행되었으나, 머신러닝 (ML) 을 도입하면 성능이 향상되더라도 데이터 규모가 커지면서 그 효과가 상쇄될 수 있습니다.
  • ML 알고리즘은 주로 GPU 에 의존하고 있으나, FPGA 는 더 낮은 지연 시간 (Latency) 과 높은 에너지 효율성을 제공하며 현장 (On-site) 배포가 가능합니다.
  • 핵심 문제: 트랜스포머 (Transformer) 기반 ML 모델을 FPGA 에 배포하는 도구의 지원이 매우 제한적이며, FPGA 의 하드웨어 자원 (메모리, 논리 소자 등) 이 모델 크기에 비해 부족하여 대규모 모델을 직접 배포하기 어렵습니다.

2. 방법론 (Methodology)

이 연구는 TrackFormers 프로젝트에서 파생된 두 가지 트랜스포머 모델 (EncCla, EncReg) 을 FPGA 에 배포하기 위한 체계적인 개발 흐름을 제시합니다.

• 대상 모델:
  • EncCla (Encoder-Classifier): 인코더 전용 트랜스포머. 히트 좌표를 입력받아 미리 정의된 클래스 레이블 (궤적 파라미터 공간의 이산화) 로 분류합니다. (약 150 만 파라미터)
  • EncReg (Encoder-Regressor): 인코더 전용 트랜스포머. 클래스 레이블 없이 궤적 파라미터를 직접 회귀 (Regression) 합니다. 출력 후 HDBSCAN 클러스터링을 통해 궤적을 연결합니다. (약 7.6 만 파라미터)
• 개발 흐름 (Deployment Workflow):
  1. 모델 변환: 사전 학습된 PyTorch 모델을 ONNX 포맷으로 변환하여 저수준 연산 구조를 파악합니다.
  2. 모델 분할 (Partitioning): FPGA 자원의 제약으로 인해 전체 모델을 한 번에 배포할 수 없는 경우, 모델을 수동으로 분할합니다. (예: 첫 번째 인코더 레이어 이전, FPGA 에 배포할 인코더 레이어, 나머지 레이어)
  3. 하드웨어 합성: 분할된 레이어를 AMD Vitis HLS를 사용하여 C/C++ 코드로 작성하고, 이를 RTL (Register Transfer Level) 로 합성하여 FPGA IP 코어로 만듭니다.
  4. 시스템 통합: 합성된 IP 를 AMD Vivado를 통해 Zynq MPSoC (ARM 프로세서 + FPGA) 와 통합하고, AXI4 버스를 통해 주변 장치와 연결합니다.
  5. 배포: 최종 비트스트림을 생성하여 Zynq UltraScale+ MPSoC (ZCU102) 보드에 배포합니다.
• 최적화 전략:
  • 개별 ONNX 연산 블록을 구현하는 대신, 선택된 세그먼트를 단일 모놀리식 커널 (Monolithic Kernel) 로 개발하여 CLB 및 메모리 사용량을 줄입니다.
  • 정량화 (Quantization) 를 통해 INT8/INT16 정밀도를 적용하여 성능과 자원 소모를 분석합니다.

3. 주요 기여 (Key Contributions)

• FPGA 배포 파이프라인 확립: 사전 학습된 트랜스포머 모델을 FPGA 에 배포하기 위한 엔드 - 투 - 엔드 개발 흐름 (PyTorch → ONNX → Vitis HLS → Vivado) 을 정립했습니다.
• 모델 분할 및 부분 배포 전략: 리소스 제약으로 인해 전체 모델을 배포할 수 없는 경우, 모델의 특정 레이어 (예: 인코더 레이어) 만 FPGA 에 하드웨어 가속기로 배포하고 나머지는 소프트웨어 (CPU) 에서 실행하는 부분 배포 (Partial Deployment) 의 실현 가능성을 입증했습니다. 이는 접근성이 높은 하드웨어에서도 추론을 가능하게 합니다.
• 정량화 영향 분석: 가중치 (Weights) 와 활성화 값 (Activations) 에 대한 정량화 (Quantization) 가 모델 정확도에 미치는 영향을 정량적으로 분석했습니다.

4. 실험 결과 (Results)

• 정량화 (Quantization) 영향:
  • 기본 모델의 정확도는 0.97입니다.
  • 활성화 값을 INT8 로 정량화할 경우 정확도가 0.71로 급격히 하락하는 반면, 가중치만 정량화할 경우 (INT8) 정확도는 0.90 수준을 유지합니다.
  • 결론: 활성화 값의 정량화는 모델 정확도에 치명적인 영향을 미치며, 가중치 정량화만으로도 상당한 이득을 볼 수 있습니다.
• 하드웨어 자원 소모 (ZCU102 기준):
  • 단일 인코더 레이어 커널을 합성했을 때의 자원 사용률은 다음과 같습니다:
    • BRAM (Block RAM): 38.04% (가장 큰 제약 요소)
    • LUT (Look-Up Table): 24.01%
    • DSP: 2.66%
    • FF (Flip-Flop): 13.53%
  • 확장성: BRAM 사용량을 DDR 메모리 사용으로 대체하여 줄일 수 있다면, LUT 사용량이 다음 제약 요소가 됩니다. 현재 자원 비율로 볼 때, 해당 FPGA 에는 최대 4 개의 인코더 레이어를 구현할 수 있는 것으로 추정됩니다.

5. 의의 및 결론 (Significance)

• 실시간 물리 실험의 가능성: GPU 에 의존하지 않고 FPGA 를 활용하여 ML 기반 입자 추정을 수행함으로써, HL-LHC 와 같은 대규모 실험에서 요구되는 낮은 지연 시간과 높은 에너지 효율성을 달성할 수 있는 길을 열었습니다.
• 유연한 배포 전략: 전체 모델을 배포하는 것뿐만 아니라, 모델의 일부를 하드웨어로 가속화하는 '부분 배포' 전략이 유효함을 보여주었습니다. 이는 제한된 자원을 가진 하드웨어에서도 ML 추론을 가능하게 합니다.
• 향후 과제: 현재 워크플로우는 수동 분할에 의존하고 있으며, 정량화 시 정확도 손실을 최소화하는 방법 (예: 활성화 값 정량화 회피 또는 고급 양자화 기법) 과 자동화된 모델 분할 도구 개발이 향후 연구 과제로 남았습니다.

이 논문은 고에너지 물리학 분야에서 트랜스포머 아키텍처를 FPGA 에 성공적으로 통합하기 위한 초기 단계의 중요한 기술적 토대를 마련했다는 점에서 의의가 있습니다.