Optimizing Transformer Neural Network for Real-Time Outlier Detection on FPGAs

기술 요약: 실시간 이상 탐지를 위한 FPGA 상의 트랜스포머 신경망 최적화

문제 정의
자산 가격과 같은 금융 시계열 데이터는 양적으로 급증하고 있으나, 오류 및 이상치(outlier)에 의해 빈번하게 오염됩니다. 이러한 이상 징후들은 다운스트림 처리 작업의 효과를 저해하거나 의사결정에 해를 끼칠 수 있습니다. 딥러닝 모델, 특히 트랜스포머(Transformer)는 이상 탐지를 위한 장기 의존성(long-range dependencies) 포착에서 탁월한 성능을 입증해 왔으나, 이들의 계산 복잡도는 실시간 애플리케이션 적용에 있어 과제를 제기합니다. 따라서 높은 정확도와 낮은 추론 지연 시간(latency) 사이의 균적인 균형을 맞추는 데이터 정제 방법이 절실히 필요합니다. 본 연구는 최소화된 지연 시간으로 실시간 이상 탐지를 달야하기 위해 FPGA(Field-Programmable Gate Array)에 트랜스포머 아키텍처를 배포하는 문제를 다룹니다.

방법론
본 연구는 PYNQ-Z2 FPGA 보드 상에 두 가지 트랜스포머 기반 아키텍처인 "바닐라(Vanilla)" 트랜스포머 인코더와 선형 어텐션(Linear Attention) 트랜스포머의 구현 및 최적화를 제안합니다.

1. 모델 아키텍처:

   • 바닐라 트랜스포머: 멀티 헤드 셀프 어텐션(multi-head self-attention)과 피드 포워드 네트워크를 갖춘 표준 인코더 아키텍처를 활용합니다. 특정 데이터셋에서의 학습 안정성과 성능을 개선하기 위해 위치 인코딩(positional encodings)과 레이어 정규화(layer normalization)는 실험적으로 비활성화되었습니다.
   • 선형 트랜스포머: 소프트맥스(softmax) 연산을 제거하여 계산 복잡도를 $O(N^2)$에서 $O(N)$으로 줄이기 위해 선형 어텐션 메커니즘(특성 맵 $\phi(x) = \text{elu}(x) + 1$ 사용)을 구현합니다.

2. FPGA 최적화 전략:
   저자들은 알고리즘 설명과 하드웨어 구현 사이의 간극을 메우기 위해 C++를 이용한 고수준 합성(HLS, High-Level Synthesis)을 활용하였습니다. 트랜스포머 블록 내의 행렬 곱셈 및 루프에 적용된 주요 최적화 기법은 다음과 같습니다:

   • 루프 파이프라이닝(Loop Pipelining): 이전 반복이 완료되기 전에 새로운 반복이 시작될 수 있도록 내부 루프에 적용하여 처리량(throughput)을 개선했습니다.
   • 루프 언롤링(Loop Unrolling): 병렬로 반복을 실행하기 위해 ReLU 활성화 함수와 같은 연산에 사용되었습니다.
   • 배열 분할(Array Partitioning): 병렬 메모리 접근을 가능하게 하고 병목 현상을 방지하기 위해 (순환, 블록 또는 완전 분할 방식) 사용되었으나, 이는 자원 사용량(LUT 및 FF)을 증가시킵니다.
   • 수치적 안정성: 오버플로우를 방방지하기 위해 소프트맥스 함수에 max-subtraction 기법을 적용했습니다.
   • 데이터 타입: 모델을 FPGA의 자원 제약 내에 맞추면서도 정확도를 희생하지 않기 위해 단정밀도(single-precision) float를 선택했습니다.

3. 실험 설정:

   • 데이터셋: 모델은 NYC 택시 수요 데이터가 포함된 Numenta Anomaly Benchmark (NAB), KPI Anomaly Detection Dataset (KPI AIOps), 그리고 (합성 이상치를 주입한) FI2010 고빈도 리밋 오더 북(limit order book) 데이터셋을 사용하여 평가되었습니다.
   • 베이스라인: 핸드크래프트된 특징(handcrafted features)을 사용하는 단순 선형 회귀(Linear Regression) 모델과 성능을 비교했습니다.
   • 학습: 그래디언트 폭주(gradient explosion)를 완화하기 위해 학습률 찾기(learning rate finding)와 그래디언트 클리핑(gradient clipping)을 포함한 Adam 옵티마이저를 사용하여 모델을 학습시켰습니다. 클래스 불균형 문제는 바이너리 교차 엔트로피 손실 함수에서 양성(이상치) 샘플에 음성 샘플보다 5배 더 높은 가중치를 부여함으로써 해결했습니다.

주요 기여
본 논문은 네 가지 주요 기여를 명시합니다:

1. FPGA 보드 상에 바닐라 트랜스포머 아키텍처를 성공적으로 구현함.
2. 동일한 FPGA 하드웨어 상에 선형 어텐션 트랜스포머를 구현함.
3. 특정 HLS 최적화 조건 하에서 이러한 아키텍처들의 지연 시간과 자원 사용량 간의 트레이드오프(trade-off)에 대한 상세한 분석을 제공함.
4. 여러 데이터셋에 걸친 이상 탐지 작업에서 제안된 아키텍처의 정확도를 선형 베이스라인과 비교 분석함.

결과

• 추론 성능: 최적화된 FPGA 구현은 최적화되지 않은 버전에 비해 지연 시간을 크게 단축했습니다.
  • 바닐라 트랜스포머는 최적화 적용 시 3,714 클록 사이클(37.14 $\mu$s)의 지연 시간을 달성하였으며, 미적용 시에는 34,745 사이클(347.45 $\mu$s)이 소요되었습니다. 이를 위해 90%의 LUT 사용량과 30%의 FF 사용량이 요구되었습니다.
  • 선형 트랜스포머는 최적화 적용 시 2,986 클록 사이클(29.86 $\mu$s)의 지연 시간을 달성하였으며, 미적용 시에는 68,894 사이클(688.94 $\mu$s)이 소요되었습니다. 이를 위해 99%의 LUT 사용량과 43%의 FF 사용량이 요구되었습니다.
• 정확도:
  • KPI 데이터셋에서 트랜스포머 모델은 선형 회귀 베이스라인(F1 점수 0.12–0.25)보다 월등히 높은 F1 점수(0.71–0.76)를 기록했습니다.
  • NAB 데이터셋에서 트랜스포머는 0.23–0.47의 F1을 달성한 반면, 선형 회귀 베이스라인은 0.16–0.33의 F1으로 고전했습니다.
  • FI2010 데이터셋에서 트랜스포머 모델은 베이스라인(0.14–0.16)보다 높은 정확도(0.80–0.84)를 보였으나, 정밀도(precision)와 재현율(recall) 모두 낮게 나타나 특정 이상치 주입 작업의 난이도를 시사했습니다.
  • 일반적으로 바닐라 트랜스포머와 선형 트랜스포머는 유사한 성능을 보였으며, KPI 데이터셋에서는 바닐라 모델이 종종 약간 더 높은 정밀도를 달로했습니다.

의의 및 주장
저자들은 본 연구의 주요 의의가 모든 이상 탐지 방법론에 대해 트랜스포머의 우월성을 증명하는 것이 아니라, 트랜스포머 아키텍처가 실시간 이상 탐지를 위한 지연 시간을 최소화하기 위해 FPGA 상에 효율적으로 구현될 수 있음을 보여주는 데 있다고 겸허히 주장합니다. 본 연구는 다음을 강조합니다:

• 트랜스포머는 최소한의 튜닝만으로 이상 탐지에 대해 "준수한 기본 성능(good out of the box performance)"을 달성할 수 있습니다.
• FPGA의 재구성 가능성(reconfigurability)은 트랜스포머 연산의 상당한 가속을 가능하게 하여 실시간 처리를 현실적으로 만듭니다.
• 자원 사용량(LUT/FF)과 지연 시간 사이에는 명확한 트레이드오프가 존재하며, 공격적인 최적화(파이프라이닝 및 분할)는 더 높은 자원 소비를 대가로 추론 시간을 획기적으로 감소시킵니다.

본 논문은 특화된 아키텍처들이 존재하지만, 바닐라 및 선형 트랜스포머 아키텍처가 성능과 속도의 균형을 제공하며 금융 시계열 정제를 위한 FPGA 배포의 유망한 후보가 될 수 있다고 결론짓습니다. 향후 연구 방향은 일반적인 아이디어 외에 구체적으로 기술되지 않았습니다.