Data-Rate-Aware High-Speed CNN Inference on FPGAs

이 논문은 풀링 및 스트라이드 컨볼루션으로 인한 데이터율 감소로 인한 하드웨어 비효율성을 해결하기 위해, 다중 픽셀 처리와 데이터율 인식 설계 공간 탐색을 통해 FPGA 기반 CNN 가속기의 자원 효율성과 활용도를 극대화하는 아키텍처를 제안합니다.

핵심

🚗 핵심 비유: 인공지능은 '고속도로'를 달리는 트럭들

인공지능이 이미지를 분석할 때, 데이터는 마치 트럭처럼 고속도로를 달립니다.

• **데이터 **(트럭) 이미지 픽셀 정보입니다.
• **레이어 **(도로 구간) 인공지능의 각 단계 (예: 특징 추출, 크기 줄이기 등) 입니다.
• **FPGA **(도로와 교차로) 트럭들을 처리하는 하드웨어 장치입니다.

1. 기존 방식의 문제점: "도로 폭이 변하면 트럭이 멈춘다"

기존의 고속도로 (FPGA 설계) 는 처음에 모든 차선을 꽉 채운 트럭들이 달릴 수 있도록 설계되었습니다. 하지만 인공지능의 특정 구간 (예: '풀링'이나 '스트라이드' 연산) 을 지나면 트럭의 수가 절반, 혹은 4 분의 1 로 줄어듭니다.

• 문제: 도로 폭은 그대로인데 트럭이 사라지니, 도로의 절반이 텅 비게 됩니다.
• 결과: 비어있는 도로를 유지하는 비용 (전력, 하드웨어 자원) 은 그대로 들면서, 트럭이 줄어든 구간에서는 **하드웨어가 놀고 있는 시간 **(Underutilization)이 생깁니다. 마치 8 차선 도로에 차가 1 대만 달릴 때, 나머지 7 차선이 비어있는 것과 같습니다.

2. 이 논문의 해결책: "상황에 맞춰 도로를 재설계하는 스마트 시스템"

이 연구팀은 **"데이터의 양 **(트럭 수)을 제안했습니다.

• 데이터 흐름에 맞춰 도로 폭 조절: 트럭이 줄어드는 구간에서는 도로 폭을 좁게 만들고, 트럭이 몰리는 구간에서는 넓게 만듭니다.
• **한 번에 여러 트럭 처리 **(Multi-pixel) 기존에는 한 번에 한 대의 트럭만 처리했지만, 이 연구는 **한 번에 두 대 **(또는 그 이상)를 동시에 처리할 수 있게 도로를 개조했습니다.
  • 비유: 일반 도로에서 차선 하나당 차 한 대만 지나가게 하던 것을, 차선 하나에 두 대가 나란히 달릴 수 있게 만든 것입니다.

3. 어떻게 작동할까요? (공장 비유)

이 장치는 마치 지능형 공장과 같습니다.

• 기존 공장: 모든 기계가 항상 같은 속도로 돌아가게 고정되어 있습니다. 재료가 줄어들면 기계들이 멈춰서 기다려야 합니다.
• 이 논문의 공장:
  1. **재료 **(데이터) 들어오는 재료가 많으면 기계들을 모두 가동합니다.
  2. 재료가 줄면: 기계의 수를 줄이거나, 한 번에 여러 개의 재료를 한꺼번에 처리하도록 기계 설정을 바꿉니다.
  3. 결과: 기계가 멈추는 시간이 사라지고, **전체 생산 속도 **(처리량)가 빨라집니다.

🏆 이 연구가 가져온 놀라운 성과

이 논문의 방법론을 적용한 결과, 다음과 같은 놀라운 변화가 일어났습니다.

1. **자원 절약 **(비용 절감)

   • 같은 일을 처리하는 데 필요한 하드웨어 (LUT, 메모리 등) 가 약 20~25% 줄었습니다.
   • 비유: 같은 양의 물건을 만드는 데, 예전에는 공장 건물을 10 채 지어야 했는데, 이제는 7~8 채만 지어도 됩니다.

2. **압도적인 속도 **(고속 주행)

   • **초당 16,000 프레임 **(FPS)을 처리할 수 있게 되었습니다.
   • 비유: 사람이 눈으로 보는 속도보다 훨씬 빠르게, 1 초에 16,000 장의 사진을 분석할 수 있습니다. 이는 자율 주행차가 도로를 볼 때, 눈이 빠를 정도로 많은 정보를 실시간으로 처리할 수 있음을 의미합니다.

3. **유연성 **(상황 적응)

   • 속도를 아주 낮추고 싶다면 (예: 배터리 아끼기 위해), 하드웨어 자원을 훨씬 적게 사용하도록 설정할 수도 있습니다.
   • 비유: 고속도로를 고속 주행 모드로 쓸 수도 있고, 저속 주행 모드로 바꿔서 연료 (전력) 를 아낄 수도 있습니다.

💡 결론: 왜 이것이 중요한가요?

이 연구는 **"하드웨어를 고정된 틀에 맞추는 것이 아니라, 하드웨어가 데이터의 흐름에 맞춰 유연하게 변신하게 만든다"**는 점을 강조합니다.

앞으로 자율 주행차, 음성 인식, 의료 영상 분석 등 빠르고 정확한 인공지능이 필요한 모든 분야에서, 이 기술을 통해 더 저렴하고 더 빠른 칩을 만들 수 있게 될 것입니다. 마치 교통 체증을 해결하기 위해, 차선 수를 실시간으로 조절하는 지능형 교통 시스템을 도입한 것과 같습니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• FPGA 기반 CNN 가속기의 한계: FPGA 에서 데이터 흐름 (Dataflow) 기반의 CNN 가속기는 낮은 지연 시간 (Latency) 과 높은 처리량 (Throughput) 을 달성하기 위해 각 레이어의 연산을 하드웨어 유닛에 직접 매핑합니다.
• 데이터율 불일치 문제: 풀링 (Pooling) 이나 스트라이드 컨볼루션 (Strided Convolution) 과 같은 레이어는 입력 대비 출력을 줄여 데이터율을 감소시킵니다. 이로 인해 파이프라인의 후속 레이어에서 하드웨어 자원이 유휴 상태 (Underutilization) 가 되는 문제가 발생합니다.
• 기존 방법의 부족: 기존 연구 [11] 는 데이터율에 맞춰 레이어별 구현을 적응시키는 'Continuous-Flow' 패러다임을 제시했으나, 이는 클럭 사이클당 단일 픽셀만 처리하도록 설계되었습니다. 더 높은 처리량을 요구하거나 다양한 데이터율 환경에서 자원을 최적화하기 위해서는 다중 픽셀 (Multi-pixel) 처리가 가능하면서도 데이터율에 민감하게 반응하는 아키텍처가 필요했습니다.

2. 제안된 방법론 (Methodology)

이 논문은 기존 Continuous-Flow 아키텍처를 확장하여 다중 픽셀 처리를 지원하고, 하드웨어 자원 효율성을 극대화하는 새로운 설계 공간을 제시합니다.

가. 개선된 Continuous-Flow 아키텍처

• 파라미터 단순화: 기존 복잡한 파라미터 설정을 **$j$(입력 신호 수)**와 $h$(한 번에 처리하는 뉴런 수) 두 가지 핵심 파라미터로 통합하여 레이어 구현을 정의합니다.
• 제약 조건 최적화:
  • 입력 신호 수 $j$는 입력 채널 수 ($d_{\ell-1}$) 의 약수여야 합니다.
  • 처리 뉴런 수 $h$는 출력 채널 수 ($d_{\ell}$) 의 약수여야 합니다.
  • 이를 통해 불필요한 패딩 (Padding) 이나 유효하지 않은 데이터 처리를 방지하고, 동기화 오버헤드를 제거합니다.
• 최적 설계 탐색: 주어진 입력 데이터율 ($r_{\ell-1}$) 에 가장 근접하는 $j/h$ 비율을 가진 파라미터 조합을 선택하여, 하드웨어 자원을 낭비하지 않고 연속적인 데이터 흐름을 유지합니다.

나. 다중 픽셀 처리 (Multi-pixel Processing) 적응

• FCU 및 컨볼루션 레이어 확장: 클럭당 2 개의 픽셀을 처리하기 위해 FCU(Fully Connected Unit) 수를 두 배로 늘리고, KPU(Kernel Processing Unit) 를 수정합니다.
• 비-전치 KPU (Non-transposed KPU) 설계:
  • 기존 KPU 는 가중치 부분 결과를 버퍼링했으나, 제안된 방식은 **입력 특징 맵 (Input Features)**을 버퍼링하여 레이어 내 모든 KPU 와 공유합니다.
  • 그림 5 와 같이 입력 신호를 지연 (Delay) 시키고 멀티플라이어에 연결함으로써, 하나의 슬라이딩 윈도우 내 모든 입력이 동시에 계산되도록 설계합니다.
• 스트라이드 처리 최적화: 스트라이드 ($s > 1$) 가 적용된 경우, 일부 KPU 설계는 유효한 출력을 생성하지 않으므로 아예 제거하여 자원을 절약할 수 있습니다.

3. 주요 기여 (Key Contributions)

1. 다중 픽셀 처리 지원: 기존 단일 픽셀 처리 아키텍처를 확장하여 클럭당 여러 픽셀을 처리할 수 있도록 하여 처리량을 획기적으로 높였습니다.
2. 설계 공간 탐색 및 파라미터 최적화: 데이터율에 따른 레이어 재구성을 위한 수학적 모델을 정립하고, 하드웨어 자원 (LUT, DSP 등) 을 최소화하는 최적의 구성을 자동으로 탐색하는 방법을 제시했습니다.
3. 자원 효율성 증대: 불필요한 연산 유닛을 제거하고 컴프레서 트리 (Compressor Tree) 등을 활용하여 기존 설계 대비 자원을 대폭 절감했습니다.

4. 실험 결과 (Results)

실험은 MobileNetV1 및 MobileNetV2 모델을 사용하여 Xilinx Virtex UltraScale+ (XCVU37P) FPGA 에서 수행되었습니다.

• MobileNetV1 비교 (기존 연구 [11] 대비):

  • LUT: 22% 감소 (204,931 → 158,540)
  • BRAM: 15% 감소
  • DSP: 약간 감소
  • 레지스터 수는 7% 증가했으나, 전체적인 자원 효율성이 크게 향상되었습니다.

• MobileNetV2 성능 (다양한 데이터율):

  • 최고 처리량: 클럭당 6 개의 특징 (2 픽셀) 을 처리하는 구성에서 **초당 16,020 프레임 (FPS)**의 처리량을 달성했습니다.
  • 유연성: 데이터율을 낮추어 (예: 32 클럭당 3 특징) 처리량을 219 FPS 로 줄일 경우, DSP 자원은 212 개, LUT 는 30k 개로 대폭 절감되었습니다.
  • SOTA 비교: 기존 최첨단 (SOTA) 가속기 (Alveo U280 기반 FINN 등) 대비 3 배 이상 높은 FPS를 달성했습니다. 특히 저전력/저자원 모드에서도 효율적인 구현이 가능함을 입증했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 고성능 저지연 inference: 단일 FPGA 에서 다양한 데이터율 요구사항에 맞춰 복잡한 CNN 을 효율적으로 구현할 수 있음을 증명했습니다.
• 자원 최적화: 데이터율 변화에 따라 하드웨어 자원을 동적으로 조절할 수 있어, 제한된 FPGA 리소스 환경에서도 고성능 inference 를 가능하게 합니다.
• 향후 과제: 현재 모델 가중치 저장을 위해 BRAM 사용량이 높으므로, 이를 DRAM 또는 HBM 으로 오프로딩하여 BRAM 의존도를 낮추는 방향으로 연구가 진행될 예정입니다.

요약하자면, 이 논문은 FPGA 기반 CNN 가속기의 핵심 병목 현상인 '데이터율 불일치'를 해결하고, 다중 픽셀 처리를 통해 기존보다 훨씬 높은 처리량과 자원 효율성을 동시에 달성한 새로운 아키텍처를 제안한 연구입니다.