Continuous-Flow Data-Rate-Aware CNN Inference on FPGA

이 논문은 풀레이어 (fully parallel) 구현 시 발생하는 데이터 감소로 인한 하드웨어 비효율성을 해결하기 위해, CNN 의 데이터 흐름을 분석하여 저속 신호를 인터リーブ하고 하드웨어 유닛을 공유하는 새로운 데이터율 인지 연속 흐름 아키텍처를 제안하여 단일 FPGA 에서 MobileNet 과 같은 복잡한 CNN 을 높은 처리량으로 구현할 수 있음을 보여줍니다.

핵심

🏭 비유: "공장 라인"과 "혼잡한 고속도로"

1. 기존 방식의 문제점: "빈손으로 서 있는 공장"

기존의 FPGA 가속기들은 마치 완벽하게 배치된 공장과 같았습니다.

• 상황: 입력된 데이터 (이미지) 가 들어오면, 각 부품 (뉴런) 이 하나씩 할당되어 작업을 합니다.
• 문제: 하지만 CNN(합성곱 신경망) 은 데이터를 처리할 때마다 데이터의 양이 줄어들어 버립니다.
  • 예를 들어, 이미지를 2 배로 줄이는 '풀링 (Pooling)' 작업을 하면, 데이터 양이 4 분의 1 로 줄어듭니다.
  • 이때 공장 라인이 그대로라면? 작업이 줄어든데도 공장 인원은 그대로여서, 대부분의 기계가 **빈손으로 서서 기다리는 시간 **(유휴 시간)이 생깁니다.
  • 이는 자원 낭비이고, 비효율적입니다.

2. 이 논문의 해결책: "지능적인 교통 통제와 공유"

저자들은 이 문제를 해결하기 위해 **"데이터 흐름 **(Continuous Flow)을 고려한 새로운 공장을 설계했습니다.

• **비유 1: 차선 합치기 **(데이터 인터리빙)

  • 데이터 양이 줄어든 구간에서는, 여러 개의 차선 (데이터 흐름) 을 하나로 합쳐서 계속해서 차가 흐르도록 만듭니다.
  • 마치 4 차선 도로가 1 차선으로 줄어들 때, 차들이 줄지 않고 계속 흐르도록 차선 변경을 지시하는 것과 같습니다. 이렇게 하면 기계가 멈추지 않고 계속 일을 할 수 있습니다.

• **비유 2: 다목적 로봇 팔 **(재구성 가능한 하드웨어)

  • 기존에는 "한 기계는 한 가지 일만 한다"는 방식이었습니다.
  • 이 방식은 한 대의 기계가 상황에 따라 여러 가지 일을 할 수 있도록 설계했습니다.
  • 데이터가 많을 때는 여러 대의 기계가 동시에 일하고, 데이터가 적을 때는 한 대의 기계가 빠르게 여러 번 돌아가며 모든 일을 처리합니다. 마치 변신 로봇처럼 상황에 맞춰 역할을 바꾸는 것입니다.

• **비유 3: 보이지 않는 테두리 **(패딩)

  • 이미지 가장자리를 처리할 때, 기존 방식은 데이터를 멈추게 하거나 비효율적으로 처리했습니다.
  • 이 논법은 **가상의 테두리 **(패딩)를 만들어서, 기계가 멈추지 않고 계속해서 데이터를 받아들이는 흐름을 유지하게 합니다.

🚀 이 방식의 장점

1. **자원 절약 **(돈 아끼기)

   • 불필요하게 많은 기계 (하드웨어) 를 설치할 필요가 없습니다. 적은 자원으로 복잡한 모델 (예: MobileNet) 을 하나의 FPGA 칩에 넣을 수 있게 되었습니다.
   • 결과: 전기를 덜 쓰고, 칩 크기를 줄일 수 있습니다.

2. **높은 효율 **(100% 활용)

   • 기계가 쉬는 시간이 거의 없습니다. 모든 순간에 일을 하고 있어 효율이 100% 에 가깝습니다.

3. **유연성 **(맞춤형 설계)

   • 필요한 처리 속도 ( throughput) 에 따라 하드웨어의 크기를 조절할 수 있습니다.
   • "속도가 중요하면" 자원을 더 쓰고, "비용이 중요하면" 자원을 줄여서 속도를 조절할 수 있습니다.

📊 실제 성과 (실험 결과)

이론만 좋은 게 아니라, 실제로 MobileNet이라는 유명한 AI 모델을 FPGA 에 구현해 보았습니다.

• 기존 방식에 비해 **연산 장치 **(adder/multiplier)를 획기적으로 줄였습니다.
• **처리 속도 **(FPS)는 더 높으면서, 전력 소모는 더 낮았습니다.
• 특히, **지연 시간 **(Latency)이 거의 절반으로 줄어들어 실시간 처리에 매우 유리합니다.

💡 한 줄 요약

"데이터가 줄어드는 구간에서도 기계가 멈추지 않고 계속 일할 수 있도록, 데이터를 clever하게 섞고 기계를 상황에 맞게 변신시켜서, 적은 비용으로 최고의 성능을 내는 AI 가속기 설계법입니다."

이 기술은 자율주행차, 드론, 스마트폰 등 전기와 공간이 제한된 환경에서 AI 를 빠르게 구동하는 데 큰 도움이 될 것입니다.

기술 요약

논문 제목: FPGA 기반 연속 흐름 (Continuous-Flow) 데이터 레이트 인식 CNN 추론

저자: Tobias Habermann, Michael Mecik, Zhenyu Wang, César David Vera, Martin Kumm, Mario Garrido

1. 문제 정의 (Problem Statement)

• 기존 아키텍처의 한계: FPGA 기반의 딥러닝 추론 가속기 중 '언롤드 (Unrolled)' 아키텍처는 각 뉴런을 전용 하드웨어 유닛에 매핑하여 높은 처리량과 낮은 지연 시간을 제공하지만, 주로 단순한 완전 연결 (Fully Connected) 네트워크에 국한되어 왔습니다.
• CNN 의 데이터 레이트 불일치: 합성곱 신경망 (CNN) 은 정확도 대비 연산량이 적어 더 적합하지만, 풀링 (Pooling) 레이어나 스트라이드 (Stride) 가 1 보다 큰 합성곱 레이어를 통과하면 출력 데이터의 수가 입력보다 급격히 감소합니다.
• 하드웨어 비효율성: 이러한 데이터 레이트 감소는 완전히 병렬화된 (Fully Parallel) 구현에서 하드웨어 유닛이 대폭 유휴 (Idle) 상태가 되거나 데이터가 부족해지는 문제를 일으켜, 하드웨어 활용도가 낮아지고 리소스 낭비가 발생합니다.
• 기존 해결책의 부족: 버퍼링이나 리소스 공유를 통해 데이터를 처리하는 기존 방법들은 오버헤드가 크거나 더 큰 네트워크로 확장성이 부족했습니다.

2. 방법론 (Methodology)

저자들은 CNN 의 데이터 흐름을 분석하고, 각 레이어의 데이터 레이트 변화에 맞춰 하드웨어를 재구성하는 지속적인 흐름 (Continuous-Flow) 아키텍처를 제안합니다.

• 데이터 레이트 인식 설계:
  • CNN 모델 파라미터 (스트라이드, 패딩, 채널 수 등) 를 기반으로 각 레이어의 입력/출력 데이터 레이트를 정량화합니다.
  • 데이터 레이트가 감소하더라도 하드웨어 유닛이 항상 유휴 상태 없이 작동하도록 설계합니다.
• 간섭 (Interleaving) 및 재구성:
  • 파이프라인 간섭 (Pipeline Interleaving): 데이터 레이트가 낮은 레이어에서 여러 입력 채널을 교차시켜 (Interleaving) 단일 데이터 스트림으로 만듭니다. 이를 통해 유휴 시간을 제거하고 연속적인 흐름을 유지합니다.
  • 재구성 가능한 컴포넌트:
    • KPU (Kernel Processing Unit): 커널 크기와 패딩 조건에 따라 가중치 (Weight) 를 동적으로 전환할 수 있도록 멀티플렉서를 추가하여, 하나의 KPU 가 여러 필터를 순차적으로 처리하도록 합니다.
    • FCU (Fully Connected Unit): 입력 데이터를 버퍼링하고 가중치를 스위칭하여 여러 뉴런을 순차적으로 계산하도록 설계합니다.
    • PPU (Pooling Processing Unit): 풀링 레이어의 데이터 레이트 감소에 맞춰 채널을 간섭하여 처리합니다.
• 임시 패딩 (Implicit Zero Padding):
  • 입력 데이터 흐름을 끊지 않고 패딩을 처리하기 위해, KPU 내부의 특정 멀티플라이어에 0 을 곱하는 로직을 구현하여 데이터 순서를 유지하면서 연속적인 출력을 보장합니다.
• 심층 분리 합성곱 (Depthwise-Separable Convolution) 최적화:
  • MobileNet 과 같은 모델의 핵심인 심층 분리 합성곱 레이어를 효율적으로 처리하기 위해, 깊이별 합성곱 (Depthwise) 과 포인트별 합성곱 (Pointwise) 을 각각 KPU 와 FCU 로 매핑하여 리소스를 극대화합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 설계 패러다임: 스트림 아키텍처와 언롤드 아키텍처 사이의 간극을 메우는, 다양한 병렬화 수준을 지원하는 연속 흐름 CNN 설계 방법론을 제시했습니다.
2. 레이어별 연속 흐름 분석: 스트라이드와 패딩이 데이터 흐름에 미치는 영향을 수학적으로 분석하고, 이를 해결하기 위한 레이어 간 연결 및 간섭 기법을 제안했습니다.
3. 하드웨어 활용도 극대화: 데이터 레이트에 맞춰 하드웨어 유닛을 재구성하고 공유함으로써, 거의 100% 에 가까운 하드웨어 활용도를 달성했습니다.
4. 자동화 코드 생성기: 모델 파라미터를 기반으로 필요한 하드웨어 유닛 수, 구성 수, 데이터 폭 등을 자동으로 계산하고 FPGA 설계를 생성하는 도구를 개발했습니다.

4. 실험 결과 (Results)

• 리소스 절감:
  • 제안된 방법은 기존 완전히 병렬화된 구현에 비해 가산기 (Adder) 와 승산기 (Multiplier) 를 대폭 절감했습니다.
  • MobileNetV1 (α=0.25) 의 경우, 가산기와 승산기가 약 1/6 수준으로 줄어들었으며, ResNet18 과 같은 대형 모델에서는 수 배에서 수십 배의 리소스 절감 효과를 보였습니다.
  • 리소스 절감은 주로 멀티플렉서 (MUX) 와 ROM 을 사용하여 가중치를 전환하는 방식으로 대체되었습니다.
• 성능 (FPGA 합성 결과):
  • MobileNetV1: Xilinx XCVU37P FPGA 에서 6,944 FPS의 처리량을 달성했으며, 지연 시간은 0.37ms, 에너지 효율은 3.55 mJ/추론으로 기존 SOTA(FINN, [18] 등) 대비 우수한 성능을 보였습니다.
  • JSC 데이터셋 (Fully Parallel vs. Proposed): 다양한 데이터 레이트 (r0 = 16 ~ 1/16) 에서 실험한 결과, 제안된 방법은 낮은 데이터 레이트 환경에서도 리소스 효율성이 우수하여 파레토 프론티어 (Pareto Frontier) 를 확장했습니다.
  • 유연성: DSP 리소스를 사용하거나 LUT 만 사용하는 등, 애플리케이션 요구사항에 따라 처리량과 리소스 사용량을 유연하게 조절할 수 있습니다.

5. 의의 및 결론 (Significance)

• FPGA 상의 복잡한 CNN 구현 가능: 하드웨어 리소스를 효율적으로 사용하여, 단일 FPGA 에서도 MobileNet 과 같은 복잡한 CNN 모델을 높은 처리량으로 구현할 수 있게 되었습니다.
• 하드웨어 활용도 최적화: 데이터 레이트 변화로 인한 하드웨어 유휴 시간을 제거하여, 제한된 FPGA 리소스 내에서 최대의 성능을 끌어내는 새로운 접근법을 제시했습니다.
• 실시간 추론 가속: 낮은 지연 시간과 높은 처리량을 동시에 달성하여, 자율 주행, 객체 감지 등 실시간이 요구되는 애플리케이션에 적합합니다.

이 논문은 CNN 의 데이터 흐름 특성을 하드웨어 설계에 직접 반영함으로써, 기존 언롤드 아키텍처의 확장성 한계를 극복하고 FPGA 기반 딥러닝 가속기의 효율성을 획기적으로 높인 의의가 있습니다.