Hardware-aware Graph Neural Networks prunning for embedded event-based vision

기술 요약: 임베디드 이벤트 기반 비전을 위한 하드웨어 인지형 그래프 신경망 프루닝

문제 정의

모바일 로보틱스 및 자율 시스템은 동적인 환경에서 높은 성능을 발휘하는 동시에 지연 시간(latency), 처리량(throughput), 에너지 소비에 대한 엄격한 제약을 준수할 수 있는 비전 센서를 필요로 합니다. 이벤트 기반 카메라(동적 비전 센서 또는 DVS)는 마이크로초 단위의 해상도, 낮은 지연 시간, 높은 동적 범위를 갖추어 장면의 변화를 비동기적으로 포착함으로써 이러한 요구 사항을 해결합니다. 그러나 결과로 발생하는 희소한 시계열 데이터를 임베디드 플랫폼에서 효율적으로 처리하는 것은 여전히 큰 과제로 남아 있습니다.

스파이킹 신경망(SNN)은 시간적 희소성(temporal sparsity)을 보존하지만, 종종 정확도가 낮고 비 뉴로모픽 플랫폼에서의 하드웨어 가속에 어려움을 겪는데, 이는 비결정론적인 메모리 액세스 패턴 때문입니다. 반면, 이벤트를 그래프 노드로 취급하는 그래프 합성곱 신경망(GCNN)은 높은 정확도를 제공하며 하드웨어 가속에 적합합니다. 그러나 리소스가 제한된 임베디드 이종 FPGA 플랫폼에 GCNN을 배포하는 것은 레이어 간 특징 맵(feature maps)을 저장하기 위한 온칩 메모리(BlockRAM 및 UltraRAM)의 높은 점유율로 인해 저해됩니다. 외부 DRAM을 사용할 수 없는 경우(지연 시간 또는 에너지 제약 때문), 온칩 메모리가 주요 병목 현상이 되어 더 크고 정확한 모델의 배포를 제한하게 됩니다.

방법론

저자들은 이벤트 기반 FPGA 가속 그래프 합성곱 네트워크(EFGCN) 아키텍처를 위해 특별히 설계된 하드웨어 인지형 최적화 전략을 제안합니다. 핵심 목표는 내부 FPGA 메모리 리소스(특히 36kb 듀얼 포트 BlockRAM 및 288kb UltraRAM)의 사용량을 최소화하면서 높은 분류 정확도를 유지하는 것입니다.

이 방법론은 두 가지 주요 기술을 통합합니다:

1. 구조적 프루닝(Structured Pruning): 비구조적 프루닝과 달리, 이 방식은 가중치 행렬 내의 위치를 기준으로 전체 채널(출력 특징 맵)을 제거합니다. 채널 선택은 대상 FPGA 메모리 블록의 수학적 특성에 의해 제약됩니다. 저자들은 특정 양자화 정밀도($q$)가 주어졌을 때 BRAM 및 URAM 블록의 완전한 활용을 보장하는 유효한 채널 수($C$)의 특정 패밀리를 도출합니다. 이는 메모리 파편화를 방지하고 효율적인 리소스 패킹을 보장합니다.
2. 양자화(Quantization): 이 방법은 메모리에 저장되는 특징 벡터와 에지 정보의 정밀도를 낮춥니다. 비트 폭($q$)을 낮춤으로써 메모리당 필요한 채널의 메모리 너비가 줄어들어, 동일한 메모리 풋프린트 내에서 총 메모리 사용량을 줄이거나 채널 용량을 늘릴 수 있습니다.

방대한 설계 공간(최소 $7.8 \times 10^6$개의 가능한 구성)을 탐색하기 위해 저자들은 2단계 탐색 절차를 사용합니다:

• 미세 격자 탐색 (Fine Grid Search, FG): 베이스라인 구성(최대 채널, 8비트 양자화)에서 시작하여, 알고리즘은 레이어와 양자화 레벨을 따라 하향 탐색을 수행합니다. 알고리っと는 분류 품질과 리소스 사용량 사이의 균형을 맞추는 파레토 프런티어(Pareto frontier)를 기반으로 구성을 평가하여 유망한 솔리션의 부분 집합을 식별합니다.
• 탐욕적 레이어별 반복 심화 탐색 (Greedy Layer-wise Iterative Deepening Search, GLID): 이 단계는 선택된 구성을 더욱 정교화합니다. 레이어별로 리소스 사용량을 반복적으로 줄이며, 가장 적은 리소스 비용으로 최상의 품질 점수를 제공하는 수정 사항(프루닝 또는 양자화 단계)을 선택합니다. 이 과정은 정확도 저하가 사전 정의된 임계값을 초과할 때 종료됩니다.

탐색 후, 선택된 모델은 정확도 손실을 회복하기 위해 낮은 학습률을 이용한 미세 조정(fine-tuning) 단계를 거칩니다.

주요 기여

본 논문은 다음과 같은 주요 기여를 주장합니다:

• 이벤트 GCNN을 위한 최초의 하드웨어 인지형 전략: 저자들은 이벤트 기반 비전 및 그래프 합성곱 신경망을 위해 하드웨어 인지형 프루닝과 양자화를 결합한 최초의 방법을 제시합니다.
• 유연한 아키텍처 적응: 제안된 방법은 타겟 임베디드 플랫폼의 특정 리소스 제약 및 정확도 요구 사항에 따라 최종 모델 구성을 유연하게 선택할 수 있게 합니다.
• 검증된 성능: 제안된 방식은 여러 데이터셋과 네트워크 구성에 대해 평가되었으며, 제어된 정확도 저하(1.65%5.18%)와 함께 상당한 BRAM 사용량 감소(26.5%31.4%)를 입증했습니다.
• 하드웨어 개념 증명(Proof-of-Concept): ZCU104 이종 FPGA 플랫폼에서 하드웨어 모듈을 개발하고 검증하여, 실제 구현 환경에서 프루닝 전략의 효과를 확인했습니다.

실험 결과

방법론은 세 가지 뉴로모픽 데이터셋인 MNIST-DVS, CIFAR-10-DVS, N-Caltech101을 사용하여 평가되었습니다. 실험에는 5개의 합성곱 레이어를 가진 베이스라인 EFGCN 모델이 사용되었습니다.

• 메모리 감소: 최적화 전략은 CIFAR-10에서 28.8%(정확도 1.65% 하락), MNIST-DVS에서 31.4%(정확도 3.55% 하락), N-Caltech101에서 26.5%(정확도 5.18% 하락)의 BRAM 감소를 달성했습니다.
• 하드웨어 구현: ZCU104 플랫폼에서 MNIST-DVS를 위한 최종 최적화 모델은 베이스라인 대비 총 BRAM 사용량이 30.6% 감소했습니다. 또한, 로직 리소스 사용량(LUT 및 Flip-Flop)은 각각 약 34%와 29% 감소했습니다. 주목할 점은, 합성 도구가 특정 6비트 곱셈을 DSP 블록에 매핑함에 따라 DSP 사용량이 54% 증가했다는 것이지만, 전반적인 메모리 절감이 주요 목표였습니다.
• 탐색 효율성: 2단계 탐색(FG 후 GLID)은 복잡한 진화 알고리즘을 사용하거나 전체 설계 공간을 전수 조사하는 데 드는 계산 비용 없이 고품질의 구성을 찾는 데 효과적임을 입증했습니다 (저자들은 예비 테스트에서 진화 알고리즘이 수렴에 실패했음을 언급했습니다).

의의 및 주장

본 논문은 이 연구를 효율적인 자율 이동 로보틱스를 가능하게 하는 중요한 단계로 규정합니다. FPGA 기반 GCNN 구현에 내재된 메모리 병목 현상을 해결함으로써, 저자들은 외부 메모리에 의존하지 않고도(이는 수용 불가능한 지연 시간과 전력 오버헤드를 초래할 수 있음) 복잡한 이벤트 기반 비전 모델을 임베디드 시스템에 배포할 수 있게 합니다.

저자들은 자신의 기여를 이 특정 교차점(이벤트 기반 GCNN을 위한 하드웨어 인지형 프루닝)에 대한 "첫 번째 탐색"으로 겸손하게 표현합니다. 그들은 이 방법이 정확도와 리소스 사용량 사이의 트레이드오프를 허용하여, 시스템 설계자가 특정 하드웨어 제약에 맞춰 모델을 조정할 수 있는 도구를 제공한다는 점을 강조합니다. 이 연구는 이벤트 기반 비전의 모든 문제를 해결한다고 주장하는 것이 아니라, 특히 임베디드 이종 플랫폼을 위한 EFGCN 아키텍처의 최적화를 목표로 하며, 드론 및 기타 모바일 로봇에 고성능, 저지연 비전 시스템을 배포하기 위한 실질적인 경로를 제공합니다.