FPGA-Based Hardware Architecture for Contrast Maximization in Event-Based Vision

기술 요약: 대비 극대화(Contrast Maximization)를 위한 FPGA 기반 하드웨어 아키텍처

문제 정의
이벤트 기반 카메라(동적 비전 센서)는 전통적인 프레임 기반 센서와 비교하여 높은 시간 해상도, 낮은 지연 시간, 높은 동적 범위를 포함한 상당한 이점을 제공한다. 그러나 이들의 희소하고 비동기적인 데이터 스트림을 처리하는 것은 도전 과제를 안겨준다. 대비 극대화(Contrast Maximization, CM) 알고리즘은 이벤트 에지(edge)를 가장 잘 정렬하는 운동 파라미터를 찾기 위해 분산(variance)을 극대화하는 견고한 방법이다. 이 과정은 효과적이지만, 복잡한 워핑(warping), 이선형 투표(bilinear voting), 그리고 그래디언트(gradient) 계산을 포함하는 계산 집약적인 반복 최적화에 의존한다. 결과적으로, 기존의 CPU 및 GPU 구현은 높은 전력 소비와 지연 시간으로 인해, 특히 고속 저전력 임베디드 애플리케이션에서 진정한 실시간 성능을 달선하는 데 어려움을 겪는 경우가 많다.

방법론
저자들은 CM 알고리즘을 가속화하기 위해 FPGA(Field-Programmable Gate Array)에 구현된 전용 하드웨어 아키텍처를 제안한다. 방법론은 깊은 파이프라인 구조와 대규모 병렬 설계에 기반한다:

1. 이벤트 전처리 및 워핑: 입력 이벤트는 관심 영역(ROI)을 기준으로 필터링된다. 참조 시간($t_{ref}$)은 이벤트 배치의 중간값으로 계산된다. 그 후, 이벤트는 상수 이동 모델($v_x, v_y$)을 사용하여 참조 시간으로 워핑되며, 시간 차이($\Delta t$)에 따라 공간 좌표가 조정된다.
2. 이선형 투표 및 IWE 구축: 워핑된 이벤트가 이산적인 픽셀 위치 사이에 놓일 수 있다는 점을 처리하기 위해, 아키텍처는 이선형 투표 메커니즘을 채택한다. 각 이벤트는 소수점 좌표에 따라 네 개의 인접 픽셀에 가중치 값을 기여한다.
3. 병렬 누적: 높은 처리량을 지원하기 위해, 메모리 아키텍처는 12개의 BRAM(Block RAM) 뱅크를 활용한다. 이 뱅크들은 IWE와 속도($v_x, v_y$)에 대한 부분 도함수를 위한 기여치를 동시에 기록할 수 있도록 분할되어 있다. 연속된 클록 사이클 내에서 여러 이벤트가 동일한 메모리 주소를 대상으로 할 때 발생할 수 있는 쓰기 충돌를 해결하기 위해 레지스터 기반 버퍼가 구현되었다.
4. 그래디언트 계산 및 최적화: 시스템은 운동 파라미터에 대한 대비 함수(IWE의 분산)의 그래디언트를 계산한다. 이는 IWE와 그 도함수를 계산하고, 평균값을 빼고, 내적(dot product)을 수행하는 과정을 포함한다. 그래디언트 상승법(gradient ascent method)은 고정된 반복 횟수(실험에서는 100회) 동안 운동 파라미터($v_x, v_y$)를 반복적으로 업데이트한다.
5. ROI 업데이트: 최적화 루프가 수렴하면, 계산된 운동 파라미터는 다음 배치 이벤트의 ROI 좌표를 업데이트하는 데 사용되어 지속적인 객체 추적을 가능하게 한다.

주요 기여

• 최초의 하드웨어 구현: 본 논문은 FPGA 플랫폼에서 CM 알고리즘을 가속화하기 위해 특별히 설계된 최초의 하드웨어 아키텍처를 제시한다고 주장한다.
• 깊은 파이프라인 아키텍처: 이 설계는 FPGA의 결정론적 병렬성을 활용하여 워핑, IWE 생성, 그래디언트 계산 및 최적화 루프를 동시에 실행하는 완전히 최적화된 회로를 특징으로 한다.
• 하드웨어 인지 최적화: 저자들은 쓰기 충돌를 방지하기 위한 12-뱅크 메모리 체계와 전체 하드웨어 리셋 없이 BRAM을 비우기 위한 제로-라이트백(zero-write-back) 메커니즘을 포함한 구체적인 구현 전략을 상세히 설명한다.
• 검증: 아키텍처는 이벤트 기반 객체 추적 애플리케이션을 통해 검증되었으며, 수평 및 수직 속도 성분을 실시간으로 추정하는 능력을 입증하였다.

실험 결과
제안된 아키텍처는 Kria KV260 Vision AI Starter Kit (Zynq UltraScale+ MPSoC)에 구현되었으며, Intel Core i5-11300H CPU 및 Nvidia GeForce RTX 3050 Ti GPU에서 실행되는 Python 참조 모델과 비교되었다.

• 성능: 5,000개의 이벤트 배치(64×64 ROI, 100회 최적화 반복)에 대해, FPGA는 0.92 ms의 처리 시간을 달성했다. 이는 CPU(185.96 ms) 대비 200배 이상, GPU(473.51 ms) 대비 약 500배 빠른 속도이다.
• 자원 활용도: 설계는 FPGA의 가용 LUT(Look-Up Tables) 및 레지스터의 4% 미만을 사용하였다. BRAM 사용량은 17.7%, DSP 사용량은 12.1%로, 이는 아키텍처가 자원 효율적이며 더 큰 ROI나 더 복잡한 모델을 위한 여유 공간이 있음을 나타낸다.
• 전력 효율성: 시스템은 약 0.813 W의 온칩 전력을 소비하였으며, 이는 에너지 제약이 있는 임베디드 시스템에 대한 적합성을 강조한다.

의의 및 주장
저자들은 본 연구가 FPGA 자원을 사용하여 계산 집약적인 CM 알고리즘을 가속화하는 것이 가능하다는 것을 보여준다고 주장한다. 낮은 전력 소비를 유지하면서 CPU 구현보다 200배 이상 빠른 처리 속도를 달성함으로써, 제안된 아키텍처는 고속 저전력 임베디드 시스템에서의 실시간 운동 추정을 위한 견고한 토대를 제공한다. 논문은 현재의 설계가 중요한 진전이지만, 향후 연구는 동작 주파수 증대, 자원 소비 감소, 더 발전된 운동 모델 지원, 그리고 외부 메모리 통합을 통한 ROI 크기 확장에 집중할 수 있다고 결론짓는다.