⚡ electrical engineering

No Attention, No Problem: DPU-Aware Attention Approximation in Modern YOLO on FPGA

이 논문은 어텐션 메커니즘을 근사화하고 하드웨어 호환성을 위해 연산을 수정함으로써 현대적인 어텐션 기반 YOLO 변형 모델(YOLOv26 및 YOLOv11)을 AMD FPGA에 배포할 수 있도록 적응시키는 DPU 인지형 아키텍처를 제안하며, 이를 통해 6개의 벤치마크 데이터셋 전반에서 단 5%의 정확도 손실만으로 최대 3배 낮은 전력 소비와 높은 처리량을 달성한다.

원저자: Suraj Karki, Qazi Arbab Ahmed, Thorsten Jungeblut

게시일 2026-07-16

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Suraj Karki, Qazi Arbab Ahmed, Thorsten Jungeblut

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 세상을 보는 법을 가르치고 있다고 상상해 보세요. 당신은 로봇이 고양이, 자동차, 또는 사람을 똑바로 서 있든 이상한 각도로 기울어져 있든 즉각적으로 찾아내기를 원합니다. 이것이 바로 컴퓨터에게 이미지와 영상을 이해하게 해주는 초능력인 '객체 탐지(object detection)'의 역할입니다. 하지만 여기 문제가 있습니다. 이 로봇을 거대하고 전력을 많이 소비하는 서버 팜에 연결하고 싶지는 않을 것입니다. 대신 드론이나 보안 카메라처럼 사건이 일어나는 바로 그 현장에 있는 작은 배터리 구동 장치에서 실행되기를 원합니다. 이것을 '엣지 컴퓨팅(edge computing)'이라고 부릅니다. 이를 가능하게 하기 위해 엔지니어들은 FPGA라고 불리는 특수한 칩을 사용합니다. FPGA를 고정된 두뇌가 아니라, 당신이 원하는 어떤 모양으로든 조립할 수 있는 논리 게이트의 레고 세트라고 생각하세요. 이는 믿을 수 없을 정도로 빠르고 에너지 효율적입니다. 큰 과제는 무엇일까요? 가장 똑똑하고 현대적인 '두뇌'(AI 모델)들은 종종 이 작고 맞춤 제작된 레고 두뇌에 비해 너무 복잡합니다. 그들은 레고 세트가 할 줄 모르는 화려한 수학적 기교들을 사용하며, 이로 인해 로봇은 속도가 느려져 더 크고 느린 컴퓨터에 도움을 요청해야만 합니다.

이 논문은 최신 기술이 집약된 가장 똑똑한 객체 탐지 AI 모델들이 지능을 잃지 않으면서도, 이 작은 맞춤형 레고 칩 위에서 매끄럽게 실행되도록 만드는 영리한 해킹 기법에 관한 것입니다. 연구진은 YOLOv26과 YOLOv11이라는 이름의 최신 최고 수준 AI 모델 두 가지를 가져와 'DPU 인지형(DPU-aware)'으로 탈바꿈시켰습니다. DPU는 이 칩들에 내장된 특정 유형의 하드웨어 가속기로, 엄격한 규칙을 가지고 있습니다. 즉, 데이터를 이상한 방식으로 '분할'하거나 특정 활성화 함수를 사용하는 것과 같은 특정 화려한 수학 연산을 수행할 수 없다는 것입니다. 저자들은 만약 모델을 있는 그대로 실행하려고 한다면, 칩이 막히게 되고 로봇이 느려질 것이라는 점을 깨달았습니다. 그래서 그들은 번역 계층을 구축했습니다. 그들은 금지된 수학적 기교들을 칩이 좋아하는 승인된 더 단순한 버전들로 교체했습니다. 예를 들어, AI가 이미지의 중요한 부분에 집중하도록 돕는 복잡한 '공간 주의(spatial attention)' 메커니즘을 표준 빌딩 블록을 사용하는 더 단순한 근사치로 교체했습니다. 또한 지원되지 않는 활성화 함수들을 칩이 인식할 수 있는 것들로 교체했습니다.

팀은 표준적인 거리 장면부터 물체가 회전되어 있는 항공 사진에 이르는 다양한 데이터셋을 사용하여 Xilinx ZCU104라는 실제 칩에서 수정된 모델들을 테스트했습니다. 그들은 모든 것을 측정했습니다: 로봇이 사물을 포착하는 속도(초당 프레임 수), 전력 소비량, 그리고 정확도가 얼마나 유지되는지를 말입니다. 결과는 유망했습니다. 이러한 구체적인 구조적 조정을 통해, 그들은 표준 탐지의 경우 최대 34.05 fps, 회전된 물체 탐지의 경우 29.55 fps라는 인상적인 속도로 모델을 실행할 수 있었습니다. 이는 자율 주행이나 드론 내비게이션과 같은 실시간 애플리케이션에 충분한 속도입니다. 하지만 작은 대가가 따랐습니다: 강력한 컴퓨터에서 실행할 때와 비교하여 정확도가 약 5% 하락했는데, 이는 저자들이 복잡한 AI를 작은 하드웨어에 억지로 밀어 넣을 때 흔히 발생하는 트레이드오프라고 언급한 부분입니다. 또한 그들은 더 강력한 구성을 사용할수록 칩 자체는 빨라졌지만, 결과를 정리하는 마지막 단계(포스트 프로세싱이라 불리는)가 병목 현상이 되어 전체적인 속도를 늦춘다는 점도 발견했습니다. 궁극적으로, 이 논문은 적절한 맞춤형 수정을 거친다면 가장 현대적인 AI 모델이라 할지라도 엣지 디바이스에 효율적으로 배치될 수 있으며, 속도, 전력, 정확도 사이의 최적의 접점을 제공할 수 있음을 시사합니다.

기술 요약: 어텐션 없이도 문제없다: 현대적 YOLO의 FPGA 상에서의 DPU 인식형 어텐션 근사화

문제 정의
에지 기반 인공지능(AI)은 특히 실시간 객체 탐지를 위해 정확도, 속도, 전력 효율성 사이의 정교한 균형을 필요로 한다. FPGA(Field-Programmable Gate Arrays)는 재구성 가능한 하드웨어를 통해 고성능과 저전력을 제공하지만, 최첨단(SOTA) 객체 탐지 모델을 FPGA SoC(System-on-Chip)에 배포하는 것은 상당한 과제를 안겨준다. 구체적으로, 현대적인 YOLO 변체(YOLOv11 및 YOLOv26 등)는 공간 어텐션 메커니즘, 특정 활성화 함수(예: SiLU), 분할(split) 연산과 같이 AMD Xilinx DPUCZDX8G와 같은 상용 딥러닝 프로세서 유닛(DPU)에서 네이티브로 지원되지 않는 복잡한 구성 요소를 활용한다. 이러한 미지원 연산자가 발견되면 실행이 CPU로 폴백(fallback)되어 하드웨어 가속의 효율성 이점을 상쇄하는 병목 현상을 초래한다. 또한, 기존 문헌은 주로 초기 버전의 YOLO나 표준 수평 바운딩 박스에 집중해 왔으며, 현대적인 어텐션 기반 아키텍처와 회전된 객체 탐지(OBB)는 FPGA 배포 관점에서 충분히 탐구되지 않았다.

방법론
저자들은 Vitis AI 툴체인을 사용하여 AMD Xilinx ZCU104 FPGA SoC에 현대적인 어텐션 기반 YOLO 모델을 적응시키기 위한 체계적인 프레임워크를 제안한다. 이 방법론은 네 가지 주요 단계로 구성된다:

데이터셋 준비: 본 연구는 표준(수평) 및 회전된 객체 탐지를 모두 아우르는 6개의 벤치마크 데이터셋을 활용한다: 표준 작업용으로는 COCO, Pascal VOC, KITTI를; 회전된 작업을 위해서는 DOTA와 DIOR-R을; 그리고 자체 구축한 인간 존재 여부 데이터셋을 사용한다.
DPU 인식형 아키텍처 적응: DPU에서 전체 실행을 보장하기 위해, 저자들은 미지원 구성 요소를 교체하여 모델 아키텍처(YOLOv8, YOLOv11, YOLOv26 및 OBB 변체 포함)를 수정한다:
- 활성화 함수: 미지원되는 SiLU(Sigmoid Linear Unit)를 ReLU(Rectified Linear Unit)로 교체한다.
- 분할 연산: 특징 융합 블록(예: C2f) 내의 미지원 분할 연산을 동등한 $1 \times 1$ 컨볼루션 연산으로 대체한다. 이때 가중치는 채널 분할 동작을 재현하기 위해 이진 선택 행렬로 초기화된다.
- 어텐션 메커니즘 근사화: Reshape, Transpose, 행렬 곱셈, Softmax와 같은 미지원 연산에 의존하는 복잡한 공간 어텐션 모듈(예: YOLOv11의 C2f)을 근사화한다. 저자들은 Query, Key, Value 특징을 추출하기 위해 병렬 $1 \times 1$ 컨볼루션을 사용하고, 스케일링된 요소별 곱을 통해 어텐션 가중치를 근사하며, Softmax를 Hard-Sigmoid로 대체하고, $1 \times 1$ 컨볼루션을 통해 결과를 다시 투영하는 DPU 호환 버전을 제안한다.
학습 및 양자화: 모델은 혼합 정밀도(FP16)를 사용하여 Ultralytics 라이브러리로 학습된다. DPU 배포를 위한 필수 단계인 32비트 부동 소수점에서 8비트 정수 표현으로의 변환을 위해 사후 학습 양자화(PTQ)가 적용된다.
컴파일 및 배포: 양자화된 모델은 8개의 서로 다른 DPUCZDX8G IP 코어 구성(B512 ~ B4096)을 대상으로 Vitis AI 컴파일러를 통해 컴파일된다. 하드웨어 설계는 Vivado와 Vitis를 사용하여 재구축되며, 이를 통해 ZCU104를 위한 비트스트림과 배포 이미지가 생성된다.

주요 기여
본 논문은 네 가지 주요 기여를 한다:

맞춤형 아키텍처: 상용 FPGA SoC에 현대적인 어텐션 기반 YOLO 변체(v11, v26)를 배포할 수 있게 하는 DPU 인식형 어텐션 근사 아키텍처를 제시한다.
포괄적 벤치마킹: 최첨단 데이터셋을 사용하여 표준 및 회전된 객체 탐지 작업 모두에 대해 이러한 모델의 엔드 투 엔드 성능 평가를 제공한다.
아키텍처 분석: 8가지 DPUCZDX8G IP 코어 구성 전반에 걸친 성능(지연 시간, FPS, 전력, 자원 활용도)에 대한 상세한 분석을 제공한다.
정량적 기준선: Vitis AI 툴체인을 사용하여 표준 및 회전된 바운딩 박스 탐지 모델을 FPGA SoC에 배포하기 위한 정량적 기준선을 확립한다.

결과
연구는 모든 데이터셋과 DPU 구성에 대해 수정된 모델을 평가한다:

정확도: 아키텍처 수정(SiLU 교체, 어텐션 근사화)으로 인해 원본 FP32 모델 대비 mAP@0.5:0.95에서 약 3%의 평균 절대 감소가 발생했다. 이후 FPGA 배포(8비트 양자화 포함) 과정에서 CPU 실행 대비 약 7%의 추가적인 평균 감소가 발생하여, 최종 배포 시스템의 총 정확도 저하는 약 5%로 나타났다.
성능: YOLOv26n 및 YOLOv26n-OBB가 가장 높은 엔드 투 엔드 처리량을 달enc했다. 가장 큰 DPU 구성(B4096)에서 이들은 표준 탐지 시 34.05 FPS, 회전된 탐지 시 29.55 FPS를 달성했다.
지연 시간 및 병목 현상: DPA 아키텍처가 B512에서 B4096으로 확장됨에 따라 DPU 특정 FPS는 증가하고 지연 시간은 감소했지만, DPU 성능과 엔드 투 엔드 성능 사이에는 상당한 격차가 존재했다. 저자들은 후처리(특히 Non-Maximum Suppression 또는 NMS)가 단일 CPU 코어에서 실행되어 전체 처리량을 제한하는 결정적인 병목 현상임을 확인했다.
효율성: B4096 구성은 최대 8.760 W를 소비하며, 이는 B512 구성(4.792 W)보다 83% 증가한 수치이다. 그럼에도 불구하고, 저자들은 이 솔루션이 최첨단 대안들보다 약 3배 낮은 전력 소비를 달성한다고 주장한다.

의의
본 논문은 하드웨어 불호환성으로 인해 어려움을 겪었던 최신 어텐션 기반 YOLO 아키텍처를 FPGA에 배포할 수 있게 함으로써 기존 문헌의 공백을 메운다고 주장한다. 모델을 체계적으로 적응시키고 다양한 데이터셋 및 DPU 구성에 걸쳐 벤치마킹함으로써, 이 연구는 에지 AI 개발자들에게 실질적인 로드맵을 제공한다. 결과는 정확도의 트레이드오프(약 5%)가 양자화 및 하드웨어 적응을 위해 필요하지만, 이 접근 방식이 전력 효율성과 실시간 처리량 측면에서 상당한 이득을 제공하여 자율 주행, 드론 내비게이션, 감시와 같은 응용 분야에 적합함을 입증한다. 저자들은 향후 연구가 NMS 의존성을 제거하여 후처리 병목 현상을 완화하고 엔드 투 엔드 성능을 더욱 개선하는 데 집중할 것임을 언급하며 마무리한다.

유사한 논문