💻 computer science

Energy-Efficient CNN Acceleration with MSDF Digit-Serial Arithmetic on FPGA

이 논문은 U-Net 컨볼루션 레이어의 지연 병목 현상을 극복하기 위해 FPGA 상에서 MSDF 자릿수-직렬(digit-serial) 산술을 사용하는 병합 곱셈-누산(MMA) 구조를 제안하며, 이를 통해 기존 구현 대비 최대 15.14 GOPS/W의 에너지 효율과 9배의 전력 소비 감소를 달성한다.

원저자: Muhammad Usman, Yousef Sadegheih, Dorit Merhof

게시일 2026-06-25

📖 3 분 읽기☕ 가벼운 읽기

CC0 1.0

원저자: Muhammad Usman, Yousef Sadegheih, Dorit Merhof

원본 논문은 CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/)에 따라 공공 도메인에 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 거대한 퍼즐을 풀려고 노력하고 있다고 상상해 보세요. 하지만 전체 그림을 한 번에 보는 대신, 가장 중요한 조각부터 덜 중요한 조각 순으로 아주 작은 조각 하나하나를 쌓아 올려야 합니다. 이것은 컴퓨터가 U-Net이라고 불리는 시스템을 사용하여 종양을 찾기 위해 의료 영상을 처리할 때 수행하는 작업과 본질적으로 같습니다.

이 논문은 이 퍼즐 풀기 작업을 수행하는 "엔진"을 만드는 매우 효율적인 새로운 방법을 소개하며, 이는 특히 FPGA(전자 부품의 레고 세트처럼 재프로그래밍 가능한 칩)라는 유형의 컴퓨터 칩을 위해 설계되었습니다.

다음은 이들의 발명품을 쉬운 비유를 사용하여 정리한 내용입니다.

문제점: "대기실" 병목 현상

전통적으로 이러한 칩이 수학 연산(숫자 곱셈 및 덧셈)을 할 때는 MSDF(최상위 자릿수 우선) 방식을 사용합니다. 이것은 마치 가장 중요한 역에만 먼저 정차하는 고속 열차와 같습니다.

좋은 점: 매우 컴팩트하여 공간을 절약합니다.
나쁜 점: 시작 부분에 긴 "대기실"이 있습니다. 첫 번째 승객(답의 첫 번째 자릿수)을 내려주기 전에 몇 번의 사이클 동안 그곳에 머물러 있어야 합니다.
악화되는 문제: 복잡한 계산에서는 보통 숫자를 곱한 다음 그것들을 더해야 합니다. 기존 설계에서는 곱셈을 위한 "대기실"이 있고, 그 후에 덧셈을 위한 또 다른 "대기실"이 있었습니다. 이들을 서로 연결하면 지연 시간이 쌓여 전체 프로세스가 느려집니다.

해결책: "병합된" 조립 라인

저자들은 MMA(Merged Multiply-Add)라고 불리는 새로운 기계를 만들었습니다.

비유: 공장을 상상해 보세요. 기존 방식에서는 "곱셈 스테이션"에서 작업자들이 줄을 서서 기다렸다가 임무를 마친 후, 별도의 "덧셈 스테이션"으로 걸어가서 거기서 다시 줄을 서서 기다려야 했습니다.
혁신: 저자들은 이 두 스테이션을 하나의 거대하고 유선형인 조립 라인으로 합쳤습니다. 이제 곱셈과 덧셈은 하나의 연속적인 흐름 속에서 일어납니다.
결과: 데이터를 두 개의 별도 줄에서 기다리는 대신, 하나의 짧은 줄에서 기다리게 됩니다. 이를 통해 모든 것을 느리게 만들었던 "시작 지연 시간"을 제거했습니다.

실제 적용 방식

U-Net 아키텍처(MRI 스캔에서 뇌종양을 포착하는 데 사용됨)는 한 번에 3x3 픽셀 격면을 살펴봐야 합니다.

기존 방식: 픽셀을 하나씩 또는 작고 투박한 그룹으로 처리할 수 있습니다.
새로운 방식: 저자들은 16개의 병렬 조립 라인(커널 프로세싱 블록이라고 불림)을 구축했습니다. 16개의 팀이 정확히 동시에 퍼즐의 서로 다른 부분들을 해결하는 모습을 상상해 보세요. 그들의 "병합된" 기계는 매우 효율적이기 때문에, 지연에 막히지 않고 16개의 출력 픽셀을 동시에 처리할 수 있습니다.

결과: 속도 대 에너지

이 논문은 새로운 칩을 표준 컴퓨터(CPU), 강력한 그래픽 카드(GPU) 및 다른 FPGA 설계와 비교합니다.

CPU: 매우 똑똑하고 범용적인 사서와 같습니다. 정확하지만, 무거운 작업을 수행할 때 속도가 느리고 전기를 많이 사용합니다.
GPU: 거대한 노동자 군단과 같습니다. 믿을 수 없을 정도로 빠르지만, 엄청난 양의 전력을 소비합니다(마치 경기장의 조명처럼).
새로운 FPGA 설계: 매우 전문화되고 에너지 효율적인 로봇 팀과 같습니다.
- 속도: GPU만큼 빠르지는 않지만, CPU 및 다른 FPGA 설계보다 훨씬 빠릅니다.
- 에너지: 이것이 핵심적인 승리입니다. 이 새로운 설계는 CPU보다 7배 더 에너지 효율적이며, GPU보다 2.7배 더 좋습니다.
- 결론: 이 시스템은 CPU의 1.9 단위와 비교하여 에너지 단위당 약 15 단위의 작업을 수행합니다.

이 기술이 중요한 이유 (논문에 따르면)

저자들은 이것이 엣지 애플리케이션(edge applications)—배터리로 작동하거나 전력이 제한된 곳, 예를 들어 휴대용 의료 진단 도구와 같은 장치에 완벽하다고 강조합니다. 수학 연산을 병합하고 이를 병렬로 실행함으로써, 그들은 유용할 만큼 빠르면서도 작은 장치의 배터리를 소모하거나 과열하지 않을 만큼 효율적인 시스템을 만들었습니다.

요약하자면: 그들은 단계 사이에 "대기 시간"이 많았던 수학 프로세스를 가져와서, 이 단계들을 하나의 매끄러운 동작으로 결합하고, 이를 16개씩 동시에 실행했습니다. 그 결과, 현재 우리가 사용하는 것보다 훨씬 더 친환경적이고 효율적인 의료 영상 가속기를 만들어냈습니다.

기술 요약: FPGA 상의 MSDF Digit-Serial 산술을 이용한 에너지 효율적 CNN 가속화

문제 정의

U-Net 아키텍처를 이용한 정확한 뇌종양 분할은 의료 영상 분야에서 매우 중요하지만, 계산 집약적입니다. 표준 CPU 및 GPU에서 U-Net을 구현하는 것은 상당한 에너지와 자원을 소비하며, 이는 전력 효율이 최우선인 임베디드 및 엣지 배포에 어려움을 초래합니다. 필드 프로그래머블 게이트 어레이(FPGA)는 유망한 가속 플랫폼을 제공하지만, 기존의 digit-serial 산술 방식, 특히 최상위 비트 우선(Most-Significant-Digit-First, MSDF) 방식은 특정 병목 현상에 직면해 있습니다: 바로 **초기 지연 시간(initial latency)**입니다.

전통적인 MSDF 구현에서는 내적(inner product) 계산이 곱셈기 뒤에 가산 트리(adder tree)가 결합된 계단식 구조를 통해 수행됩니다. 각 단계(곱셈기 및 각 가산 트리 레벨)는 고정된 시작 지연 시간( $\delta$ )을 도입합니다. 계단식 연산에서는 이러한 지연 시간이 누적되어, 첫 번째 출력 비트가 생성되기 전까지의 총 지연 시간을 크게 증가시킵니다. 이러한 오버헤드는 특히 컨볼루션 레이어와 같이 내적 연산이 지배적인 경우, digit-serial 프로세싱의 처리량 잠재력을 저해합니다.

방법론

저자들은 계단식 구성 요소의 누적 지연을 제거하기 위해 곱셈과 덧셈을 하나의 병합 곱셈-가산(Merged Multiply-Add, MMA) 유닛으로 융합하는 새로운 하드웨어 아키텍처를 제안합니다.

핵심 아키텍처

병합 곱셈-가산 (MMA) 유닛:
- 별도의 곱셈 단계와 가산 단계를 두는 대신, MMA 유닛은 통합된 파이프라인 내에서 비트 단위 곱셈과 누산을 동시에 수행합니다.
- 동작: 이 유닛은 32개의 입력 채널( $T_N = 32$ )을 병렬로 처리합니다. 8비트 양자화된 활성화 값(MSDF 방식으로 직렬 스트리밍됨)과 병렬 8비트 가중치를 입력으로 받습니다.
- 로직: 각 클록 사이클마다, 32개 채널의 $b$ -번째 비트는 해당 8비트 가중치와 AND 연산됩니다. 생성된 부분 곱(partial products)은 캐리 전파 가산기(carry-propagate adder) 트리를 사용하여 즉시 누산됩니다.
- 잔여 처리(Residual Handling): digit-serial 계산을 지원하기 위해, "잔여값"(부분 합의 하위 비트)은 다음 사이클로 전달됩니다. 가산 트리는 $T_N + 1$ 개의 입력(32개의 부분 곱 + 1개의 잔여값)을 수용하며, $\lceil \log_2(33) \rceil$ 개의 단계를 가집니다.
- 중복 수 체계(Redundant Number System): 설계에는 radix-2 및 숫자 집합 $\{1, 0, -1\}$ 을 사용하는 부호 있는 디지털(Signed Digit, SD) 중복 수 체계가 적용되었습니다. 이를 통해 알고리즘은 초기 출력 비트가 잠정적일 경우 이후 사이클에서 결과를 수정할 수 있는 유연성을 확보하며, 이는 전체 정밀도를 매 단계 유지할 필요 없이 MSDF 산술을 수행할 수 있게 합니다. 저자들은 부호 처리를 단순화하기 위해 음수 비트 인코딩(Inverted Encoding of Negabit, IEN)을 활용합니다.
시스템 레벨 구성:
- 커널 프로세싱 블록 (KPB): $3 \times 3$ 컨볼루션 커널은 9개의 MMA 유닛(각 공간 위치당 하나씩) 그룹을 사용하여 구현됩니다. 이 9개 유닛의 출력은 MSDF 가산 트리를 통해 합산되어 단일 출력 픽셀에 대한 하나의 부분 합을 생성합니다.
- 병렬성: 시스템은 16개의 병렬 KPB를 인스턴스화하여, 클록 그룹당 16개의 출력 픽셀을 동시에 계산할 수 있도록 합니다.
- 대상 애플리케이션: 본 설계는 $3 \times 3$ 커널 및 채널 수가 32의 배수인 컨볼루션 레이어를 타겟으로 하여 U-Net 아키텍처에 최적화되었습니다.

주요 기여

본 논문은 네 가지 주요 기여를 설명합니다:

새로운 MMA 아키텍처: 곱셈과 가산의 digit-serial 과정을 단일 파이프라인으로 결합하여, 별도의 곱셈기와 가산 트리 간의 지연을 제거함으로써 회당 반복 지연을 줄이는 융합형 곱셈-가산 유닛을 제안합니다.
병렬 공간 처리: MMA 유닛이 여러 공간적 입력 깊이를 병렬로 처리하는 아키텍처를 통해 컨볼루션 연산의 처리량을 크게 향상시킵니다.
에너지 효율적 FPGA 구현: U-Net 컨볼루션 레이어를 위해 구현된 완전한 FPGA 가속기로서, 자원이 제한된 엣지 애플리케이션에 대한 적용 가능성을 입증합니다.
포괄적 평가: 지연 시간, 처리량, 면적 및 에너지 효율 측면에 대해 비트-병렬(bit-parallel), 비트-직렬(bit-serial), 기존 MSDF, GPU 및 CPU 구현과 비교 분석을 수행합니다.

결과

제안된 설계는 Verilog RTL을 사용하여 Xilinx Zynq-7020 SoC에 구현되었으며, 고정 소수점 추론을 위해 양자화된 U-Net 모델을 대상으로 평가되었습니다. 가속기는 100 MHz에서 동작합니다.

처리량 (Throughput): 본 설계는 52.95 GOPS를 달성했습니다. 이는 기존 비트-병렬 설계보다 $1.07\times$ , 비트-직렬 설계보다 $4.36\times$ , 그리고 현대적인 MSDF 기반 가속기보다 $2.52\times$ 향상된 수치입니다. GPU는 더 높은 절대적 처리량(385.99 GOPS)을 달성했지만, 이는 훨씬 더 높은 전력 비용을 수반했습니다.
에너지 효율 (Energy Efficiency): 가속기는 15.14 GOPS/W를 제공합니다. 이는 다음과 같습니다:
- GPU(5.51 GOPS/W)보다 $2.7\times$ 우수함.
- CPU(1.93 GOPS/W)보다 $7.8\times$ 우수함.
- MSDF 기반 FPGA 구현(3.01 GOPS/W)보다 $5.0\times$ 우수함.
에너지 소비 (Energy Consumption): 연산 배치당 소비되는 에너지는 186.20 mJ로, GPU보다 $3.8\times$ , CPU보다 $10.8\times$ 낮습니다.
면적 효율 (Area Efficiency): 본 설계는 17.43 GOPS/Slice( $10^{-4}$ 스케일링 적용)를 달성하였으며, 이는 비트-병렬 설계보다 $1.65\times$ 높고 MSDF 기반 가속기보다 거의 $6.7\times$ 높습니다.

의의 및 주장

본 논문은 병합 곱셈-가산 (MMA) 방식이 계단식 MSDF 산술에 내재된 초기 지연 시간 병목 현상을 효과적으로 해결한다고 주장합니다. 연산을 융합함으로써, 본 설계는 개별 유닛들의 결합된 지연 시간보다 짧은 스트림라인 지연 시간을 달 수 있습니다.

저자들은 본 연구를 자원이 제한되고 지연 시간에 민민감한 엣지 애플리케이션, 특히 의료 영상(뇌종양 분할) 및 컴퓨터 비전을 위한 솔루션으로 포지셔닝합니다. 결과에 따르면, 이 가속기는 CPU보다 낮은 주파수에서 동작하지만, 아키텍처의 효율성 덕분에 에너지 효율 면에서 수 차수의 개선을 보여줍니다. 저자들은 이 접근 방식이 에너지 제약이 중요한 임베디드 시스템에서 전력 소모가 큰 GPU/CPU 추론을 대체할 수 있는 실행 가능한 대안임을 결론짓습니다.

저자들이 완곡하게 언급한 향과 연구 과제로는 불필요한 연산을 건너뛰기 위한 조기 종료(early termination) 메커니즘의 추가와 더 복잡한 CNN을 지원하기 위한 타일(tile) 규모 확장 등이 있습니다.