DeVIT: Low-Power Vision Transformer Acceleration Using Delta Computation

기술 요약: DeVIT – 델타 연산을 이용한 저전력 비전 트랜스포머 가속화

문제 정의
비전 트랜스포머(ViTs)는 셀프 어텐션(self-attention)을 활용하여 장거리 의존성을 모델링함으로써 컴퓨터 비전 분야에서 최첨단 성능을 달ей 성취했습니다. 그러나 자원이 제한된 장치에 이를 배포하는 것은 상당한 계산 및 메모리 요구 사항으로 인해 어려움을 겪고 있습니다. 합성곱 신경망(CNN)과 달리, ViT는 셀프 어텐션의 시퀀스 길이에 대해 이차 복잡도(quadratic complexity)를 가지며, 이는 막대한 곱셈-누산(MAC) 부하를 초래합니다. 예를 들어, ViT-B/16 모델은 단일 224×224 이미지에 대해 176억 개의 MAC을 필요로 하며, 이는 ResNet-50이 요구하는 41억 개의 MAC을 크게 상회합니다. 양자화(예: 8비트)는 모델 크기와 복잡성을 줄이는 표준적인 방법이지만, 이는 **값의 지역성(value locality)**이라는 부차적인 특성을 도입합니다. 저비트 양자화된 행렬에서는 가중치가 제한된 범위의 이산적인 값들로 제한되므로, 행 내의 많은 가중치가 동일하거나 매우 유사한 값을 갖게 됩니다. 기존 하드웨어 가속기들은 이러한 지역성을 활용하여 중복된 곱셈을 제거하는 데 실패하며, 특히 ViT 연산의 대부분을 차지하는 밀집 선형 계층(프로젝션 및 피드 포워드 네트워크)에서 그러합니다.

방법론: DeVIT
본 논문은 비싼 곱셈 연산을 시프트-및-더하기(shift-and-add) 연산으로 대체하는 차분 연산(differential computation)을 활용하는 가속화 방법인 DeVIT(Delta-coded Vision Transformer)를 제안합니다. 핵심 방법론은 다음과 같은 세 가지 주요 단계로 구성됩니다:

1. 가중치 정렬 및 델타 인코딩:
   절대적인 가중치 값을 저장하는 대신, DeVIT는 가중치 행렬의 각 행 내에서 가중치를 오름차순으로 정렬합니다. 그 후, 가중치 자체 대신 연속된 정렬 가중치 사이의 차이($\Delta W$)를 저장합니다.

   • 델타 연산: 입력 요소 $a$와 정렬된 가중치 $W_2$의 곱은 $a \times W_2 = (a \times W_1) + (a \times \Delta W)$로 계산됩니다 (여기서 $W_1$은 이전 가중치임).
   • 시프트-및-더하기: 값의 지역성 덕분에 $\Delta W$ 값은 일반적으로 작습니다 (흔히 0, 1 또는 2). 이러한 작은 차이값들은 2의 거듭제곱으로 근사될 수 있으며, 이를 통해 곱셈 $a \times \Delta W$를 단순한 비트 시프트 연산으로 대체할 수 있습니다.
   • 제로 델타 스킵(Zero Delta Skipping): 연속된 가중치가 동일할 때 $\Delta W = 0$이 됩니다. 시스템은 이러한 경우의 계산을 건너뛰고 이전의 부분 곱(partial product)을 재사용함으로써, 중복된 가중치에 대한 연산을 효과적으로 제거합니다.

2. 입력 스테이셔너리 데이터플로우(Input-Stationary Dataflow):
   곱셈 결과의 재사용을 가능하게 하기 위해, DeVIT는 입력 스테이셔너리 실행 순서를 채택합니다. 입력 요소들은 순차적으로 가져와지며 특정 가중치 행에 필요한 모든 계산에 걸쳐 재사용됩니다. 이는 하나의 입력 피연산자가 일련의 정렬된 가중치들과 곱해지도록 하여, 차분 접근 방식이 실현 가능하게 만듭니다.

3. 파티셔닝 전략:
   버퍼 크기와 전력 소비를 관리하기 위해, 가중치 행렬은 정렬 및 인코딩 전에 작은 블록(예: 64 또는 16개 요소)으로 분할됩니다.

   • 트레이드오프: 더 작은 파티션은 목적지 인덱스와 출력 버퍼에 필요한 저장 공간을 줄여주지만, 델타의 크기를 약간 증가시킵니다 (이는 제로/작은 델타의 빈도를 감소시킴).
   • 인덱스 인코딩: 각 델타는 올바른 출력 순서를 복원하기 위해 원래의 열 위치를 나타내는 인덱스와 쌍을 이룹니다. 인코딩은 4비트 델타 코드(부호 + 2의 거듭제곱을 위한 3비트 크기)와 파티션 크기에 따른 가변 너비 인덱스를 사용합니다.

주요 기여

• ViT를 위한 델타 기반 가속: DeVIT는 (CNN의 $\Delta$NN에서 탐구되었던) 차분 연산을 비전 트랜스포머의 밀집된 토큰 기반 데이터플로우에 맞게 구체적으로 적용한 최초의 아키텍처입니다.
• 곱셈기가 없는 행렬 곱셈: 가중치 행렬을 델타 인코딩 형식으로 변환함으로써, 이 방식은 ViT의 지배적인 GEMM(General Matrix Multiply) 연산을 기본적인 시프트-및-더하기 과정으로 전환하여 하드웨어 복잡성을 크게 줄입니다.
• 시스템 인식 최적화: 본 논문은 ViT의 밀집 프로젝션 및 피드 포워드 계층에 특화된 특정 데이터플로우, 파티셔닝 전략 및 인덱스 관리 체계를 도입하여, 희소성(sparsity)이나 어텐션 메커니즘에 집중했던 이전 연구들과 차별화됩니다.
• 하드웨어 구현: 저자들은 15nm 공정 기술로 합성된 RTL 설계를 제시하여 이 접근 방식의 실질적인 타당성을 입증합니다.

실험 결과
저자들은 ViT-B/16, DeiT, Swin Transformer, DETR-ResNet-50을 포함한 여러 벤치마크에서 8비트 양자화된 가중치를 사용하여 DeVIT를 평가했습니다.

• 계산 부하: DeVIT는 정규화된 계산 부하를 최적화되지 않은 베이스라인의 0.53 수준으로 줄입니다. 이는 FACT의 attention-skip(0.70) 및 FC1-skip(0.61) 구성보다 낮지만, FACT의 가장 공격적인 FC2-skip(0.47)보다는 약간 높습니다.
• 에너지 효율: 측정된 DeVIT의 단일-GEMM 에너지는 159.57 nJ입니다. 이는 비교 대상인 가장 낮은 에너지의 ShiftAddLLM 구성(168.84 nJ)보다 약 5.5% 낮습니다.
• 정확도: 이 방법은 최소한의 저하로 높은 정확도를 유지합니다. 예를 들어, ViT-B/16의 Top-1 정확도는 83.71% (FP32)에서 83.48% (DeVIT $\Delta$-64)로 떨어집니다. 관찰된 가장 큰 정확도 저하는 32개 요소 파티션 구성에서의 Swin Top-1(3.11 포인트) 및 DETR mAP(2.53 포인트)입니다.

의의 및 주장
본 논문은 DeVIT가 양자화만으로 달성할 수 있는 것 이상으로 계산 부하와 에너지 소비를 모두 줄임으로써, 광범적인 장치에서 이미지 처리 작업을 위한 트랜스포머 모델 배포의 실용성을 크게 향상시킨다고 주장합니다. 차분 연산을 통해 값의 지역성을 활용함으로써, DeVIT는 복잡한 동적 스케줄링이나 입력별 예측 없이도 트랜스포머 계층의 필수적인 행렬 곱셈 연산을 시프트-및-더하기 과정으로 단순화합니다. 저자들은 DeVIT를 하드웨어 효율성, 메모리 사용량 및 모델 정확도 사이의 균형 잡힌 트레이드오프를 제공하며, ViT의 주요 병목 지점인 밀집 선형 계층을 타겟팅하는 보완적인 시스템 인식 최적화로서 포지셔নিং 합니다.