기술 요약: LL-ViT – 룩업 테이블(Look Up Table) 뉴런을 이용한 에지 배포 가능 비전 트랜스포머

문제 정의

비전 트랜스포머(ViT)는 컴퓨터 비전 분야에서 최첨단 성능을 달고 있으나, 특히 FPGA(Field-Programmable Gate Array)와 같은 에지 장치에 배포하는 데 있어 상당한 장벽에 부딪히고 있다. 이들의 거대한 연산, 메모리 및 에너지 발자국은 상용 에지 플랫폼의 역량을 초과한다. 예를 들어, 경량화된 변체인 DeiT-T는 약 20MB의 가중치 저장 공간을 필요로 하는데, 이는 많은 FPGA의 온칩(on-chip) 메모리 용량을 상회하는 수준이다.

오프칩(off-chip) 가중치 로딩이나 공격적인 양자화와 같은 기존의 최적화 전략들은 트레이드오프를 발생시킨다. 빈번한 오프칩 접근은 에너지 소비를 증가시키는 반면, 공격적인 양자화는 종종 모델 정확도를 저하시킨다. 또한, 고성능 플랫폼(예: AMD/Xilinx Versal)에서 파이프라인 실행을 사용하는 최근의 하이브리드 솔루션들은 높은 처리량을 달성하지만, 배터리로 작동하는 에지 시나리오에는 부적합한 전력 수준(예: ~40W)을 보인다.

Logic 및 Look-Up Table(LUT) 기반 네트워크(예: LogicNets, NeuraLUT, Differentiable Weightless Neural Networks)에 관한 최근 연구들은 줄어든 메모리 및 연산 발자국을 제공하지만, 역사적으로 작은 데이터셋과 단순한 작업에 국한되어 왔다. 이러한 모델들은 CIFAR-10/100과 같은 표준 컴퓨터 비전 벤치마크에서 일반적으로 낮은 성능을 보였으며, 비전 트랜스포머의 복잡한 구조에 성공적으로 통합되지 못했다.

방법론

저자들은 LL-ViT(Learned-LUT based Vision Transformers)를 제안한다. 이는 LUT 뉴런을 트랜스포머 아키텍처에 직접 통합하여 에지 추론에 최적화하도록 설계된 새로운 알고리즘-하드웨어 공동 설계(co-design) 방식이다.

1. 워크로드 분석 및 동기

저자들은 전형적인 ViT 아키텍처(특히 DeiT-T)를 특성화하고, 다층 퍼셉트론(MLP) 레이어가 주요 병목 지점임을 식별하였다. 이 레이어들은 전체 모델 가중치의 60% 이상과 **전체 곱셈-누산(MAC) 연산의 55%**를 차지한다. 이러한 관찰은 가중치가 지배적인 Multi-Head Self-Attention(MHA) 토큰 믹서는 유지하면서, 표준 MLP 블록을 더 효율적인 대안으로 교체해야 한다는 동기를 부여한다.

2. 학습 가능한 LUT 기반 채널 믹서

단순히 훈련 후 곱셈을 룩업 테이블로 교체하는 대신, 저자들은 엔드투엔드(end-to-end)로 학습 가능한 학습 가능한 LUT 기반 채널 믹서를 설계하였다.

• 아키텍처: 제안된 블록은 표준 2계층 MLP를 대체한다. 이는 입력 활성화 값을 비트 시퀀스로 변 변환하기 위해 **써모미터 인코딩(thermometer encoding)**을 사용하며, 이후 구성 가능한 LUT 뉴런 레이어를 통해 처리된다.
• 미분 가능성: 역전파를 가능하게 하기 위해, 저자들은 LUT 엔트리에 대한 그래디언트를 근사하기 위해 확장 유한 차분(Extended Finite Difference) 기법(Differentiable Weightless Neural Networks에서 유래)을 채택하였다.
• 조건부 합산(Conditional Summation): LUT 뉴런 다음에 새로운 조건부 합산 레이어가 뒤따른다. 이 레이어는 LUT 뉴런 출력이 활성 상태(1)인 경우에만 인코딩된 값을 출력에 더한다. 이 레이어를 통해 네트워크는 곱셈이 없는 추론 경로를 유지하면서도 트랜스포머에 필요한 실수형 출력을 생성할 수 있다. 훈련 중에 이러한 인코딩된 값들은 full precision(fp32)으로 학습되며, 네트워크의 나머지 부분과 일치하도록 훈련 후 양자화(예: int4)된다.

3. FPGA 가속기 설계

저자들은 LL-ViT를 위해 특별히 설계된 하드웨어 가속기를 공동 설계하였다:

• 프로세싱 엘리먼트(PE): LUT 기반 채널 믹서를 위한 전용 PE가 설계되었다. 이 PE는 스톨(stall)을 방지하기 위해 핑퐁 버퍼(ping-pong buffers)를 사용하여 입력 활성화를 행 단위로 파이프라인 방식으로 처리한다.
• 리소스 매핑: LUT 뉴런은 FPGA 로직 패브릭 내의 LUT 슬라이스에 직접 매핑되어, 이 레이어들에서 가중치 저장을 위한 DSP나 BRAM을 사용할 필요가 없게 한다. 이는 곱셈을 위한 DSP와 가중치 저장을 위한 BRAM을 요구하는 기존 가속기와 대조된다.
• 스테이셔너리 가중치(Stationary Weights): 모든 모델 가중치는 전용 BRAM에 온칩(on-chip)으로 저장되어, 추론 중 오프칩 메모리 접근을 제거한다.
• 토큰 믹서: MHA 블록은 행렬 곱셈을 위한 시스톨릭 어레이(systolic array)를 사용하여 구현되며, LUT 기반 채널 믹서 PE와 인터페이스된다.

주요 기여

1. 새로운 아키텍처: 계산 집약적인 MLP 레이어를 대체하여 비전 트랜스포머에 매끄럽게 통합되는 학습 가능한 LUT 기반 채널 믹서 블록을 제안하였다.
2. 에지 최적화 모델: 셀프 어텐션 토큰 믹싱과 곱셈이 없는 채널 믹싱을 결리하여, 계산 요구량과 메모리 소비를 크게 줄인 에지 최적화 ViT(LL-ViT)를 개발하였다.
3. 하드웨어 공동 설계: 오프칩 가중치 이동을 피하고 FPGA의 네이티브 LUT 리소스를 활용하여 채널 믹서를 위한 저전력 FPGA 가속기를 설계하였다.
4. 복잡한 작업에서의 성능: LUT 기반 신경망을 소규모 데이터셋에서 복잡한 컴퓨터 비전 작업(CIFAR-10/100, TinyImageNet)으로 확장하여, LUT 뉴런이 위치 불변성(positional invariance)과 복잡한 특징 상호작용을 학습할 수 있음을 입증하였다.

실험 결과

저자들은 AMD Xilinx Virtex FPGA (xcvu9p)에서 LL-ViT를 완전 양자화된(INT8) 베이스라인(I-ViT-T) 및 다른 선행 연구들과 비교 평가하였다.

• 정확도: LL-ViT는 베이스라인과 유사한 정확도를 달성하였다:
  • CIFAR-10: 95.5% (베이스라인 95.4% 대비)
  • CIFAR-100: 78.8% (베이스라인 79.2% 대비)
  • TinyImageNet: 60.9% (베이스라인 60.4% 대비)
  • Flowers-102: 91.6% (베이스라인 91.3% 대비)
• 모델 크기 및 연산:
  • 60%의 모델 가중치 감소 (1.93 MB vs. 5.06 MB).
  • >50%의 MAC 연산 감소 (0.65 GMACs vs. 1.31 GMACs).
  • 감소된 크기로 인해 모델 전체가 온칩 메모리에 적재될 수 있다.
• 효율성:
  • 1.9배 향상된 에너지 효율 (추론당 2.14 mJ vs. 베이스라인 4.05 mJ).
  • 1.3배 낮은 지연 시간 (5.33 ms vs. 6.93 ms).
  • 처리량: 10.9W의 전력 예산에서 1083 FPS를 달성한다.
• 비교: LL-ViT는 현저히 낮은 정확도(CIFAR-10에서 40–80%)를 보고하는 이전의 LUT 기반 연구들(예: TreeLUT, DiffLogicNet)보다 우수한 성능을 보이며, 다른 ViT 가속기(예: HG-PIPE, ViTA)에 비해 훨씬 적은 전력으로 탁월한 효율성을 보여준다.

의의 및 주장

본 논문은 LL-ViT가 에지 배포를 위한 비전 트랜스포머를 실현하는 데 있어 중요한 진전임을 주장한다. 주요 메모리 및 연산 오버헤드의 원천인 MLP 레이어를 학습 가능한 LUT 뉴런으로 타겟팅함으로써, 저자들은 다음을 달성할 수 있음을 입증하였다:

1. 표준 비전 벤치마크에서 정확도를 희생하지 않으면서 모델 크기와 에너지 소비를 획기적으로 줄일 수 있다.
2. 신경 연산을 FPGA의 LUT 슬라이스에 직접 매핑함으로써 FPGA 리소스를 완전히 활용하고, 오프칩 메모리 접근을 제거하며, 전력 소모가 큰 DSP에 대한 의존도를 낮출 수 있다.
3. 효율적인 LUT 기반 신경망과 복잡한 트랜스포머 아키텍처 사이의 간극을 메워, LUT 뉴런이 기존의 밀집된 곱셈 중심 네트워크가 담당하던 복잡한 비전 작업을 처리할 수 있음을 증명하였다.

저자들은 LL-ViT를 전통적인 ViT에 대한 "유망한 경량 대안"으로 규정하며, 자원이 제한된 배터리 구동 에지 장치에 배포 가능한 "Tiny ViT"를 위한 길을 열었다고 언급한다. 이들은 이 기술이 작은 규모의 ViT 베이스라인에서 시연되었으나, 구조적 이점은 더 큰 변체로도 확장될 것으로 기대한다고 밝혔다.