🤖 machine learning

EVA: Accelerating LLM Decoding via an Efficient Vector Quantization Architecture

본 논문은 메모리 병목 현상을 일으키는 벡터 양자화 조회를 효율적이고 충돌이 없는 GEMM 연산으로 변환하여 LLM 디코딩을 가속화하는 하드웨어-소프트웨어 공동 최적화 아키텍처인 EVA 를 소개하며, 이는 최첨단 방법 대비 최대 11.17 배의 속도 향상과 7.17 배의 높은 에너지 효율을 달성합니다.

원저자: Bowen Duan, Cong Guo, Chiyue Wei, Haoxuan Shan, Yuzhe Fu, Xinhua Chen, Yifan Xu, Ziyue Zhang, Changchun Zhou, Hai Li, Yiran Chen

게시일 2026-05-26

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Bowen Duan, Cong Guo, Chiyue Wei, Haoxuan Shan, Yuzhe Fu, Xinhua Chen, Yifan Xu, Ziyue Zhang, Changchun Zhou, Hai Li, Yiran Chen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 이야기 쓰기, 수학 문제 풀기, 그리고 대화하기가 가능한 방대한 지식 도서관 (대형 언어 모델, 또는 LLM) 을 가지고 있다고 상상해 보세요. 이 도서관을 작동시키기 위해 컴퓨터는 두 가지 주요 작업을 수행해야 합니다: 한 번에 거대한 텍스트 덩어리를 읽는 것 ("prefill" 단계) 과 한 번에 한 단어씩 반복적으로 쓰는 것 ("decoding" 단계).

이 논문은 읽기는 빠르지만, 현재 컴퓨터에서 한 단어씩 쓰는 것은 놀라울 정도로 느리고 비효율적이라고 주장합니다. 듀크 대학교의 연구팀인 저자들은 이를 해결하기 위해 EVA라는 새로운 시스템을 구축했습니다.

다음은 간단한 비유를 통해 설명한 EVA 의 작동 원리입니다:

문제: "한 단어씩" 교통 체증

컴퓨터의 두뇌 (프로세서) 를 수천 명의 작업자 (처리 장치) 가 준비되어 계산을 수행할 수 있는 거대한 공장으로 상상해 보세요.

Prefill 단계 (읽기): 공장에 1,000 개의 상자가 들어오는 거대한 선적이 도착했다고 상상해 보세요. 모든 작업자가 상자를 한 개씩 잡고 동시에 작업할 수 있습니다. 이는 빠르고 효율적입니다.
Decoding 단계 (쓰기): 이제 공장이 단 하나의 작은 물건을 생산하고, 기다렸다가, 또 하나를 생산하고, 다시 기다려야 한다고 상상해 보세요. 공장에 수천 명의 작업자가 있지만, 실제로 바쁜 사람은 한두 명뿐입니다. 나머지는 아무것도 하지 않고 서 있습니다. 이것이 논문에서 언급된 "GEMV" 문제입니다: 컴퓨터가 계산 (수학) 에 묶여 있는 것이 아니라 데이터 (기억) 를 기다리는 메모리 병목 현상에 시달리며, 이로 인해 거대한 교통 체증이 발생합니다.

구식 해결책: "사전 찾기" 병목 현상

공장을 더 빠르게 만들기 위해 엔지니어들은 **벡터 양자화 (Vector Quantization, VQ)**라는 기술을 사용하여 "지침서" (모델 가중치) 를 축소하려고 시도했습니다.

비유: 모든 단어에 대한 완전한 지침을 작성하는 대신, 공유된 사전 (코드북) 을 가리키는 짧은 코드 ("A1", "B2" 등) 로 긴 지침을 대체했습니다.
새로운 문제: 지침서를 축소했지만, 새로운 교통 체증이 발생합니다. 공장이 단어를 만들 때마다 사전으로 달려가 코드를 찾아 지침을 가져와야 합니다.
갈등: 100 명의 작업자가 정확히 같은 시간에 사전의 같은 선반으로 달려가는 상황을 상상해 보세요. 그들은 서로 부딪히며 메모리 충돌을 일으킵니다. 그들은 줄을 서서 기다려야 하므로 모든 것이 느려집니다. 논문은 이를 "메모리 비효율성"이라고 부릅니다.

EVA 해결책: 워크플로우 변경

EVA 의 저자들은 사전 자체를 변경할 필요가 없다고 깨달았습니다. 단지 작업자들이 그 사전을 사용하는 방식을 변경하면 되었습니다. 그들은 다음과 같은 두 단계의 마술을 도입했습니다:

1 단계: 코드를 찾기 전에 수학 계산 수행

코드를 먼저 찾은 다음 수학을 하는 대신, EVA 는 순서를 뒤집습니다.

비유: 작업자들이 사전이 나올 때까지 기다리지 않는다고 상상해 보세요. 대신 입력 (질문) 을 가져와 전체 사전에 한 번에 적용합니다.
결과: 이는 "하나씩" 계산 문제를 "대량 배치" 계산 문제로 바꿉니다. 컴퓨터 용어로, 느린 GEMV(행렬 - 벡터) 연산을 빠른 GEMM(행렬 - 행렬) 연산으로 전환했습니다. 이제 모든 공장 작업자가 다시 바빠져서 병렬로 수학을 수행합니다.

2 단계: "충돌 없는" 찾기

수학 계산이 완료되면, 작업자들은 "중간 결과" (출력 코드북) 목록을 갖게 됩니다.

비유: 구식 시스템에서는 모두 같은 선반으로 달려갔지만, EVA 에서는 결과물이 미리 분류되어 서로 다른 별도의 상자에 담겨 있습니다. 작업자가 특정 결과가 필요할 때, 그들은 자신만의 전용 상자로 갑니다. 아무도 서로 부딪히지 않습니다.
결과: "메모리 충돌"이 완전히 사라집니다. 찾기는 즉시 그리고 병렬로 수행됩니다.

하드웨어: 스마트 공장 바닥

이 논리는 이 시스템을 실행하기 위해 구축된 물리적 기계 (칩) 에 대해서도 설명합니다:

재구성 가능한 작업자: 공장 작업자들은 똑똑합니다. 모드를 전환할 수 있습니다. 컴퓨터가 "읽는" (prefill) 동안에는 간단하고 빠른 8 비트 숫자로 작업합니다. "쓰는" (decoding) 동안에는 품질을 높게 유지하기 위해 더 정밀한 16 비트 숫자로 전환합니다.
전용 가산기: 단어를 쓰는 마지막 단계는 단순히 숫자를 더하는 것입니다. EVA 는 라인 끝단에 복잡한 수학 도구가 필요하지 않고 매우 빠른 특수 "가산기" 스테이션을 추가하여 라인이 매끄럽게 움직이도록 합니다.

결과: 속도와 효율성

논문은 인기 있는 AI 모델 (LLaMA 등) 을 사용하여 EVA 를 FIGLUT 및 표준 GPU 와 같은 기존 최상위 시스템과 비교 테스트했습니다.

속도: EVA 는 기존 사전 기반 시스템보다 텍스트 생성 속도가 최대 11 배 빨랐습니다.
에너지: 동일한 작업을 수행하는 데 7 배 적은 에너지를 사용했습니다.
품질: 모델을 2 비트 정밀도까지 (고해상도 사진을 작은 아이콘으로 압축하는 것과 같이) 강력하게 압축했음에도 불구하고, 텍스트의 품질은 거의 정확도 손실 없이 훌륭하게 유지되었습니다.

요약

EVA는 작업자들이 지침을 하나씩 잡기 위해 줄을 서는 대신, 모든 사람이 각자의 차선을 가진 거대하고 조직화된 배치로 지침을 처리하도록 공장을 재설계한 것과 같습니다. 이는 교통 체증을 제거하고 모든 작업자를 바쁘게 유지하며, AI 가 텍스트를 훨씬 더 빠르고 효율적으로 작성하도록 합니다.

기술 요약: EVA - 효율적인 벡터 양자화 아키텍처를 통한 LLM 디코딩 가속

1. 문제 제기

대규모 언어 모델 (LLM) 은 자기 autoregressive 디코딩 단계 동안 상당한 추론 비효율성을 겪습니다. 사전 채우기 (prefill) 단계가 계산 병목의 일반 행렬 곱셈 (GEMM) 연산을 활용하는 것과 달리, 디코딩은 토큰을 순차적으로 생성하여 일련의 소형 일반 행렬 - 벡터 곱셈 (GEMV) 연산을 초래합니다. 이러한 전환은 현대 하드웨어 가속기에서 두 가지 주요 병목 현상을 야기합니다:

계산 비효율성: GEMV 연산은 대규모 GEMM 워크로드에 최적화된 가속기 내 처리 요소 (PE) 를 충분히 활용하지 못해 대부분의 라인을 유휴 상태로 방치합니다.
메모리 비효율성: 가중치 전용 벡터 양자화 (VQ) 는 메모리 대역폭을 줄이기 위해 모델 가중치를 (2 비트까지) 효과적으로 압축하지만, 표준 디코딩 과정은 코드북 조회를 필요로 합니다. 이러한 조회는 불규칙하고 비결합된 메모리 접근 패턴을 포함하여 빈번한 메모리 뱅크 충돌, 직렬화 및 캐시 효율성 감소를 초래합니다. 결과적으로 기존 VQ 구현은 종종 표준 FP16 추론보다 성능이 떨어지거나 심지어 더 느려지기도 합니다.

2. 방법론: EVA 아키텍처

본 논문은 계산 및 메모리 병목 현상을 모두 제거하기 위해 VQ 디코딩 프로세스를 재구성하는 하드웨어 - 소프트웨어 공동 설계 아키텍처인 EVA를 제안합니다. 핵심 통찰력은 충돌 가능성이 있는 조회가 포함된 메모리 병목 GEMV 에서 계산 효율적이고 충돌이 없는 GEMM 으로 디코딩 워크플로우를 변환하는 것입니다.

A. 알고리즘적 재구성: GEMV 에서 GEMM 으로

EVA 는 디코딩 계산을 다음과 같은 두 단계의 재구성을 도입합니다:

입력 - 코드북 내적 (GEMV $\to$ GEMM): 인덱스로부터 전체 가중치 행렬을 재구성한 후 GEMV 를 수행하는 대신, EVA 는 입력 활성화 벡터와 가중치 코드북 (WC) 사이의 내적을 직접 계산합니다.
- 입력은 크기 $d$ 인 벡터로 재구성됩니다.
- 이러한 벡터는 $2^n$ 개의 중심점을 포함하는 WC 와 곱해져 중간 **출력 코드북 (OC)**을 생성합니다.
- 이는 연산을 $M=1$ GEMV 에서 소형 GEMM ( $O = X \times B$ ) 으로 변환하여 산술 강도와 병렬성을 크게 증가시킵니다.
충돌 없는 조회: 최종 출력은 가중치 인덱스 (WI) 행렬을 사용하여 OC 에서 값을 조회함으로써 얻어집니다.
- WC 로의 조회가 뱅크 충돌을 일으키는 표준 VQ 와 달리, OC 는 서로 다른 입력 벡터에서 파생된 서로 다른 행이 서로 다른 메모리 뱅크에 매핑되도록 구조화되어 있습니다.
- 이는 동시 인덱스 접근 (예: 인덱스 5 와 3) 이 서로 다른 뱅크에 매핑되도록 보장하여 메모리 충돌을 완전히 제거합니다.

B. 하드웨어 아키텍처

EVA 는 이러한 재구성을 전용 가속기에 구현합니다:

재구성 가능한 혼합 정밀도 GEMM 유닛: 핵심은 INT8(사전 채우기 단계용) 과 FP16(VQ 디코딩용) 을 모두 지원하는 시스톨릭 어레이를 활용합니다. 이는 $32 \times 32$ INT8 어레이를 $32 \times 8$ FP16 어레이로 재구성하고 FP16 곱셈을 네 개의 INT8 연산으로 분해함으로써 이를 달성합니다. 이를 통해 하드웨어를 중복하지 않고 사전 채우기와 디코딩 모드 간에 원활하게 전환할 수 있습니다.
에필로그 유닛 (EU): GEMM 후 연산을 처리하는 전용 경량 유닛입니다. OC 에 대한 충돌 없는 조회를 수행하고adder 트리를 사용하여 결과를 누적합니다. EU 는 확장 가능하도록 설계되어 GEMM 파이프라인과 병렬로 작동하여 지연 시간을 숨깁니다.
타일링 전략: 이 아키텍처는 가중치 코드북과 출력 코드북이 온칩에 머무르고 입력 및 인덱스 텐서가 타일로 스트리밍되는 가중치 정지 (weight-stationary) 방식을 채택합니다. 이는 오프칩 메모리 트래픽을 최소화합니다.

3. 주요 기여

코드북 기반 GEMM 공식화: 본 논문은 가중치 디코딩을 직접 입력 - 코드북 내적으로 대체하는 새로운 수학적 재구성을 제안합니다. 이는 디코딩 패러다임을 메모리 병목 GEMV 에서 계산 효율적 GEMM 으로 전환시킵니다.
충돌 없는 출력 코드북 조회: 기존 조회 기반 양자화 방법의 주요 제한 사항인 뱅크 충돌을 제거하기 위해 메모리 접근을 재구성하는 메커니즘을 개발했습니다.
하드웨어 - 소프트웨어 공동 최적화 아키텍처: EVA 는 기존 사전 채우기 실행과의 호환성을 유지하면서 LLM 디코딩에 특화되어 설계되었습니다. 다양한 양자화 정밀도에서 활용도를 극대화하기 위해 재구성 가능한 시스톨릭 어레이와 전용 에필로그 유닛을 특징으로 합니다.

4. 실험 결과

저자들은 TSMC 28nm 공정에서 500MHz 로 LLaMA-1, LLaMA-2, LLaMA-3, Mixtral-8x7B, Qwen3-30B-A3B 모델을 사용하여 EVA 를 평가했으며, 최첨단 베이스라인 (시스톨릭 어레이, ANT, FIGNA, FIGLUT) 과 비교했습니다.

가속비: EVA 는 SOTA 조회 기반 아키텍처 (FIGLUT) 에 비해 디코딩 지연 시간에서 최대 11.17 배의 가속비를 달성합니다.
에너지 효율성: EVA 는 FIGLUT 대비 7.17 배 높은 에너지 효율성을 보여줍니다.
정확도: EVA 는 벡터 양자화 후 산술 정밀도를 유지합니다. 2 비트 정밀도에서 EVA(AQLM 사용) 는 경쟁력 있는 정확도를 유지하며, GPTQ 와 같은 비분석적 베이스라인보다 상당한 마진으로 성능이 우수합니다 (예: 2 비트의 경우 다운스트림 벤치마크에서 평균 약 19 퍼센트 포인트).
엔드 - 투 - 엔드 성능: 디코딩 중점 데이터셋 (예: Dolly) 에서 EVA 는 베이스라인 대비 평균 8.20 배에서 24.49 배의 엔드 - 투 - 엔드 가속비를 달성합니다.

5. 중요성 및 주장

본 논문은 EVA 가 하드웨어에서 벡터 양자화된 LLM 추론이 실행되는 방식에 근본적인 전환을 가져왔다고 주장합니다. GEMV 미활용 및 조회 기반 양자화에 내재된 메모리 뱅크 충돌과 같은 비효율성의 근본 원인을 해결함으로써 EVA 는 추론 속도를 희생하지 않고도 고도로 압축된 (2 비트) 모델의 실용적 배포를 가능하게 합니다.

저자들은 그들의 접근 방식이 특정 양자화 방법 (예: AQLM, GPTVQ) 에 대해 알고리즘 중립적이지만 벡터 양자화의 구조적 속성에 의존한다고 강조합니다. 그들은 EVA 가 벡터 양자화된 LLM 추론의 메모리 시스템 병목 현상을 해결하도록 특별히 설계된 최초의 아키텍처 레벨 가속기이며, 공격적인 모델 압축과 고성능 하드웨어 실행 간의 격차를 해소하는 확장 가능한 솔루션을 제공한다고 주장합니다.