🤖 AI

TileFuse: A Fused Mixed-Precision Kernel Library for Efficient Quantized LLM Inference on AMD NPUs

이 논문은 언패킹(unpacking), 역양자화(dequantization), 행렬 연산을 융합하여 인기 있는 AWQ 스타일의 양자화된 LLM 추론에 대한 효율적인 네이티브 지원을 가능하게 함으로써, 클라이언트 엣지 장치에서 기존 베이스라인 대비 상당한 성능 및 에너지 효율 이득을 달성하는 AMD XDNA2 NPU용 근접 하드웨어(close-to-metal) 혼합 정밀도 커널 라이브러리인 TileFuse를 소개한다.

원저자: Wesley Pang, Gregory Hyegang Jun, Feiyang Liu, Deming Chen

게시일 2026-06-11

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Wesley Pang, Gregory Hyegang Jun, Feiyang Liu, Deming Chen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신의 차고에 아주 새롭고 빠른 배송 트럭(NPU)이 놓여 있지만, 당신이 가진 유일한 지도(소프트웨어)는 느리고 오래된 자전거를 타는 법만을 알려준다고 상상해 보십시오. 트럭의 속도를 활용할 수 없는 이유는 지도가 트럭의 차선을 탐색하는 법을 모르기 때문입니다.

이것이 오늘날 새로운 노트북 칩에서 현대적인 AI 챗봇(LLM)을 실행할 때 발생하는 문제입니다. 이 칩들은 배터리를 절약하고 빠르게 작동하도록 설계된 강력한 "AI 엔진"(NPU)을 갖추고 있지만, 소프트웨어는 엔진이 AI에 맞춰 적응하게 하는 대신, AI가 엔진에 맞게 형태를 바꾸도록 강요합니다.

TileFuse는 이를 해결하는 새로운 도구 세트입니다. 이는 트럭이 데이터를 다시 포장하기 위해 멈출 필요 없이 무거운 압축 데이터를 운반할 수 있도록 설계된, 전용 고속도로를 건설하는 것과 같습니다.

다음은 이 논문이 이 솔루션을 쉬운 비유를 사용하여 설명하는 방식입니다.

1. 문제점: "재포장" 병목 현상

보통 이러한 새로운 칩에서 AI를 실행하려면, AI의 "압축된" 가중치(작은 여행 가방 안에 빽빽하게 담긴 책들과 같은 것)를 칩이 읽을 수 있는 부피가 큰 형식(책을 꺼내서 테이블 위에 평평하게 펼쳐 놓는 것과 같은 것)으로 풀어헤쳐야 합니다.

기존 방식: 칩이 여행 가방을 읽고, 책을 꺼내고, 다시 다른 가방에 넣은 다음, 그제서야 읽기를 시작합니다. 이는 시간과 에너지를 낭비합니다.
TileFuse 방식: 칩이 여행 가방을 읽으면서, 가방을 여는 동시에 그 안의 책들을 읽습니다. 모든 것을 하나의 매끄러운 동작으로 처리합니다.

2. 해결책: "퓨즈드(Fused)" 커널

저자들은 TileFuse라는 라이브러리를 만들었습니다. "커널"을 칩을 위한 특정 지침 매뉴얼이라고 생각하십시오.

퓨전(Fusion): 세 명의 별도 작업자(하나를 풀고, 하나를 변환하고, 하나를 계산하는 작업자)를 두는 대신, TileFuse는 이들을 하나의 슈퍼 작업자로 결합합니다. 이 작업자는 압축된 데이터를 잡아서, 즉석에서 변환하고, 한 번에 수학 계산까지 마칩니다.
결과: 이것은 채소를 단순히 써는 것이 아니라, 써는 것, 양념하는 것, 요리하는 것을 하나의 연속적인 동작으로 수행하는 요리사와 같습니다. 논문은 이 방식이 특정 작업에서 기존 방식보다 "언패킹(unpacking)" 과정을 최대 2.8배 더 빠르게 만든다고 주장합니다.

3. "인터리브드(Interleaved)" 레이아웃: 창고 정리하기

대규모 AI 모델은 거대한 숫자 리스트(가중치)를 가지고 있습니다. 칩의 메모리 시스템에는 다음 데이터 조각을 가져오기 위해 뻗을 수 있는 거리의 한계가 있습니다. 만약 데이터가 무질서하고 흩어진 방식으로 저장되어 있다면, 칩은 다음 조각을 가져오기 위해 길고 느린 이동을 해야 합니다.

비유: 상자들이 무작위로 쌓여 있는 창고를 상상해 보십시오. 지게차가 다음 상자를 가져오기 위해 50피트를 달려가야 합니다.
TileFuse의 해결책: 그들은 창고를 재배치(이를 "Interleaved Pre-tiling"이라 부름)하여, 지게차가 다음에 필요로 하는 상자들이 바로 옆에 있도록 만듭니다. 이를 통해 칩은 방대한 양의 데이터를 한 번의 매끄러운 움직임으로 휩쓸 듯이 가져올 수 있으며, 이전에는 들어갈 수 없었던 훨씬 더 큰 AI 모델(최대 32,000개 항목 너비)을 지원합니다.

4. "GEMV" 문제: 교통 체증

AI 챗봇은 두 단계로 작동합니다:

프리필링(Prefilling): 긴 프롬프트를 한꺼번에 읽는 단계 (책 한 권을 통째로 읽는 것과 같습니다). 이는 트럭에게 쉽고 빠릅니다.
토큰 생성(Token Generation): 한 번에 한 단어씩 쓰는 단계 (한 문장을 쓰는 것과 같습니다). 이는 느리고 까다롭습니다.

문제점: 한 단어를 쓸 때, 칩의 "트럭"은 종종 유휴 상태가 됩니다. 왜냐하면 이 트럭은 작은 짐이 아니라 큰 짐을 실으라고 설계되었기 때문입니다. 이는 마치 한 통의 편지를 배달하기 위해 세미 트럭을 사용하는 것과 같습니다. 엔진은 돌아가고 있지만, 트럭은 비어 있는 상태입니다.
해결책: TileFuse는 이 단계의 교통 흐름을 재설계했습니다. 데이터를 단 하나의 차선으로만 보내는 대신, 칩의 32개 차선 전체에 작업을 분산시킵 most 합니다. 이를 통해 "짐"이 작더라도 엔진 전체가 계속 바쁘게 돌아가도록 유지합니다.

5. 실제 결과

팀은 실제 AMD 노트북(Ryzen AI)에서 테스트를 진행했으며, 이를 노트북의 표준 그래픽 카드(iGPU)와 비교했습니다.

속도: 긴 프로프트를 읽는 데 있어서(prefilling), TileFuse를 적용한 NPU는 그래픽 카드보다 최대 2배 더 빨랐습니다.
배터리: NPU는 더 효율적이기 때문에 동일한 작업을 수행하는 데 64% 적은 에너지를 사용했습니다.
주의점: 한 번에 한 단어를 쓰는 단계(token generation)에서는 NPU가 때때로 그래픽 카드보다 느렸습니다. 이는 NPU를 설정하는 "준비 시간(setup time)"이 너무 작은 작업에는 너무 길기 때문입니다.
하이브리드 솔루션: 논문은 "최선의 조합"을 제안합니다: NPU는 무거운 작업(긴 프롬프트 읽기)을 담당하고, 그래픽 카드는 빠른 작업(단어 쓰기)을 담당하게 하는 것입니다. 이 조합이 최고의 속도와 배터리 수명을 제공합니다.

요약

TileFuse는 가교 역할을 합니다. 개발자들이 이미 사용 중인 인기 있는 압축 AI 형식(AWQ 등)을 AI 모델 자체를 변경하지 않고도 AMD의 새로운 AI 칩에서 네이티브로 실행되도록 만듭니다. 언패킹 단계와 수학 계산 단계를 융합하고, 데이터를 완벽하게 정리하며, 칩의 차선 전체를 활용함으로써, TileFuse는 노트북에서 AI를 실행하는 것을 훨씬 더 빠르고 에너지 효율적으로 만듭니다.

기술 요약: TileFuse

문제 정의

에지 디바이스에 대규모 언어 모델(LLM)을 배포하는 것은 엄격한 전력 및 열 예산을 충족하기 위해 신경망 처리 장치(NPU)에 점점 더 의존하고 있습니다. 그러나 클라이언트 NPU, 특히 AMD의 XDNA2 아키텍처에서 실질적인 LLM 추론은 상당한 장벽에 직면해 있습니다. 주요 장애물은 소프트웨어 스택의 파편화와 저수준 프로그래밍 가능성의 부족입니다. 대부분의 NPU 프레임워크(예: Apple Core ML, Intel OpenVINO, Qualcomm QNN)는 고수준 인터페이스나 독점적인 배포 경로만을 노출하며, AWQ(Activation-Weight Quantization)와 같이 널리 사용되는 기성 양자화 형식을 네이티브로 지원하지 않습니다.

결과적으로 개발자들은 NPU 전용 양자화 체계에 맞추기 위해 모델을 재구성하거나, 효율성이 떨어지는 전정밀도(full-precision) 실행에 의존해야 하는 상황에 처하게 됩니다. ScalingLLM(Qualcomm)과 같은 특정 플랫폼을 위한 하드웨어 인지 양자화를 탐구한 선행 연구들이 있었으나, 이들은 종종 $W4A16$ 과 같은 표준 형식을 지원하지 못하거나 현대적 LLM에서 흔히 나타나는 큰 행렬 차원(예: >8K)을 처리하지 못합니다. 또한, 기존의 NPU 최적화는 언패킹(unpacking)과 디퀀타이제이션(dequantization)을 컴퓨트 커널에 직접 퓨즈(fuse)하는 능력이 부족하여, 불필最佳한 메모리 트래픽과 비효율적인 데이터 이동을 초래합니다.

방법론

TileFuse는 AMD XDNA2 NPU를 타겟으로 하며, LLM 추론을 지배하는 선형 레이어(GEMM 및 GEMV)를 대상으로 설계된 근접 하드웨어(close-to-metal) 혼합 정밀도 커널 라이브러리입니다. 이 시스템은 오픈 MLIR-AIE(IRON) 프로그래밍 플로우를 활용하여 가중치 레이아웃, 메타데이터 배치, 마이크로커널 및 어레이 수준의 데이터플로우를 공동 설계합니다.

1. 퓨즈된 혼합 정밀도 마이크로커널 (Fused Mixed-Precision Microkernels)

TileFuse는 세 가지 별도의 연산을 단일 커널 흐름으로 융합합니다:

언패킹(Unpacking): 패킹된 INT4/INT8 가중치를 추출합니다.
디퀀타이제이션(Dequantization): 퍼 그룹(per-group) 또는 퍼 채널(per-channel) 스케일 및 제로 포인트를 사용하여 저비트 정수를 BF16으로 변환합니다.
실행(Execution): 행렬 곱셈(GEMM) 또는 행렬-벡터 곱셈(GEMV)을 수행합니다.

가중치를 컴퓨트 코어에 도달할 때까지 압축된 상태로 유지함으로써, TileFuse는 전체 정밀도(BF16) 가중치를 실체화하기 위해 필요한 글로벌 메모리 라운드 트립을 방지합니다. 마이크로커널은 각 가중치 타일을 한 번만 언패킹 및 디퀀타이제이션하여 결과 BF16 값을 로컬 컴퓨트 코어 메모리에 저장하고, 이를 후속 행렬 연산에 재사용하도록 설계되었습니다. 이를 통해 타일드 GEMM 성능에 필수적인 재사용 패턴을 보존합니다.

2. 인터리브드 프리-타일링 (Interleaved Pre-Tiling)

런타임 DMA 스트리밍 제약(일반적으로 지원 차원을 8K 미만으로 제한함)의 한계를 해결하기 위해, TileFuse는 오프라인 인터리브드 프리-타일링 전략을 채택합니다.

메타데이터 패킹: 양자화 메타데이터(스케일 및 제로 포인트)를 메모리 내 가중치 타일에 직접 패킹하여, 디퀀타이제이션에 필요한 모든 데이터가 연속적으로 사용 가능하도록 보장합니다.
레이아웃 재구성: 가중치 행렬을 인터리브드 컬럼 메이저(column-major) 레이아웃으로 재구성합니다. 이는 동일한 AIE 컬럼에 할당된 가중치 타일이 메모리 상에서 연속적이도록 보장하여, 단일 GEMM 연산이 여러 커널 호출로 분할되어야 하는 대규모 메모리 스트라이드를 제거합니다. 이 접근 방식은 최대 32K의 GEMM 차원을 지원합니다.

3. GEMV 데이터플로우 공동 설계 (GEMV Dataflow Co-Design)

에지 LLM의 토큰 생성은 일반적으로 배치 크기가 1인 GEMV 연산이며, 이는 전정밀도에서는 메모리 바운드(memory-bound)인 경우가 많으나 양자화 및 디퀀타이제이션이 도입되면 컴퓨트 바운드(compute-bound)가 됩니다.

기본 한계: 표준 GEMV 매핑은 종종 4×8 AIE 컴퓨트 어레이의 단일 행만을 사용하여 하드웨어의 대부분을 유휴 상태로 둡니다.
최적화: TileFuse는 가중치를 4×8 어레이 전체에 분산하도록 데이터플로우를 재설계합니다. 이는 메모리 코어를 중간 분포 레이어로 활용하여, 심(shim) 코어로부터 메모리 코어로 가중치 타일 번들을 스트리밍한 후, 메모리 코어가 이를 4개의 컴퓨트 행 전체로 팬아웃(fan-out)하도록 합니다. 이를 통해 공간적 활용도와 산술 처리량을 극대화합니다.

4. 재구성 가능성 인식 최적화 (Reconfigurability-Aware Optimization)

시스템은 특정 워크로드에 맞춰 컴퓨트 코어 마이크로커널과 DMA 액세스 패턴을 커스터마이징하기 위해 XDNA2 아키텍처의 재구성 가능성을 명시적으로 활용합니다. 그러나 저자들은 이러한 유연성이 런타임 디스patch 및 패브릭 재구성 오버헤드를 유발한다는 점을 인정합니다. TileFuse는 대규모 프리필링(prefilling) GEMM 중에 이 오버헤드를 상쇄하도록 최적화되었으나, 레이턴시에 민가한 소규모 GEMV 연산에서의 한계는 인지하고 있습니다.

주요 기여

실용적 양자화를 위한 퓨즈 커널: AWQ 스타일의 $W4A16$ 및 $W8A16$ 가중치를 직접 소비하는 퓨즈된 AIE 커널을 구현하여, 모델 재구성이나 독점적인 양자화 체계의 필요성을 제거했습니다.
인터리브드 프리-타일링: 최대 32K의 GEMM 차원을 지원하고, 메모리 액세스를 DMA 버퍼 디스크립터 제약에 정렬하여 효율적인 런타임 스트리밍을 가능하게 하는 레이아웃 전략입니다.
GEMV 데이터플로우 재설계: 가중치를 4×8 AIE 어레이 전체에 분산하여 토큰 생성 처리량을 크게 향상시키는 새로운 데이터플로우입니다.
엔드 투 엔드 에지 효율성: 이러한 커널을 하이브리드 런타임(선형 레이어는 NPU, 어텐션/비선형 레이어는 iGPU)에 통합하여 레이턴시와 에너지 효율성에서 상당한 이득을 입증했습니다.

결과

평가는 Llama3-8B, Gemma-2B, Qwen2.5-3B와 같은 모델을 사용하여 Ryzen AI 노트북(Ryzen AI 7 350 및 Ryzen AI 9 HX 370)에서 수행되었습니다.

커널 성능:
- GEMM: TileFuse는 전정밀도 베이스라인 대비 최대 **121.6%**의 성능 향상을 달성했습니다.
- GEMV: TileFuse는 전정밀도 베이스라인 대비 최대 **281%**의 성능 향상을 달성했습니다.
- 비교: GEMM에서 TileFuse는 강력한 iGPU 베이스라인(llama.cpp 퓨즈 커널) 대비 2배 이상의 성능 및 에너지 효율 이득을 제공합니다.
엔드 투 엔드 LLM 추론:
- 프리필링(Prefilling): Ryzen AI 7 350에서 TileFuse는 iGPU 베이스라인 대비 최대 2.0× 낮은 프리필링 레이턴시(예: 2048 토큰에서 Llama3-8B에 대해 2.00× 속도 향상)를 달성했습니다.
- 에너지: TileFuse는 Ryzen AI 7 350에서 64.6% 이상, Ryzen AI 9 HX 370에서 52.8% 이상의 에너지 소비를 감소시켰습니다.
- 토큰 생성: GEMV 연산자의 마이크로초 단위 실행 시간 대비 밀리초 단위의 커널 디스패치 및 재구성 오버헤드로 인해, 토큰 생성 시에는 NPU가 iGPU보다 성능이 낮게 나타납니다.
선행 연구와의 비교: TileFuse는 프리필링 처리량 측면에서 최근의 NPU 기반 프레임워크인 FastFlowLM 및 Scaling NPU를 능가합니다 (예: Llama3-8B 및 Qwen2.5-3B에서 각각 1.45× 및 1.61× 속도 향상).

의의 및 주장

본 논문은 TileFuse가 AMD XDNA2 NPU가 효율적인 기성 양자화 LLM 추론을 위한 실질적인 타겟임을 입증한다고 주장합니다. 하드웨어에 직접 밀착된 최적화를 통해 AWQ와 같은 표준 형식을 직접 가져옴으로써, 이 연구는 원시 NPU 잠재력과 실제 클라이언트 배포 사이의 간극을 메웁니다.

저자들은 TileFuse의 성공이 하이브리드 배포 전략에 달려 있음을 강조합니다: 즉, 대규모 컨텍스트 프리필링(오버헤드가 상쇄되는 구간)에서는 NPU의 재구성 가능한 공간 어레이를 활용하고, 레이턴시에 민감한 토건 생성 시에는 iGPU에 의존하는 것입니다. 이 접근 방식은 모델을 독점적인 제약 조건에 맞추는 대신, 하드웨어가 사용자 중심의 양자화 형식에 적응할 때 NPU가 상당한 성능 및 에너지 이점을 제공할 수 있음을 검증합니다. 본 연구는 적절한 커널 및 데이터플로우 공동 설계를 통해, 소프트웨어 스택의 파편화가 존재하는 상황에서도 NPU가 에지 AI를 위한 유의미한 성능 및 에너지 이득을 전달할 수 있음을 확립합니다.