💬 NLP

SparDA: Sparse Decoupled Attention for Efficient Long-Context LLM Inference

SparDA는 효율적인 룩어헤드(lookahead) 선택과 CPU-GPU 프리페칭의 오버랩을 가능하게 하는 전용 "Forecast" 프로젝션을 갖춘 희소하고 분리된 어텐션 아키텍처를 도입함으로써, KV 캐시 병목 현상을 극복하고 선택 복잡도를 줄여 정확도를 유지하면서도 롱 컨텍스트 LLM 추론을 크게 가속화합니다.

원저자: Yaosheng Fu, Guangxuan Xiao, Xin Dong, Song Han, Oreste Villa

게시일 2026-06-04

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yaosheng Fu, Guangxuan Xiao, Xin Dong, Song Han, Oreste Villa

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 단 하나의 질문에 답하기 위해 10만 페이지에 달하는 거대한 책을 읽어야 한다고 상상해 보십시오. 당신은 고속 사무실(GPU)에 앉아 있는 매우 똑똑한 AI(거대 언어 모델)이지만, 책이 너무 길어서 책상 위에 다 올려둘 수가 없습니다. 대부분의 책은 복도 건너편의 창고(CPU 메모리)에 두어야 합니다.

매번 새로운 페이지를 읽을 때마다 당신은 다음 과정을 거쳐야 합니다:

어떤 페이지가 중요한지 찾아보고,
창고로 달려가 그 페이지들을 가져오고,
다시 책상으로 달려와서 그것들을 읽어야 합니다.

기존 방식에는 두 가지 문제가 있습니다:

"달리는 것"이 느립니다: 복도(PCIe 연결)는 당신의 책상보다 훨씬 느립니다. 매 페이지마다 복도를 왔다 갔다 해야 한다면, 당신은 읽는 시간보다 달리는 데 더 많은 시간을 쓰게 됩니다.
"찾아보는 것"이 진 빠집니다: 어떤 페이지를 가져올지 결정하기도 전에, 무엇이 중요한지 결정하기 위해 전체 페이지 목록을 전부 훑어야 합니다. 책이 길어질수록 이 스캐닝 작업은 엄청나게 오래 걸리며, 당신이 달리기도 전에 이미 속도를 늦춰버립니다.

SparDA의 등장: "수정구슬"을 가진 사서

이 논문은 이 과정을 훨씬 빠르게 만들기 위해 설계된 새로운 시스템인 SparDA를 소개합니다. 이 시스템은 "분리된 어텐션(Decoupled Attention)"이라고 불리는 두 가지 비결을 사용합니다.

1. 수정구슬 (예측, The "Forecast")

기존 시스템에서는 현재 페이지를 다 읽은 후에, 다음 문장을 위해 어떤 페이지가 필요할지 전체 목록을 훑어야 했습니다. 이는 항상 한 발짝 뒤처지는 것을 의미했습니다.

SparDA는 당신의 뇌에 특별한 "수정구슬" 투영(Forecast) 기능을 추가합니다. 당신이 현재 100페이지를 읽고 있는 동안, 수정구슬은 이미 앞을 내다보며 다음 101페이지를 위해 어떤 페이지가 필요할지를 알려줍니다.

이것이 중요한 이유: 수정구슬은 당신이 현재의 과업을 마치기도 전에 무엇이 필요한지 미리 알기 때문에, 시스템은 당신이 현재 페이지를 읽는 동안 다음 페이지들을 가져오도록 러너(runner)를 보낼 수 있습니다. 이것을 "오버래핑(overlapping)"이라고 합니다. 당신은 러너를 기다리는 것이 아니라, 당신이 작업하는 동안 러너가 백그라운드에서 작업하고 있는 것입니다.

2. 간소화된 인덱스 (압축된 선택기, The "Compact Selector")

기존 시스템에서 어떤 페이지를 가져올지 결정하는 것은, 어떤 책을 꺼낼지 결정하기 위해 100명의 사서가 동시에 소리를 지르는 것과 같았습니다. 이는 혼란스럽고 느렸습니다( $O(T^2)$ 복잡도).

SparDA는 책을 찾는 사람(선택기, Selector)이 텍스트를 읽는 사람(어텐션, Attention)과 동일할 필요가 없다는 점을 깨달았습니다. 그래서 SparDA는 100명의 소리 지르는 사서 대신, 적절한 선반을 가리키기만 하는 한 명의 효율적인 사서(Forecast head)로 대체했습니다.

이것이 중요한 이유: 이는 의사결정 과정을 단순화합니다. 이 과정은 무거운 수학 연산(예: "softmax" 연산)을 제거하여, 책이 아무리 길어져도 "찾아보는" 단계를 믿을 수 없을 정도로 빠르게 만듭니다.

결과: 속도와 지능

저자들은 두 개의 80억 파라미터 AI 모델(매우 똑똑하지만 아직 '슈퍼' 거인은 아닌 수준)을 대상으로 테스트를 진행했습니다. 결과는 다음과 같습니다:

정확도 손실 없음: AI가 "멍청해지지" 않았습니다. 오히려 매우 긴 추론 작업에서는 더 긴 문맥을 혼란 없이 처리할 수 있게 되어 오히려 약간 더 똑똑해졌습니다.
더 빠른 읽기 (Prefill): AI가 긴 문서를 처음 읽으며 준비할 때, 최대 1.25배 더 빨랐습니다.
더 빠른 답변 (Decode): AI가 한 번에 한 단어씩 답변을 생성할 때, 최대 1.7배 더 빨랐습니다.
"배치(Batch)" 보너스: 시스템이 매우 효율적이기 때문에, 사무실에 더 많은 "학생들(배치)"을 동시에 수용할 수 있습니다. 어떤 경우에는 SparDA가 이 오프로딩(offloading) 기술을 사용하지 않는 시스템보다 초당 5.3배 더 많은 데이터를 처리할 수 있게 해주었습니다.

핵심 요약

SparDA를 도서관 시스템의 업그레이드로 생각해보십시오. 사서가 읽기를 멈추고, 전체 카탈로그를 훑고, 그 후에 다음 책을 가지러 가는 대신, SparDA는 사서에게 예측 지도와 단 한 명의 매우 빠른 조수를 제공합니다. 이를 통해 사서는 백그라운드에서 조수가 이미 다음 책들을 가져오는 동안에도 전속력으로 계속 읽을 수 있습니다.

이 논문은 SparDA가 전체 AI 모델을 처음부터 다시 학습시킬 필요 없이, 이 작은 특화된 "수정구슬" 구성 요소를 추가하는 것만으로도 긴 문맥의 AI 추론(긴 텍스트를 읽고 이해하는 것)을 훨씬 더 빠르고 효율적으로 만든다고 주장합니다.

기술 요약: SparDA: 효율적인 롱 컨텍스트 LLM 추론을 위한 희소 분리 어텐션 (Sparse Decoupled Attention)

1. 문제 정의

현대적인 대규모 언어 모델(LLM)은 에이전트 및 장기 추론 작업을 위해 점점 더 긴 컨텍스트 창을 필요로 하며, 이는 서빙 인프라에 세 가지 주요 효율성 과제를 부과합니다:

높은 연산 요구량: 프리필(prefill) 단계에서 상당한 어텐션 연산이 필요합니다.
메모리 대역폭 압박: 디코드(decode) 단계는 메모리 대역폭에 의해 크게 제한됩니다.
KV 캐시 용량: 긴 시퀀스에 대한 전체 키-값(Key-Value, KV) 캐시를 저장하는 것은 GPU 메모리 용량을 초과합니다.

희소 어텐션(Sparse attention)은 연산 및 대역폭을 줄여주지만, 두 가지 결정적인 병목 현상이 남아 있습니다:

PCIe 전송 병목: GPU 용량을 확보하기 위해 KV 캐시를 CPU 메모리로 오프로딩(offloading)하면 레이턴시 병목이 발생합니다. 선택된 블록을 PCIe를 통해 가져오는 것은 GPU 메모리 접근보다 훨씬 느립니다.
희소 선택 오버헤드: 희소 어텐션이 복잡도를 $O(T^2)$ 에서 $O(T)$ 로 줄여주지만, 선택 단계(selection step) 자체는 여전히 $O(T^2)$ 의 복잡도를 유지하는 경우가 많습니다. 컨텍스트 길이( $T$ )가 증가함에 따라, 이 선택 비용이 어텐션 모듈에서 지배적인 비중을 차지할 수 있습니다.
부정확한 룩어헤드(Lookahead): 기존의 룩어헤드 프리페칭(prefetching) 방법(예: InfiniGen)은 미래의 어텐션을 예측하기 위해 원시 은닉 상태(raw hidden states)를 프록시로 사용하는데, 이는 레이어 간 유사성이 깨질 때 부정확할 수 있습니다.

2. 방법론: SparDA 아키텍처

SparDA(Sparse Decoupled Attention)는 분리된 희소 어텐션 아키텍처를 도입하여 이러한 문제를 해결합니다. 이 방식은 표준적인 Query ( $Q$ ), Key ( $K$ ), Value ( $V$ )와 함께 네 번째 레이어별 투영(projection)인 **Forecast ( $F_l$ )**를 추가합니다.

핵심 혁신

학습 가능한 룩어헤드 희소 선택 (Trainable Lookahead Sparse Selection):
- 분리(Decoupling): 표준 희소 어텐션에서는 Query ( $Q_l$ )가 동일한 레이어 내에서 top- $k$ 선택과 어텐션 연산을 모두 주도합니다. SparDA는 이러한 역할을 분리합니다.
- 메커니즘: 레이어 $l$ 에서 생성된 Forecast ( $F_l$ )는 레이어 $l+1$ 에 필요한 top- $k$ 블록을 예측합니다. 그 후 어텐션 쿼리 ( $Q_{l+1}$ )는 이렇게 사전 선택된 블록들을 사용하여 실제 희소 어텐션을 수행합니다.
- 이점: 이를 통해 **룩어헤드 프리페칭(lookahead prefetching)**이 가능해집니다. 레이어 $l$ 이 실행되는 동안, 시스템은 레이어 $l+1$ 에 필요한 KV 블록을 CPU 메모리에서 GPU로 비동기적으로 가져올 수 있으며, 이를 통해 PCIe 전송 레이턴시를 연산과 중첩(overlap)시킬 수 있습니다.
컴팩트한 Forecast 인덱서 (Compact Forecast Indexer):
- Forecast는 어텐션 쿼리와 분리되어 있으므로, 전체 멀티 헤드 쿼리 구조를 유지할 필요가 없습니다.
- GQA(Grouped Query Attention) 구현에서, SparDA는 하나의 쿼리 헤드당 하나가 아닌, GQA 그룹당 하나의 Forecast 헤드(KV 헤드 수와 일치)를 사용합니다.
- 이 설계는 per-query-head 스코어링 루프를 제거하고 소프트맥스(softmax) 연산을 건너뛰어, 선택 단계의 계산 오버헤드를 크게 줄입니다.
지속적 UVA 커널을 이용한 비동기 프리페치 (Asynchronous Prefetch with Persistent UVA Kernel):
- SparDA는 지속적인 통합 가상 주소(Unified Virtual Addressing, UVA) Triton 커널을 사용하여 비동기 프리페치 파이프라인을 구현합니다.
- 이 커널은 고정된 GPU 스레드 블록(CTA) 세트를 유지하여 메인 GPU 커널과 병렬로 블록 전송 작업을 지속적으로 처리합니다.
- 이 접근 방식은 런칭 오버헤드와 동기화를 최소화하여, 대규모 배치, 고처리량 디코딩에서 희소 어텐션 오프로딩을 실용적으로 만듭니다.

학습 전략

경량 적응 (Lightweight Adaptation): SparDA는 베이스 모델을 재학습하지 않고도 기존의 희소 사전 학습된 모델에 통합될 수 있습니다.
매개변수 효율성: Forecast 투영만 학습하므로 추가되는 파라미터는 0.5% 미만입니다 (8B 모델 기준 33.5M 파라미터).
목적 함수: Forecast는 원래의 셀렉터(selector)의 블록 어텐션 분포를 KL 발산(Kullback–Leibler divergence)을 사용하여 일치하도록 학습됩니다.
세밀한 감독 (Fine-Grained Supervision): 학습 타겟은 추론 윈도우(32, 16)보다 더 미세한 압축 윈도우(커널 크기 2, 스트라이드 1)를 사용하여 더 높은 해상도의 감독을 제공하며, 이후 추론 그리드에 맞게 max-pooling됩니다.

3. 실험 결과

저자들은 NVIDIA H100 및 A100 GPU에서 두 가지 희소 사전 학습된 8B 모델인 MiniCPM4.1-8B와 NOSA-8B를 대상으로 Dense, Sparse (offload), 그리고 InfiniGen 베이스라인과 비교하여 SparDA를 평가했습니다.

정확도 (Accuracy)

성능: SparDA는 롱 컨텍스트 및 롱 리즈닝 벤치마크(HELMET, LongBench, RULER, MATH-500, AIME)에서 Sparse 베이스라인과 대등하거나 약간 개선된 성능을 보입니다.
길이 일반화 (Length Generalization): SparDA는 확장된 시퀀스 길이(최대 128K)에서 Sparse 베이스라인보다 우수한 성능을 보입니다. NOSA-8B의 경우, 시퀀스 길이가 길어질수록 정확도 격차가 벌어지는데(예: RULER에서 128K 시점에 +4.3 포인트), 이는 학습된 Forecast가 학습되지 않은 프록시보다 더 잘 일반화됨을 시사합니다.
비교: SparDA는 은닉 상태 유사성에 의존하여 정확도가 저하되는 InfiniGen보다 성능이 현저히 뛰어납니다.

효율성 (Efficiency)

프리필 속도 향상: MiniCPM4.1-8B의 128K 컨텍스트 길이에서 SparDA는 Sparse offload 베이스라인 대비 최대 1.25배, Dense 어텐션 대비 2.11배의 속도 향상을 달립니다. 이는 Forecast 인데서의 블록 선택 비용 감소에 기인합니다.
디코드 속도 향상: SparDA는 Sparse offload 베이스라인 대비 최대 1.7배의 디코드 속도 향상을 달성합니다. 룩어헤드 설계 덕분에 현재 레이어의 연산 뒤에 PCIe의 KV 블록 전송을 숨길 수 있습니다.
처리량 (Throughput): 단일 GPU에서 더 큰 배치 사이즈를 가능하게 함으로써(비-오프로드 베이스라인에서 흔히 발생하는 OOM 에러 방지), SparDA는 비-오프로드 희소 베이스라인보다 최대 5.3배 높은 디코드 처리량에 도달합니다.

4. 의의 및 주장

본 논문은 SparDA가 KV 캐시 용량 병목 현상과 희소 선택 오버헤드를 동시에 해결함으로써 효율적인 롱 컨텍스트 LLM 추론을 위한 실질적인 솔루션을 제공한다고 주장합니다.

핵심 동력으로서의 분리 (Decoupling as a Key Enabler): 선택 메커니즘을 어텐션 쿼리와 분리함으로써, SparDA는 전체 모델을 재학습하지 않고도 이전에는 정확하게 달성하기 어려웠던 "룩어헤드" 능력을 가능하게 합니다.
시스템-알고리즘 공동 설계 (System-Algorithm Co-design): 학습 가능한 Forecast 인데서와 지속적인 UVA 프리페치 커널의 결념은 통신과 연산의 효과적인 중첩을 허용하여, 대규모 배치 디코딩에서 CPU 오프로딩을 실용적으로 만듭니다.
낮은 오버헤드: 이 방법은 무시할 만한 수준의 파라미터 오버헤드(<0.5%)를 도입하며 경량 파인튜닝만을 요구하므로, 기존 희소 사전 학습 모델에 배포 가능한 업그레이드 방식입니다.

저자들은 결론적으로 SparDA가 정확도를 희생하지 않으면서도 단일 GPU에서 더 큰 배치 사이즈와 더 긴 컨텍스트 창을 사용할 수 있게 하여, 프로덕션 환경에서 롱 컨텍스트 LLM을 배포하는 데 있어 중요한 장벽을 해결한다고 밝히고 있습니다.