💬 NLP

AsyncTLS: Efficient Generative LLM Inference with Asynchronous Two-level Sparse Attention

AsyncTLS 는 블록 필터링과 토큰 선택을 결합한 계층적 희소 어텐션과 비동기 오프로딩 엔진을 통해 긴 컨텍스트 LLM 추론 시 정확도를 유지하면서 연산 속도와 처리량을 획기적으로 개선합니다.

원저자: Yuxuan Hu, Jianchao Tan, Jiaqi Zhang, Wen Zan, Pingwei Sun, Yifan Lu, Yerui Sun, Yuchen Xie, Xunliang Cai, Jing Zhang

게시일 2026-04-10

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yuxuan Hu, Jianchao Tan, Jiaqi Zhang, Wen Zan, Pingwei Sun, Yifan Lu, Yerui Sun, Yuchen Xie, Xunliang Cai, Jing Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🚀 문제: "방대한 도서관"과 "작은 책상"의 딜레마

인공지능이 긴 글을 읽을 때, 그 모든 내용을 기억하려면 엄청난 메모리 (KV 캐시) 가 필요합니다. 하지만 컴퓨터의 메모리는 한정되어 있습니다.

기존의 방법 1 (모두 읽기): 도서관에 있는 모든 책 (문장) 을 책상 위에 다 펼쳐놓고 읽습니다. 정확하지만 책상이 너무 커서 (메모리 부족) 책상 밖으로 내보내야 하고, 다시 가져오느라 시간이 너무 오래 걸립니다.
기존의 방법 2 (조각조각 읽기): 책상 위에 몇 권만 올려두고 나머지는 창고에 둡니다. 하지만 '어떤 책이 중요한지'를 매번 정밀하게 고르느라 (토큰 단위 선택) 시간이 너무 걸립니다.
기존의 방법 3 (뭉텅이로 읽기): 책 전체를 '장 (Chapter)' 단위로 묶어서 고릅니다. 빠르지만, 중요한 내용이 섞인 장 전체를 가져오거나, 정작 중요한 한 문장이 있는 장을 놓칠 수 있어 정확도가 떨어집니다.

✨ 해결책: AsyncTLS (비동기 2 단계 스파스 어텐션)

AsyncTLS 는 이 모든 단점을 해결하기 위해 **"2 단계 필터링"**과 **"비동기 작업"**을 결합했습니다.

1. 2 단계 필터링: "도서관 사서"와 "전문가"의 협업

이 기술은 중요한 정보를 찾을 때 두 단계를 거칩니다.

1 단계 (거친 필터링 - 블록 단위):
먼저 도서관 사서가 "어떤 **장 (Block)**에 중요한 내용이 있을지" 대략적으로 빠르게 훑어봅니다. (예: "3 장과 5 장에 핵심 내용이 있겠구나.")
- 비유: 도서관 전체를 다 뒤지지 않고, 관련 있는 '장'만 골라냅니다.
2 단계 (정밀 필터링 - 토큰 단위):
이제 전문가가 골라낸 '장' 안으로 들어가서, **정말 중요한 '문장 (Token)'**만 딱 집어냅니다.
- 비유: 3 장과 5 장만 가져와서, 그 안에서 핵심 문장 3 개만 뽑아냅니다.

결과: '모든 책을 다 보는 것'보다 빠르고, '뭉텅이로만 보는 것'보다 정확합니다.

2. 비동기 오프로딩 엔진: "요리사와 배달부"의 동시 작업

메모리가 부족해서 데이터를 컴퓨터 (GPU) 와 외부 저장소 (CPU) 사이에서 오갈 때, 기다리는 시간이 문제입니다. AsyncTLS 는 이 시간을 아끼기 위해 동시 작업을 합니다.

상황: 요리사 (계산) 가 요리를 하고 있는데, 재료가 떨어지면 배달부 (데이터 전송) 가 와서 재료를 가져와야 합니다. 보통은 요리사가 멈추고 기다려야 합니다.
AsyncTLS 의 방식:
1. 요리사가 지금 요리를 하는 동안, 배달부는 다음 요리에 필요한 재료를 미리 준비해 옵니다.
2. 그리고 지금 필요한 재료는 이미 준비되어 있으니 바로 사용합니다.
3. 또한, 매번 재료를 통째로 가져오지 않고, 변화된 부분만 가져옵니다. (예: "이전엔 소금 1 개, 이번엔 소금 2 개 필요" → 소금 1 개만 더 가져옴)

결과: 요리사 (계산) 가 멈추는 시간이 거의 없어져서 전체 속도가 매우 빨라집니다.

🏆 이 기술의 성과 (실제 결과)

이 기술을 적용한 실험 결과, 다음과 같은 놀라운 성과를 거두었습니다.

정확도: 모든 책을 다 읽는 것과 거의 똑같은 정확도를 냅니다. (지능이 떨어지지 않음)
속도:
- 연산 속도가 기존 방법보다 1.2 배에서 10 배까지 빨라졌습니다.
- 전체 처리량 ( throughput ) 은 1.3 배에서 4.7 배 증가했습니다.
적용: 다양한 최신 AI 모델 (Qwen3, GLM-4.7 등) 과 긴 문서 (32,000~96,000 단어) 에서 모두 잘 작동했습니다.

💡 한 줄 요약

AsyncTLS는 "긴 글을 읽을 때, 먼저 관련 있는 장을 빠르게 골라낸 뒤 (1 단계), 그 안에서 핵심 문장만 정밀하게 뽑아내고 (2 단계), 동시에 다음 재료를 미리 준비하는 (비동기) 방식으로, 정확성은 유지하면서 속도는 폭발적으로 높인 새로운 AI 기술입니다.

1. 문제 정의 (Problem Statement)

대규모 언어 모델 (LLM) 의 긴 문맥 (Long-context) 추론은 두 가지 주요 병목 현상에 직면해 있습니다.

이차적 복잡도 (Quadratic Complexity): 자기 주의 (Self-attention) 메커니즘의 계산 복잡도가 시퀀스 길이의 제곱에 비례하여 증가합니다.
KV 캐시 메모리 폭주: 시퀀스 길이가 수십만 토큰으로 늘어나면 Key-Value (KV) 캐시 메모리 사용량이 GPU 의 고대역폭 메모리 (HBM) 용량을 초과하여, 느린 CPU 메모리로의 오프로딩 (Offloading) 이 필수적이지만 이는 지연 시간을 유발합니다.

기존의 희소 주의 (Sparse Attention) 기법들은 다음과 같은 한계가 있었습니다:

토큰 레벨 (Token-level): H2O, SnapKV 등 개별 토큰을 선택하여 정밀도는 높지만, 매 디코딩 단계에서 모든 후보 토큰에 대한 인덱싱 비용이 너무 커서 성능 병목이 발생합니다.
블록 레벨 (Block-level): Quest, InfLLM 등 연속된 토큰 덩어리 (블록) 를 선택하여 인덱싱 비용은 낮지만, 관련 없는 토큰을 포함하거나 중요한 토큰을 누락하여 모델의 정확도가 떨어집니다.

2. 제안 방법론: AsyncTLS

저자들은 비동기 2 단계 희소 주의 (Asynchronous Two-level Sparse Attention) 시스템인 AsyncTLS를 제안합니다. 이는 정밀도와 효율성을 균형 있게 잡기 위해 두 가지 핵심 아이디어를 결합합니다.

A. 계층적 2 단계 희소 주의 (Hierarchical Two-level Sparse Attention)

정밀한 토큰 선택의 이점을 유지하면서 인덱싱 오버헤드를 줄이기 위해 두 단계의 필터링을 수행합니다.

1 단계: 블록 레벨 필터링 (Coarse-grained Block Filtering)
- KV 캐시를 블록 단위로 나누고, 각 블록의 중요도 점수를 빠르게 계산하여 관련성이 낮은 블록을 대량으로 제거합니다.
- 기존 Quest 와 유사하지만, 공유-KV 아키텍처 (MQA, MLA) 에서 효율적인 GEMM 연산으로 재구성하여 연산 효율을 극대화했습니다.
2 단계: 토큰 레벨 선택 (Fine-grained Token Selection)
- 1 단계에서 선별된 블록 내에서만 Double Sparsity 기법을 적용하여 가장 중요한 개별 토큰을 정밀하게 선택합니다.
- 이를 통해 전체 시퀀스 전체를 검색하는 대신, 제한된 후보 집합 내에서만 정밀한 계산을 수행하여 인덱싱 비용을 획기적으로 줄입니다.

B. 비동기 오프로딩 엔진 (Asynchronous Offloading Engine)

긴 문맥 처리 시 GPU 메모리 부족을 해결하기 위해 KV 캐시를 CPU 메모리로 오프로딩하되, 데이터 전송 지연을 숨기는 전략을 사용합니다.

시간적 국소성 활용 (Temporal Locality): 현재 단계의 블록 선택 결과가 다음 단계의 토큰 선택 요구사항을 예측하는 데 유용하다는 통찰을 기반으로 합니다.
비동기 프리페칭 (Asynchronous Prefetching):
- $t$ 단계에서 $t-1$ 단계의 블록 선택 결과를 바탕으로 토큰 레벨의 희소 계산을 수행하는 동시에, $t+1$ 단계에 필요한 블록을 CPU 에서 GPU 로 비동기적으로 미리 가져옵니다.
- 이를 통해 메모리 전송 (I/O) 과 연산 (Computation) 을 중첩 (Overlap) 하여 지연 시간을 숨깁니다.
증분 블록 전송 (Incremental Block Transfer):
- 연속된 단계 간 블록 선택 결과가 크게 변하지 않는다는 점을 이용합니다.
- 전체 블록을 전송하는 대신, 이전 단계와 다른 변화된 블록 (Difference) 만 전송하여 PCIe 대역폭 소모를 최소화합니다.

3. 주요 기여 (Key Contributions)

계층적 희소 주의 아키텍처: 블록 레벨의 효율성과 토큰 레벨의 정밀도를 결합한 2 단계 선택 메커니즘을 통해, 토큰 레벨 희소 주의의 정확도를 유지하면서 인덱싱 오버헤드를 해결했습니다.
AsyncTLS 오프로딩 엔진: 비동기 프리페칭과 증분 전송 전략을 통해 KV 캐시 오프로딩 환경에서도 토큰 레벨 희소 주의가 효율적으로 작동하도록 설계했습니다.
광범위한 평가: MHA, GQA, 그리고 압축된 잠재 표현을 사용하는 MLA (Multi-head Latent Attention) 아키텍처까지 포괄적으로 검증하여 방법론의 범용성을 입증했습니다.

4. 실험 결과 (Results)

Qwen3-8B/14B 및 GLM-4.7-Flash 모델을 LongBench 및 RULER 벤치마크에서 평가했습니다.

정확도 (Accuracy):
- 전체 주의 (Full Attention) 와 거의 구별되지 않는 정확도를 달성했습니다.
- 기존 블록 레벨 방법 (Quest) 보다 훨씬 우수한 성능을 보였으며, 토큰 레벨 방법 (Double-Sparsity) 과 유사하거나 더 나은 결과를 기록했습니다.
성능 (Efficiency):
- 연산자 속도 향상: 48k~~96k 문맥 길이에서 Full Attention 대비 **1.2 배~~10.0 배**의 연산 속도 향상을 달성했습니다.
- 종단 간 처리량 (Throughput): 캐시 오프로딩을 활성화한 환경에서 Full Attention 대비 1.3 배~4.7 배의 처리량 향상을 보였습니다. 특히 96k 문맥에서 배치 처리가 가능해져 처리량이 크게 증가했습니다.
- MLA 아키텍처에서도 Full Attention 대비 최대 10 배의 속도 향상을 기록했습니다.

5. 의의 및 결론 (Significance)

AsyncTLS 는 **정밀도 (Accuracy)**와 효율성 (Efficiency) 사이의 오랜 트레이드오프를 해결하는 실용적인 솔루션을 제시합니다.

훈련 불필요 (Training-free): 모델의 가중치를 재학습시키지 않고도 기존 LLM 에 적용 가능합니다.
하드웨어 효율성: 현대 GPU 의 연산 단위 (Tensor Cores) 를 효율적으로 활용하도록 설계되었으며, 메모리 대역폭 병목을 해결합니다.
확장성: 수십만 토큰의 초장문맥 (Ultra-long context) 생성을 가능하게 하여, 긴 문서 요약, 복잡한 추론, 코드 생성 등 다양한 분야에서 LLM 의 실용성을 크게 높일 것으로 기대됩니다.

요약하자면, AsyncTLS 는 계층적 필터링과 비동기 메모리 관리를 통해 긴 문맥 LLM 추론의 핵심 병목인 계산 복잡도와 메모리 제약을 동시에 해결한 획기적인 시스템입니다.