🤖 machine learning

Accelerating Attention with Basis Decomposition

이 논문은 현대 GPU에서 모델 성능에 미치는 영향이 미미하면서도 재학습 없이 상당한 속도 향상과 가중치 감소를 달성하는, 기저 분해(Basis Decomposition)에 기반한 무손실이자 아키텍처 불가지론적인 어텐션의 알고리즘적 재구성인 BD 어텐션(BDA)을 소개한다.

원저자: Jialin Zhao

게시일 2026-06-29

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jialin Zhao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대 언어 모델(이 대화의 기반이 되는 모델과 같은)을 거대하고 매우 효율적인 도서관이라고 상상해 보세요. 질문에 답하기 위해 도서관의 "두뇌"(Attention 메커니즘)는 수백만 권의 책을 빠르게 훑고, 가장 관련 있는 페이지들을 찾아내어, 이를 하나의 답변으로 결합해야 합니다.

문제는 이 스캐닝 과정이 매우 무겁다는 점입니다. 이는 도서관이 거대한 인덱스 카드 뭉치(가중치)를 들고 다니며 끊임없이 섞어야 함을 의미하며, 이로 인해 속도가 느려지고 많은 공간을 차지하게 됩니다.

이 논문은 이 인덱스 카드들을 정리하는 영리하고 새로운 방법인 **BDA (Basis Decomposition Attention)**를 소개합니다. 다음은 쉬운 비유를 사용한 작동 방식입니다.

1. 문제점: 너무 많은 것을 들고 다니는 것

표준적인 도서관에서는 특정 사실을 찾고 싶을 때, 매 권의 책마다 매우 상세한 지도를 찾아봐야 할 수도 있습니다. 설령 그 지도의 90%가 빈 공간이거나 반복되는 정보일지라도, 사서는 전체를 다 들고 가야 합니다. 이것이 현재의 AI 모델들이 하는 방식입니다. 그들은 답변을 계산하기 위해 중복된 데이터를 계속 들고 다닙니다.

2. 해결책: "마스터 키" 시스템

저자들은 **기저 분해(Basis Decomposition)**라고 불리는 새로운 방법을 제안합니다. 다음과 같이 생각해 보세요:

당신에게 100가지의 서로 다른 레시피가 있다고 상상해 봅시다. 자세히 살펴보면, 80개의 레시피는 단지 20가지의 기본 재료를 약간씩 다르게 조합한 것뿐이라는 사실을 깨닫게 됩니다.

기존 방식: 100개의 전체 레시피를 모두 적습니다. 당신은 거대한 요리책이 필요하며, 요리할 때마다 100페이지를 모두 읽어야 합니다.
BDA 방식: 20가지의 핵심 재료(기저, Basis)를 한 번 적어둡니다. 그런 다음 나머지 80개의 레시피에는 "재료 1, 3, 5를 섞으시오"라는 아주 작은 메모만 남깁니다. 전체 레시피를 다시 쓰는 대신, 핵심 목록을 참조하는 것입니다.

이것이 바로 BDA가 하는 일입니다. BDA는 "핵심 재료"(가장 중요한 수학적 부분)를 찾아내어 별도로 저장합니다. 나머지 데이터는 단순히 그 핵심 재료들을 어떻게 섞을지에 대한 간단한 지침일 뿐입니다.

3. 마법: 손실이 없음 (품질 저하 없음)

보통 파일을 축소하거나 레시피를 요약하려고 하면 세부 사항을 잃게 됩니다. 소금의 양이 달라져서 케이크 맛이 약간 변할 수도 있습니다.

논문은 BDA가 **무손실(Lossless)**이라고 주장합니다. 이것은 마치 "마법의 해독 반지"를 가진 것과 같습니다.

AI가 답변을 계산해야 할 때, "핵심 재료"와 "작은 메모"를 사용하여 수학적으로 정확한 원래의 레시피를 재구성합니다.
결과는 기존의 무거운 방식과 동일합니다. AI가 "멍청해지는" 것이 아니라, 단지 중복되고 무거운 데이터를 들고 다닐 필요가 없기 때문에 더 빨라지는 것입니다.

4. 결과: 더 빠르고 더 작게

저자들은 실제 대규모 AI 모델(DeepSeek-V2-Lite)에서 이를 테스트했습니다. 결과는 다음과 같습니다:

속도: "Key/Value" 프로젝션(도서관을 스캔하는 뇌의 부분)이 34% 빨라졌습니다.
크기: 모델의 "두뇌"(가중치)가 25% 더 작아졌습니다.
품질: 모델의 성능 변화는 거의 없었습니다. 논문은 품질의 변화가 0.02%로 아주 미미하다고 언급했는데, 이는 요리사가 소금 한 큰술 대신 소금 한 꼬집을 넣은 것과 같아서, 사실상 같은 요리라고 볼 수 있습니다.

5. 다른 기술들과의 차이점

논문은 BDA를 속도를 높이는 다른 두 가지 일반적인 방법과 비교합니다:

FlashAttention: 이것은 더 빨리 달리고 선반을 더 잘 정리하는 더 빠른 사서를 고용하는 것과 같습니다. 속도 향상에는 도움이 되지만, 당신이 들고 다녀야 하는 책의 수를 줄여주지는 않습니다.
Pruning/Quantization (가지치기/양자화): 이것은 일부 책을 버리거나 더 작은 글씨로 쓰는 것과 같습니다. 공간은 절약되지만, 정보를 잃을 수 있고 책의 내용이 말이 안 될 수도 있습니다.

BDA는 다릅니다. BDA는 아무것도 버리지 않으며, 단순히 더 빨리 실행되는 것도 아닙니다. BDA는 정보를 재구조화하여, 원래 이야기의 단 한 페이지도 잃지 않으면서도 도서관을 물리적으로 더 작고 운반하기 쉽게 만듭니다.

요약

이 논문은 AI 모델이 똑같은 작업을 수행하면서도 짐을 덜 수 있게 해주는 수학적 트릭을 제시합니다. 이는 질문에 답하기 위해 백과사전 전체를 들고 다닐 필요가 없다는 것을 깨닫는 것과 같습니다. 질문이 필요한 순간, 머릿속에서 백과사전을 그대로 재구축할 수 있는 작은 인덱스 카드만 있으면 됩니다.

핵-포인트: BDA는 모델을 덜 똑똑하게 만들지 않으면서도 AI를 더 빠르고 가볍게 만들며, 모델을 다시 학습시킬 필요 없이 즉시 적용 가능합니다.

기술 요약: 기저 분해(Basis Decomposition)를 통한 어텐션 가속화

문제 정의

어텐션 메커니즘은 대규모 언어 모델(LLM) 및 시각-언어 모델(VLM)의 기초적인 구성 요소입니다. 그러나 멀티 헤드 어텐션(MHA)의 계산 비용과 메모리 점유율은 주요한 효율성 병목 현상을 구성합니다. 기존의 가속화 전략은 일반적으로 다음 두 가지 범주로 나뉘며, 각각 한계를 가지고 있습니다:

무손실 시스템 레벨 최적화: FlashAttention과 같은 방법은 메모리 액세스 순서를 재정렬하고 커널을 융합하여 I/O 효율성을 개선합니다. 이들은 정확한 출력을 보존하지만, 하드웨어에 종속적이며, 총 산술 연산량(FLOPs)을 줄이지 못하고, 파라미터 수를 감소시키지도 않습니다.
근사 알고리즘 접근 방식: 선형 어텐션, 희소(sparse) 어텐션, 프루닝(pruning), 양자화와 같은 기술은 복잡성이나 저장 공간을 줄이지만, 필연적으로 정확도를 희생합니다. 이러한 방법들은 종종 재학습, 캘리브레이션이 필요하거나 모델 성능을 저하시키는 근사 오차를 유발합니다.

따라서 재학습을 요구하지 않으면서 모델 품질을 희생하지 않고도 파라미터와 산술 연산을 모두 줄일 수 있는 무손실 알고리즘 재구성에 대한 필요성이 존재합니다.

방법론: 기저 분해(BD) 및 BDA

본 논문은 **기저 분해(BD)**라는 행렬 항등식에 의해 가능해진 무손실 알고리즘 재구성인 **BD 어텐션(BDA)**을 제안합니다.

1. 기저 분해 (Basis Decomposition, BD)

BD는 랭크(rank)가 $r$ 인 행렬 $W$ 에 대한 일반적인 행렬 분해 방법입니다. 전통적인 저계수 인수분해( $W = UV^\top$ )가 두 개의 행렬 $U$ 와 $V$ 를 저장하는 것과 달리, BD는 기저 행렬(Basis matrix, $W$ 의 선형 독립인 $r$ 개의 행을 포함) $B$ 와 계수 행렬(Coefficient matrix, $B$ 를 선형 결합하여 나머지 행들을 재구성하기 위한 가중치를 포함) $C$ 를 사용하여 $W$ 를 표현합니다.

저장 효율성: BD는 $B \in \mathbb{R}^{r \times n}$ 와 $C \in \mathbb{R}^{(m-r) \times r}$ 를 저장합니다. 총 메모리 비용은 $r(m + n - r)$ 이며, 이는 임의의 $r < \min(m, n)$ 에 대해 전체 행렬 크기 $mn $보다 작고 전통적인 저계수 크기$ r(m+n)$보다도 작습니다.
계산 효율성: BD를 통한 $W$ 의 재구성은 전통적인 재구성의 $2rmn$ FLOPs와 비교하여 $2r(m-r)n$ FLOPs를 요구하므로, 산술 연산량이 감소합니다.
이론적 보장: 정리 3.1은 엔트리가 연속 분포를 따르는 행렬(SGD를 통해 학습된 가중치의 자연스러운 특성)의 경우, 임의의 $r$ 개 행의 부분 집합이 확률 1로 유효한 기저를 형성함을 확립합니다. 이는 수치 선형 대수에서 흔히 사용되는 복잡한 랭크 분석이나 피보팅 전략(예: QR 분해)의 필요성을 제거합니다.
실제적 선택: 하드웨어(GPU 등)에서의 I/O 오버헤드를 최소화하기 위해, 저자들은 연속된 행(예: 처음 $r$ 개 또는 마지막 $r$ 개 행)을 기저로 선택합니다. 어떤 쪽이 더 작은 재구성 오차를 생성하는지에 따라 처음 또는 마지막 $r$ 개 행 중 하나를 선택하는 "Residual-min" 전략이 채택됩니다.

2. 어텐션에의 적용 (BDA)

저자들은 MHA의 핵심 계산, 특히 쿼리(Query)와 키(Key)의 투영( $QK^\top$ ) 및 값(Value)과 출력(Output)의 투영($VO $)이 본질적으로 저계수 행렬 곱셈이라는 점에 주목했습니다. 이는 헤드 차원$ d_h $가 임베딩 차원$ d$보다 작기 때문입니다.

오프라인 준비: 모델 배포 단계 동안(16B 모델 기준 약 4초 소요), 투영 가중치 행렬은 오프라인에서 기저( $B$ )와 계수( $C$ ) 행렬으로 분해됩니다. 재학습은 필요하지 않습니다.
추론 재구성:
- $Q = XW_q$ 와 $K = XW_k$ 를 별도로 계산하는 대신, BDA는 압축된 투영 $Q' = XB_{qk}$ 를 계산하고 $K' = [X_{:, 1:d_h}] \times n + X_{:, d_h:d} C_{qk}$ 를 통해 전체 키 공간을 재구성합니다.
- 결정적으로, 내적 $Q'_i K'^\top_i$ 는 원래의 $Q_i K^\top_i$ 와 정확히 일치합니다. 이는 어텐션 스코어와 최종 출력이 원래의 MHA와 수학적으로 동일함을 보장합니다.
- 이 재구성은 (테스트된 구성에서) 파라미터 수를 25% 줄이고, 키/값 투영을 위한 FLOPs를 감소시킵니다.

주요 기여

이론적 토대: 표준적인 신경망 가중치 가정 하에서 확률 1로 하드웨어 친화적인 재구성을 보장하는 일반적인 행렬 분해로서의 기저 분해를 제 제안함.
실제적 가속: BD를 어텐션 및 저계수 레이어에 적용하여, 모델 품질을 저하시키지 않으면서 파라미터와 산술 연산을 줄이는 것을 입증함.
상호 보완성: BDA가 기존의 I/O 최적화(FlashAttention 등)와 직교하며, 이는 BDA가 소프트맥스 계산이 아닌 투영 단계를 타겟팅하기 때문임을 보여줌으로써 두 기술을 결합할 수 있음을 입증함.

실험 결과

저자들은 DeepSeek-V2-Lite (16B) 및 LLaMA2 모델에 대해 BDA를 평가했습니다:

정확도 (무손실 특성):
- DeepSeek-V2-Lite (FP16)에서 MHA를 BDA로 교체했을 때, 퍼플렉시티(PPL) 증가량은 단 0.02%(FP32에서는 0.0004%)에 불과했으며, 이는 무시할 수 있는 수준으로 설명되었습니다.
- IWSLT'14 (영어-독어)에 대한 학습 실험에서, BDA는 다양한 학습률 스케일 전반에 걸쳐 하이퍼파라미터 튜닝 없이 표준 MHA와 대등한 BLEU 점수를 달성했습니다.
- 저계수 프루닝된 모델에 적용했을 때, BDA는 프루닝된 모델의 퍼플렉시티를 유지하면서 효율성을 더욱 향상시켰습니다.
효율성:
- 파라미터: BDA는 키/값 투영의 가중치 크기를 25% 줄입니다.
- 속도 향상: 현대적인 GPU(NVIDIA Ampere, Ada, Blackwell 아키텍처)에서 BDA는 키/값 투영 속도를 34% 더 빠르게 달성했습니다(FP16에서 약 1.34배, BF16에서 1.37배의 속도 향상).
- 처리량(Throughput): 저계수 프루닝된 LLaMA2 모델에 적용했을 때, BDA는 저계수 베이스라인 단독 사용 시보다 처리량을 17.2% 개선하고 메모리 사용량을 16.5% 줄였습니다.
- 하드웨어 불가지론(Hardware Agnosticism): 속도 향상은 CPU(표준 PyTorch)와 GPU(융합된 Triton 커널) 구현 모두에서 일관되게 나타났으며, 이는 이득이 특정 하드웨어 튜닝이 아닌 감소된 산술 복잡성에서 기인함을 나타냅니다.

의의 및 주장

본 논문은 BDA를 무손실 어텐션 가속을 위한 이론적으로 정확한 방법으로 포지셔닝합니다. BDA의 주요 의의는 (하드웨어에 종속적이며 FLOPs를 줄이지 않는) 시스템 레벨 최적화와 (정확도를 희생하는) 근사 알고리즘 방법 사이의 간극을 메우는 데 있습니다.

무손실: 프루닝이나 양자화와 달리, BDA는 재학습 없이 정확한 출력 재구성을 보장합니다(부동 소수점 정밀도 제한 제외).
아키텍처 불가지론: 가속은 연산의 수학적 감소로부터 유도되므로 다양한 하드웨어 백엔드에서 효과적입니다.
상호 보완적: BDA는 기존 기술과 함께 쌓을 수(stack) 있습니다. 메모리 액세스를 최적화하는 FlashAttention과 함께 작동할 수 있으며, 추가적인 효율성을 끌어내기 위해 저계수 프루닝 위에 적용될 수 있습니다.

저자들은 BDA가 이론적 보장과 실제 하드웨어에서의 실질적인 속도 향상을 결합하여 어텐션을 위한 새로운 알고리즘적 토대를 구축한다고 결론짓습니다.