🤖 machine learning

GQLA: Group-Query Latent Attention for Hardware-Adaptive Large Language Model Decoding

이 논문은 H100 급 GPU 를 위한 MQA-흡수 경로와 H20 과 같은 상용 GPU 를 위한 GQA 경로 사이에서 단일 가중치 세트를 동적으로 전환할 수 있도록 DeepSeek 의 멀티헤드 잠재 어텐션에 하드웨어 적응형 수정을 가한 그룹 쿼리 잠재 어텐션 (GQLA) 을 제안하여, 재학습이나 커스텀 커널 없이 추론 효율을 최적화하고 멀티 토큰 예측을 지원한다.

원저자: Fanxu Meng

게시일 2026-05-18

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Fanxu Meng

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 도서관 (대규모 언어 모델) 을 운영한다고 상상해 보세요. 사서가 새로운 문장을 작성할 때마다, 그 문장이 논리적으로 타당한지 확인하기 위해 과거에 읽은 모든 책을 다시 뒤져봐야 한다면 어떨까요? 이 "뒤져보기" 과정이 전체 프로세스에서 가장 비용이 많이 드는 부분이며, 많은 메모리 트래픽을 필요로 합니다.

오래전부터 이 문제를 해결하는 최선의 방법은 MLA(Multi-head Latent Attention, 멀티헤드 잠재 어텐션)라는 방법이었습니다. MLA 는 초효율적인 "요약 노트" 시스템과 같습니다. 사서는 모든 책의 세부 사항을 모두 보관하는 대신, 모든 중요한 정보를 작고 저랭크 (low-rank) 의 "요약 치트 시트"(잠재 벡터) 로 압축합니다.

구식 시스템 (MLA) 의 문제점:
이 논문은 치트 시트 시스템이 훌륭하지만, 특정 고가의 고성능 컴퓨터 (NVIDIA H100) 에 맞춰 설계되었다고 주장합니다.

H100 적합성: 이 고가의 컴퓨터에서는 시스템이 완벽하게 작동합니다. 수학 연산 속도는 빠르지만 메모리 속도는 제한적이기 때문입니다. 치트 시트는 메모리 사용량을 낮게 유지하여 컴퓨터의 강점과 부합합니다.
H20 불일치: 그러나 수출 규제를 받은 더 저렴한 컴퓨터 (H20) 는 메모리 속도는 충분하지만 수학 연산 속도가 훨씬 느립니다. 이 기계에게 구식 치트 시트 시스템은 재앙입니다. 이동하는 데이터 양에 비해 컴퓨터가 수행해야 할 수학 연산이 너무 많아져 시스템이 멈추게 됩니다.
경직성: 구식 시스템은 특정 한 사람을 위해 맞춤 제작된 정장과 같습니다. 몸매가 변하면 입을 수 없습니다. 또한 이 시스템은 도서관이 여러 명의 작업자 (텐서 병렬화) 를 효율적으로 활용하는 것을 막고, 속도를 늦추지 않고 여러 단어를 한 번에 추측하는 것 (멀티 토큰 예측) 을 방해합니다.

새로운 해결책: GQLA(Group-Query Latent Attention, 그룹 쿼리 잠재 어텐션)
저자들은 GQLA라는 새로운 시스템을 제안합니다. 이는 새로운 정장이 아니라, 정확히 같은 원단 (동일한 학습된 가중치) 을 사용하여 두 가지 다른 체형에 완벽하게 맞는 변형 가능한 정장으로 생각하세요.

유사를 통해 작동 방식을 설명하면 다음과 같습니다:

두 가지 경로:
- 경로 A(초소형 모드): 원래 MLA 스타일입니다. 작은 치트 시트를 유지합니다. 이는 수학 연산이 많은 고가의 H100 컴퓨터에 완벽합니다. 메모리 트래픽을 최소화합니다.
- 경로 B(그룹화 모드): 새로운 트릭입니다. 모든 것을 하나의 작은 노트로 압축하는 대신, 노트를 8 개의 별도 "폴더"로 그룹화합니다. 이는 약간 더 큰 캐시를 생성하지만, 단계당 수행해야 할 수학 연산을 줄여줍니다. 이는 수학 연산은 느리지만 데이터 이동은 빠른 저렴한 H20 컴퓨터에 완벽합니다.
마법 같은 스위치:
가장 좋은 점은 도서관을 다시 구축할 필요가 없다는 것입니다. "정장"(모델 가중치) 은 동일합니다. 모델을 배포할 때:
- H100에 있다면, 경로 A를 사용하도록 스위치를 전환합니다.
- H20에 있다면, 경로 B를 사용하도록 스위치를 전환합니다.
- 재학습 불필요: 사서에게 새로운 것을 가르칠 필요가 없습니다. 단순히 노트를 읽는 방식을 변경할 뿐입니다.
- 커스텀 도구 불필요: 컴퓨터 도구함에 이미 존재하는 표준 도구를 사용합니다.
더 나은 이유:
- 하드웨어 적응형: 고가와 저렴한 컴퓨터 모두에 대한 "최적점"을 찾아 두 기기 모두에서 속도를 극대화합니다.
- 팀워크: 구식 시스템과 달리, 새로운 "그룹화" 경로는 여러 작업자가 효율적으로 협업 (텐서 병렬화) 할 수 있게 하여, 이전에 차단되었던 기능을 가능하게 합니다.
- 미래 대비: 구식 시스템이 충돌 없이 수행하지 못했던 "여러 단어를 한 번에 추측하기"(멀티 토큰 예측) 기능을 저렴한 컴퓨터에서도 지원합니다.

"TransGQLA" 트릭:
이 논문은 기존에 구식 그룹화 시스템으로 이미 학습된 도서관 (모델) 을 처음부터 다시 시작하지 않고 즉시 이 새로운 "변형 가능한 정장"으로 변환하는 방법도 보여줍니다. 마치 표준 재킷에 숨겨진 지퍼를 추가하여 즉시 초소형 버전으로 변형할 수 있게 하는 것과 같습니다.

결과:

H100에서는 원래 시스템과 동일한 성능을 발휘합니다.
H20에서는 불필요한 수학 연산으로 인해 컴퓨터가 시간을 낭비하지 않게 함으로써 원래 시스템보다 3.4 배 더 빠릅니다.
그들은 표준 모델 (LLaMA-3-8B) 로 이를 테스트하여, 이를 새로운 형식으로 변환해도 지능이 거의 변하지 않고 저렴한 하드웨어에서 막대한 속도 향상을 얻으면서도 능력을 거의 잃지 않았음을 발견했습니다.

요약:
이 논문은 "범용 어댑터"처럼 작동하는 유연한 어텐션 메커니즘을 소개합니다. 이 메커니즘은 모델을 재학습하거나 새로운 소프트웨어를 구축할 필요 없이 메모리 조직 방식을 변경하기만 하면, 단일 AI 모델이 고가의 고성능 칩과 저렴한 규제가 있는 칩 모두에서 최대 효율로 실행되도록 합니다.

기술 요약: GQLA – 하드웨어 적응형 대규모 언어 모델 디코딩을 위한 그룹-쿼리 잠재 어텐션

1. 문제 제기

현대적인 자기회귀 대규모 언어 모델 (LLM) 디코딩은 키 - 밸류 (KV) 캐시 트래픽에 근본적으로 병목 현상이 발생하며, 이는 생성된 모든 토큰이 오프칩 메모리에서 캐시된 전체 키와 밸류의 히스토리를 읽어야 하기 때문입니다. DeepSeek-V2/V3 에서 사용되는 멀티헤드 잠재 어텐션 (MLA) 과 같은 최근 아키텍처는 키와 밸류를 저랭크 잠재 (low-rank latent) 로 공동 압축함으로써 최첨단 수준의 KV 캐시 감소를 달성하지만, 다양한 추론 하드웨어에 배포될 때 세 가지 결합된 하드웨어 단점을 겪습니다:

하드웨어 결합 (Hardware Coupling): MLA 의 훈련된 가중치는 단일 디코딩 경로 (흡수된 멀티쿼리 어텐션 또는 MQA 형태) 만 노출합니다. 이 경로는 NVIDIA H100 과 같은 하이엔드 GPU 의 연산 - 대역폭 비율 (ridge $\approx$ 295 FLOPs/byte) 에 완벽하게 조정되어 있습니다. 그러나 수출 제한이 있거나 상용 GPU 인 H20(대역폭은 유지하지만 연산 능력을 약 7 배 줄여 ridge 를 $\approx$ 37 FLOPs/byte 로 낮춤) 에서는 이 경로가 심하게 연산 병목에 걸려 처리량이 저하됩니다.
텐서 병렬성 (TP) 상실: 흡수된 MQA 형태는 모든 쿼리 헤드를 단일 공유 잠재 KV 로 유도합니다. 이 구조는 모든 장치가 전체 잠재 (latent) 를 복제해야 하므로 헤드 축을 따른 텐서 병렬성을 방해하여 확장성을 제한합니다.
제로 멀티-토큰 예측 (MTP) 이득: MTP 는 계산 강도를 높이기 위해 단계당 여러 토큰을 생성하는데, 이는 이미 연산 병목에 걸린 H20 디코딩을 효율성 ridge 를 훨씬 넘어설 정도로 밀어내어 처리량 이득이 전혀 없습니다. 반면 H100 에서는 MTP 가 ridge 를 초과하여 이득의 효율성을 감소시킵니다.

2. 방법론: 그룹-쿼리 잠재 어텐션 (GQLA)

저자들은 MLA 의 최소한의 아키텍처 수정인 **그룹-쿼리 잠재 어텐션 (GQLA)**을 제안하며, 이는 공동 저랭크 잠재 압축을 유지하면서도 동일한 훈련된 가중치 위에 두 개의 대수적으로 동등한 디코딩 경로를 노출합니다.

아키텍처

GQLA 는 모든 $h_q$ 쿼리 헤드에 대해 업-프로젝션 행렬 ( $W_{UK}, W_{UV}$ ) 을 복제하는 대신 $g$ 개 그룹으로 인덱싱합니다. 이 설계는 두 가지 고유한 실행 경로를 가능하게 합니다:

MQA-흡수 경로 (메모리 친화적):
- 메커니즘: MLA 와 동일합니다. 업-프로젝션은 쿼리 및 출력 프로젝션에 흡수됩니다. 모든 $h_q$ 헤드가 직접 압축된 잠재 캐시 ($cKV$) 에 어텐션합니다.
- 캐시: 잠재 ( $r_{kv}$ ) 와 공유된 RoPE 키 ( $d^R_h$ ) 만 저장합니다.
- 대상 하드웨어: 산술 강도 ( $s_q=1$ 인 경우 $\approx$ 242 FLOPs/byte) 가 메모리 - 연산 ridge 바로 아래에 있는 H100 급 하드웨어에 최적화되어 있습니다.
GQA 경로 (연산 친화적):
- 메커니즘: 잠재는 $g$ 개의 키/밸류 그룹으로 확장됩니다. 디코딩은 단계별 잠재 확장 없이 일반 그룹화 쿼리 어텐션 (GQA) 을 실행합니다.
- 캐시: 그룹별 확장된 키와 밸류 ( $2gd_h$ ) 와 공유된 RoPE 키를 저장합니다.
- 대상 하드웨어: H20 급 하드웨어에 최적화되어 있습니다. 그룹 수 ( $g$ ) 와 단계당 쿼리 토큰 수 ( $s_q$ ) 를 조정함으로써 산술 강도를 H20 ridge( $\approx$ 37 FLOPs/byte) 에 고정할 수 있습니다.
- 확장성: 그룹 축을 따라 최대 8 배 제로-중복 텐서 병렬성을 지원합니다.

경로 선택

런타임은 재훈련이나 커스텀 커널 없이 대상 하드웨어에 따라 경로를 선택합니다:

H100: MQA-흡수 경로 ( $s_q=1$ ) 를 사용합니다.
H20: GQA 경로 (예: $g=8, s_q=2$ 또는 $g=4, s_q=1$ ) 를 사용합니다.
MTP: H20 에서 $s_q=2$ 인 GQA 경로는 이상적인 처리량 이득을 거의 회복하는 반면, MLA 는 이득이 전혀 없습니다.

TransGQLA: 사전 훈련 모델로부터의 변환

처음부터 사전 훈련을 피하기 위해 저자들은 TransMLA 파이프라인의 확장인 TransGQLA를 소개합니다. 이는 사전 훈련된 GQA 체크포인트를 단일 타겟 수정을 통해 GQLA 모델로 변환합니다:

헤드 병합: TransMLA 에서와 같이 그룹화된 헤드를 단일 잠재로 병합하고 모든 쿼리 헤드에 업-프로젝션을 복제하는 대신, TransGQLA 는 그룹별로 인덱싱된 업-프로젝션을 유지합니다.
결과: 모델은 구조적으로 GQA 실행 경로를 유지하면서 표준 흡수 연산을 통해 MQA-흡수 경로를 가능하게 합니다. 이는 그룹 축을 따른 텐서 병렬성을 보존합니다.

희소 GQLA

이 설계는 세밀한 희소 어텐션으로 확장됩니다. 표준 GQLA 구성 ( $h_q/g = 16$ ) 이 텐서 코어 MMA 타일 차원 ( $m=16$ ) 과 일치하기 때문에, 희소 GQLA 는 H20 급 하드웨어에서 GQA 경로를 보존할 수 있습니다. 반면, 희소 MLA 는 타일 제약으로 인해 흡수된 MQA 경로에 구조적으로 고정되어 동일한 연산 오버헤드 문제를 물려받습니다.

3. 주요 기여

MLA 단점 식별: 이 논문은 MLA 의 단일 경로 설계가 H100 급 비율에 결합되어 헤드 축 텐서 병렬성을 포기하고, 상용 GPU 에서 MTP 이득이 제로가 된다고 식별합니다.
GQLA 아키텍처: 동일한 가중치 위에 두 개의 대수적으로 동등한 경로 (MQA-흡수 및 GQA) 를 노출하는 MLA 의 최소 변형입니다. 하나의 MTP 헤드를 가진 단일 구성 ( $h_q=128, g=8$ ) 은 H100 과 H20 의 로프라인 (rooflines) 을 동시에 고정합니다.
TransGQLA 파이프라인: 최소한의 아키텍처 변경으로 사전 훈련된 GQA 체크포인트를 GQLA 모델로 변환하는 변환 방법이며, 텐서 병렬성을 유지하고 잠재 형태로의 원활한 전환을 가능하게 합니다.
로프라인 분석: 경로 전환을 통해 GQLA 가 H100 과 H20 에서 모두 피크 처리량에 근접할 수 있음을 보여주는 이론적 검증이며, MLA 는 H20 에서 비효율적입니다.

4. 결과

저자들은 LLaMA-3-8B모델에서 TransGQLA 를 평가했습니다:

능력 보존: 추가 훈련 없이 GQA 가중치를 GQLA 잠재 형태로 변환한 결과, 원래 15T 토큰 사전 훈련 모델에 비해 상식 추론 벤치마크 (MMLU, ARC 등) 에서 약 9.7 점의 평균 손실만 발생했습니다.
캐시 압축: MQA-흡수 경로에서 토큰당 KV 캐시는 원래 GQA 기준의 **28.125%**로 압축되었습니다 (71.875% 감소).
처리량 전망:
- H100: MQA-흡수 경로는 초당 354K 토큰을 달성합니다.
- H20: GQA 경로 ( $g=8, s_q=2$ ) 는 초당 221K 토큰을 달성하여, 동일한 장치에서 연산 병목으로 인해 초당 65K 토큰에 갇혀 있는 MLA 대비 3.4 배 개선을 보입니다.
연속 사전 훈련: 저자들은 TransMLA 궤적을 따르는 연속 사전 훈련이 30B 토큰 후 원래 모델의 능력 손실을 0.5 점 이내로 회복하면서 KV 캐시 압축을 유지할 것으로 전망합니다.

5. 중요성 및 주장

이 논문은 GQLA 가 LLM 추론을 위한 실용적이고 하드웨어에 구애받지 않는 설계 원칙을 제공한다고 주장합니다. 단일 세트의 훈련된 가중치 위에 여러 대수적으로 동등한 디코딩 경로를 노출함으로써, GQLA 는 모델을 재훈련하거나 커스텀 커널 없이 배포 시 다른 하드웨어 제약 (연산 풍부형 대 메모리 풍부형) 에 적응할 수 있게 합니다.

저자들은 GQLA 를 "하드웨어 결합" 문제의 해결책으로 위치시켜, 플래그십 가속기 (H100) 와 상용/수출 제한 하드웨어 (H20) 모두에서 효율적인 배포를 가능하게 합니다. 그들은 이 접근 방식이 MLA 가 효율적으로 수행하지 못하는 하드웨어에서 멀티-토큰 예측과 텐서 병렬성을 지원한다고 강조합니다.

인정된 한계:

하드웨어 주장은 로프라인 모델링에 기반하며, 실제 H20/H100 하드웨어에 대한 전체 커널 수준의 벤치마크는 진행 중입니다.
TransGQLA 에 대한 연속 사전 훈련 결과는 현재 진행 중이며 논문에서 아직 최종화되지 않았습니다.
평가는 현재 LLaMA-3-8B 백본과 상식 추론 벤치마크로 제한됩니다.
희소 GQLA 는 구조적으로 설명되었지만 기존 희소 어텐션 방법과 비교하여 아직 벤치마크되지 않았습니다.