💻 computer science

Move the Query, Not the Cache: Characterizing Cross-Instance Latent Attention Redistribution Across GPU Fabrics

이 논문은 프런티어 LLM에서의 크로스 인스턴스 어텐션을 규명함으로써, 압축된 쿼리 벡터를 라우팅하는 것이 GPU 패브릭을 통해 KV 캐시 블록을 이동시키는 것보다 종종 더 효율적임을 입증하고, 실제 멀티 노드 H100 클러스터에서 이러한 선택을 최적화하기 위한 검증된 토폴로지 인식 비용 모델과 결정 술어를 제공한다.

원저자: Bole Ma, Jan Eitzinger, Harald Köstler, Gerhard Wellein

게시일 2026-06-02

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Bole Ma, Jan Eitzinger, Harald Köstler, Gerhard Wellein

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

큰 문제: 도서관 vs 독자

거대한 도서관(AI의 지식 베이스)이 있다고 상상해 보세요. 이 도서관은 너무 커서 하나의 건물에 다 들어가지 않습니다. 여러 개의 서로 다른 도서관 분점(서로 다른 GPU)에 나누어져 있습니다.

이제, 한 명의 독자(질문을 처리 중인 AI)가 A 분점에 앉아 있다고 가정해 봅시다. 이 독자는 B 분점의 선반에 놓인 책에 담긴 특정 사실을 찾아봐야 합니다.

과거의 방식 (캐시 이동하기):
과거의 표준적인 해결책은 B 분점으로 트럭을 보내 책 전체를 트럭에 싣고, A 분점으로 운전해 온 다음, 독자가 그 책을 읽게 하는 것이었습니다.

문제점: 책은 무겁고 부피가 큽니다. 독자가 단 한 문장만 필요하더라도 책 전체를 옮겨야 합니다. 도서관이 거대하다면, 이 트럭 운송 과정은 엄청난 시간이 걸리고 도로를 정체시킵니다.

새로운 아이디어 (쿼리 이동하기):
이 논문은 더 똑똑한 접근 방식을 제안합니다. B 분점으로 트럭을 보내 책을 가져오는 대신, 아주 작고 가벼운 쪽지("쿼리")를 B 분점으로 보냅니다. 쪽지에는 이렇게 적혀 있습니다. "당신의 책에서 이 특정 문장을 찾아 답을 엽서에 적어 보내주세요."

이점: 쪽지는 매우 작습니다(약 1킬로바이트). 하지만 책은 매우 큽�(수백만 바이트). 도서관으로 엽서를 보내 답장을 받는 것이 트럭을 주고받으며 운전하는 것보다 훨씬 빠릅니다.

핵심 비결: "MLA" (압축된 책)

왜 예전에는 안 됐던 이 방식이 지금은 가능할까요? 이 논문은 **MLA(Multi-head Latent Attention)**라고 불리는 특정 유형의 AI 아키텍처에 집중합니다.

MLA를 일종의 특별한 압축 기술이라고 생각하면 됩니다. 이전의 AI 모델들에서 "책"(데이터)은 거대하고 다루기 힘들었습니다. 하지만 MLA를 사용하면, AI는 책의 모든 페이지를 작고 밀도 높은 요약본으로 압축합니다.

데이터가 매우 압축되어 있기 때문에, "책" 자체는 여전히 크지만, 독자가 찾아야 할 "문장"은 믿을 수 없을 정도로 작아집니다.
이는 엄청난 불균형을 만듭니다. 즉, 쿼리(쪽지)는 아주 작지만, 캐시(책)는 여전히 큽니다. 따라서 쪽지를 보내는 것이 당연히 승리하는 전략이 됩니다.

실험: 도로 테스트

연구진은 단순히 추측만 한 것이 아니라, 실제 고속 슈퍼컴퓨터(NVIDIA H100 칩 사용)를 통해 테스트를 진행했습니다. 그들은 두 가지 주요 사항을 살펴보았습니다.

도로 유형 (네트워크): 그들은 컴퓨터들을 연결하는 다양한 "도로"를 테스트했습니다. 로컬 케이블(NVLink)부터 건물 간 광섬유(InfiniBand)까지 다양했습니다.
- 결과: 가장 빠른 도로에서도 큰 책을 옮기는 것은 느립니다. 왜냐하면 책을 옮길 준비를 하는 "로딩 시간" 때문입니다. 반면, 작은 쪽지를 보내는 것은 빠릅니다. 쪽지는 아주 짧은 여행일 뿐이기 때문입니다.
- 놀라운 점: 매우 빠른 도로 위에서는, 도로의 속도보다 "트럭 운전사"(데이터 전송을 시작하는 컴퓨터의 능력)의 속도가 더 중요했습니다. 쪽지는 너무 작아서 도로 전체를 다 쓸 필요가 없기 때문에, 느린 도로에서도 빠른 도로에서만큼이나 빠르게 이동합니다.
"스플라이스(Splice)" 세금:
- 책을 한 분점에서 다른 분점으로 옮길 때, 새 선반에 맞도록 책을 다시 제본하거나 페이지를 조정해야 하는 경우가 많습니다. 논문에서는 이를 "스플라이스"라고 부릅니다. 책을 준비하는 데만 약 3밀리초(컴퓨터 세계에서는 긴 시간입니다)가 소요됩니다.
- 쪽지를 옮기는 방식은 이 세금을 완전히 피할 수 있습니다. 쪽지는 도착해서, 답을 얻고, 바로 사라집니다.

AI 관리자를 위한 규칙

논문은 AI 시스템의 "관리자"가 무엇을 할지 결정하기 위한 간단한 규칙 세트를 제공합니다.

규칙 1: 대화 시작 단계(디코딩)에서는 항상 쪽지를 보내라.
AI가 질문에 단계별로 답하고 있다면, "쪽지"는 매우 작고 "책"은 매우 크기 때문에, 쪽지를 보내는 것이 책을 옮기는 것보다 60배에서 100배 더 빠릅니다.
규칙 2: 책을 아주 많이 읽어야 할 때만 책을 옮겨라.
만약 AI가 같은 장소에서 오랫동안 같은 책을 계속 사용해야 한다면, 책을 한 번에 옮겨서 그곳에 두는 것이 나을 수도 있습니다. 하지만 빠르고 일회성인 질문의 경우에는 쪽지를 보내세요.
규칙 3: 도로 속도를 걱정하지 마라.
이런 작은 쪽지들의 경우, 느린 도로도 빠른 도로만큼이나 좋습니다. 병목 현상은 도로가 아니라, 쪽지를 쓰는 데 걸리는 시간입니다.

"에이전트(Agent)" 시나리오

논문은 특정 사용 사례로 **에이전트 워크로드(Agentic Workloads)**를 언급합니다. 디지털 비서(에이전트) 팀이 모두 동일한 거대한 코드 매뉴얼이나 법률 계약서를 읽으려고 노력하고 있다고 상상해 보세요.

과거의 방식: 에이전트가 질문을 던질 때마다, 시스템은 매뉴얼의 관련 부분을 해당 에이전트의 컴퓨터로 가져오려고 시도합니다.
새로운 방식: 시스템은 에이전트의 질문을 매뉴얼이 있는 컴퓨터로 보냅니다. 그 컴퓨터가 질문에 답하고, 아주 작은 결과값만을 다시 보냅니다. 매뉴얼은 제자리에 그대로 머물러 있습니다. 이를 통해 수백 명의 에이전트가 네트워크를 막지 않고 동시에 질문을 던질 수 있습니다.

요약

이 논문은 현대의 압축된 AI 모델의 경우, 데이터를 질문에게 보내는 것보다 질문을 데이터에게 보내는 것이 거의 항상 더 빠르다는 것을 증명합니다.

그들은 언제 이렇게 해야 하는지 정확히 알려주는 수학적 공식(비용 모델)을 만들었습니다. 결론적으로, AI가 사고하는 동안 던지는 작고 빠른 질문들에 대해서는 "쿼리를 이동하는 것"이 압도적인 승리이며, 엄청난 시간과 에너지를 절약해 줍니다.

기술 요약: 캐시를 옮기지 말고 쿼리를 옮겨라

문제 정의
대규모 언어 모델(LLM)이 확장됨에 따라, 서빙 워크로드는 점점 더 다중 헤드 잠재 어텐션(Multi-head Latent Attention, MLA) 및 희소 어텐션(sparse attention) 메커니즘에 의존하고 있습니다. 이러한 아키텍처에서 키-값(KV) 캐시는 좁은 잠재 벡터로 압축되거나 희소 인덱서를 통해 선택되는데, 이는 "바이트 비대칭성(byte asymmetry)"을 생성합니다. 즉, 단일 쿼리 행(예: 약 1 KB)은 그것이 어텐션을 수행하는 KV 캐치 청크(예: 메가바이트 단위)보다 수 차례 더 작습니다.

관심 있는 코퍼스(표준 코드베이스, 법률 문서 또는 공유 기업 지식 베이스)가 단일 GPU의 고대역폭 메모리(HBM)를 초과하는 경우, 이를 여러 인스턴스에 분할해야 합니다. 이는 크로스 인스턴스 어텐션(cross-instance attention)을 필요로 하며, 여기서 한 GPU의 디코딩 쿼리는 다른 GPU에 존재하는 KV 블록에 접근해야 합니다. 업계의 기존 반응은 캐시를 이동하는 것(fetch)입니다. 즉, 원격 KV 블록을 요청자에게 가져와 로컬 캐시에 삽ç입하고 로컬에서 어텐션을 수행하는 방식입니다. 그러나 이 접근 방식은 상당한 "위치 적응(position-adaptation)" 비용(새로운 오프셋에 맞춰 캐싱된 위치 인코딩을 재회전시키는 비용)과 대규모 데이터 전송을 초래합니다. 본 논문은 MLA 및 희소 선택 환경에서는 산술적 구조가 역전될 수 있다고 주장합니다. 즉, 쿼리를 보유자(holder)에게 전달하여 그곳에서 부분 어텐션을 계산하고 그 결과를 다시 병합하는 것이 더 저렴할 수 있다는 것입니다.

방법론
저자들은 NDR-200 인피니밴드(InfiniBand)와 장치 주도형 RDMA(IBGDA)가 활성화된 실제 멀티 노드 H100 클러스터에서 이 트레이드오프를 특성화합니다. 연구 방법론은 다음과 같습니다:

비용 분해: 크로스 인스턴스 재분배를 가산 비용 함수로 모델링합니다: $T_{redist} = T_{probe} + T_{transfer} + T_{compute} + T_{return} + T_{merge}$ .
프리미티브 비교: 세 가지 프리미티브를 비교합니다:
- Fetch (가져오기): 전체 KV 청크를 가져와 위치를 적응(splice)시킨 후 로컬에서 어텐션을 수행합니다.
- Route (경로 지정): 쿼리를 보유자에게 보내 부분 어텐션을 계산하고, 온라인 소프트맥스를 통해 결과를 병합합니다.
- Local (로컬): 처음부터 청크를 다시 계산합니다(re-prefill).
하드웨어 특성화: 어텐션 형태의 페이로드(킬로바이트 규모의 쿼리 배치)에 대한 IBGDA의 레이턴시와 대역폭을 측정하고, 이를 CPU 프록시 경로와 비교합니다. 또한 토폴로지(동일 리프 vs 스파인 통과), 패브릭 유형(NVLink, PCIe, InfiniBand), 그리고 동시성을 분석합니다.
정확성 검증: 온라인 소프트맥스를 통해 병합된 경로 기반 부분 어텐션이 희소 선택 시나리오에서도 bf16 노이즈 플로어 내에서 단일 인스턴스 어텐션 결과와 일치함을 검증합니다.

주요 기여

토폴로지 인식 비용 모델: 저자들은 배치된 디스패치( $M_q \ge 512$ )에 대해 약 7%의 평균 절대 백분율 오차(MAPE)로 실제 H100 IBGDA 측정값에 부합하는 크로스 인스턴스 어텐션용 폐쇄형 비용 모델을 도출했습니다. 이 모델은 비용이 피크 링크 대역폭보다는 고정된 프로브 레이턴시( $\approx 16 \mu s$ )와 페이로드와 무관한 유효 대역폭( $\approx 25$ GB/s for single-block dispatch)에 의해 지배된다는 점을 식별합니다.
장치 주도형 RDMA (IBGSA) 체제 특성화: 소량 메시지에 대해 CPU 프록시 경로가 승리하는 경우가 있는 MoE 디스패치와 관련된 이전 연구와 달리, 본 논문은 어텐션 페이로드( $\approx 2$ KB)의 경우 장치 주도형 RDMA가 우수하며, 호스트 매개 경로에 비해 당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당당

큰 문제: 도서관 vs 독자

핵심 비결: "MLA" (압축된 책)

실험: 도로 테스트

AI 관리자를 위한 규칙

"에이전트(Agent)" 시나리오

요약

유사한 논문