🤖 AI

Memory-Bound but Not Bandwidth-Limited: The Physical AI Inference Gap in Batch-1 LLM Decode

이 논문은 Physical AI의 배치-1 LLM 추론이 메모리 집약적인 반면, 더 빠른 GPU일수록 비례적인 지연 시간 이득을 저해하는 불균형한 런칭 측 오버헤드를 겪으며, 표준 양자화 방식은 GPTQ+ExLlamaV2와 같은 고도로 최적화된 커널과 결합되지 않으면 기대되는 속도 향상을 달성하는 데 종종 실패한다는 점을 밝히고 있다.

원저자: Josef Chen

게시일 2026-06-01

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Josef Chen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 요약: "빠른 자동차" vs "교통 체증"

당신이 A 지점에서 B 지점까지 차를 운전해서 가려고 한다고 상상해 보세요. 당신에게는 두 종류의 자동차가 있습니다:

L4: 믿음직하고 표준적인 세단.
H100: 거대한 엔진을 가진 초고속 포뮬러 1(F1) 레이스카.

이 논문은 단순한 질문을 던집니다: 만약 당신이 혼자 운전하고 있고(Batch-1), 아주 적은 양의 짐(단일 로봇 또는 사용자 세션)만 옮기면 된다면, 어떤 차가 더 빨리 도착할까요?

일반적인 믿음은 이랬습니다: "포뮬러 1 자동차(H100)는 훨씬 더 큰 엔진(메모리 대역폭)을 가지고 있으므로 11배 더 빠를 것이다. 따라서 언제나 승리할 것이다."

논문의 발견: 사실 포뮬러 1 자동차는 지거나, 혹은 큰 차이 없이 도착합니다. 왜 그럴까요? 레이스카는 너무 빨라서 엔진을 켜고 기어를 넣는 데 걸리는 시간(CPU 런칭 오버헤드)이 가장 큰 지연 요소가 되기 때문입니다. 느린 세단의 경우, 엔진 자체가 병목 현상이 되기 때문에 엔진을 시작하는 데 드는 시간은 그리 중요하지 않습니다.

핵심 문제: "출발 세금 (The Launch Tax)"

AI의 세계에서 컴퓨터가 한 번에 하나의 단어(토큰)를 생성할 때, 컴퓨터는 특정 작업 세트를 반복해서 수행해야 합니다.

과거의 관점: 속도는 컴퓨터가 얼마나 빨리 메모리를 읽을 수 있는지(마치 사서가 책을 가지러 서가로 달려가는 속도와 같음)에 전적으로 달려 있습니다. H100은 매우 빠른 서가를 가지고 있으므로, 작업이 즉각적이어야 합니다.
새로운 관점: 속도는 컴퓨터가 하드웨어에 "자, 이제 이 작업을 시작해!"라고 얼마나 자주 말해야 하는지에 달려 있습니다.

비유:
택배 기사(GPU)가 물건을 배달해야 한다고 상상해 보세요.

L4 (느린 기사): 기사가 집까지 운전하는 데 20분이 걸리고, 주차하는 데 1분이 걸립니다. 운전이 병목 현상입니다.
H100 (빠른 기사): 기사는 1분 만에 집까지 갈 수 있습니다. 하지만 물건을 하나 배달할 때마다, 기사는 트럭에서 내려 문 앞까지 걸어가서, 서류에 서명하고, 다시 돌아오는 데 30초를 써야 합니다.
- 운전이 너무 빠르기 때문에, 그 30초의 "문 앞까지 걷는 시간"(출발 세금)이 배달을 느리게 만드는 주요 원인이 됩니다.
- H100은 너무 강력해서 기사가 서류 작업을 마칠 때까지 가만히 앉아서 기다리게 됩니다.

실험: "그래프(Graphs)"를 통한 해결

이를 증명하기 위해 연구진은 CUDA Graphs라는 기술을 사용했습니다.

비유:
매번 물건을 보낼 때마다 "시작해도 될까요? 네, 가세요. 시작해도 될까요? 네, 가세요"라고 묻는 대신, "운전한다, 주차한다, 물건을 놓는다, 돌아온다, 반복한다"라고 적힌 마스터 스크립트(그래프)를 작성합니다. 이 스크립트를 기사에게 한 번 전달하면, 기사는 매번 허락을 구할 필요 없이 그 스크립트를 그대로 따릅니다.

결과:

H100 (레이스카): 이 스크립트는 엄청난 차이를 만들었습니다. 자동차의 속도가 26% 빨라졌습니다. 이는 "서류 작업"(런칭 오버헤드)이 실제로 문제였다는 것을 증명합니다.
L4 (세단): 이 스크립트는 거의 차이를 만들지 못했습니다(단 3% 빨라짐). 왜냐하면 세단은 이미 운전(메모리 읽기)에 대부분의 시간을 쓰고 있었고, 서류 작업 때문에 기다리는 시간은 적었기 때문입니다.

"역전된" 비용 사다리

이 논문에서 가장 놀라운 부분입니다.

보통 기업들은 이렇게 생각합니다: "돈을 아끼고 싶다면 가장 저렴하고 느린 칩(L4)을 사야 해. 속도를 원한다면 비싸고 빠른 칩(H100)을 사야 하고."

논문은 말합니다: 단일 스트림 AI(예: 당신에게 말을 거는 로봇)의 경우, 이것은 반대로 되어 있습니다.

H100은 비싸고 빠르지만, 자신의 속도 중 많은 부분을 "서류 작업"에 낭비합니다.
L4는 저렴하고 느리지만, 자신의 속도를 100% 실제 작업에 사용합니다.

"마법의 기술":
연구진은 저렴한 L4에 특정 유형의 소프트웨어 "압축"(ExLlamaV2라고 불림)을 사용하면 L4가 H100만큼 빨라질 수 있다는 것을 발견했습니다.

트릭을 적용한 H100: 단계당 11.78 밀리초.
트릭을 적용한 L4: 단계당 17.36 밀리초.

이론상 H100이 11배 더 강력함에도 불구하고, 적절한 소프트웨어를 갖춘 L4는 H100보다 약 1.5배 느릴 뿐이며, 실행 비용은 10배나 저렴합니다.

핵심 요약

빠른 것이 항상 더 빠른 것은 아니다: 칩이 더 큰 "메모리 고속도로"(대역폭)를 가지고 있다고 해서, "시작 시간"(런칭 오버헤드)이 너무 길다면 반드시 더 빨리 일을 끝낼 수 있는 것은 아닙니다.
병목 현상의 변화:
- 저렴한 칩(L4)에서는 데이터 이동(메모리 대역폭)이 병목입니다.
- 비싼 칩(H100)에서는 작업 시작(CPU 런칭 오버헤드)이 병목입니다.
하드웨어보다 소프트웨어가 중요하다: 이러한 특정 "한 번에 하나씩" 처리하는 AI 작업의 경우, 비싼 칩을 사는 것보다 저렴한 칩에 적절한 소프트웨어(ExLlamaV2 등)를 사용하는 것이 더 나은 선택입니다.
누구를 위한 것인가? 이는 **물리적 AI(Physical AI)**에 해당합니다. 로봇, 자율주행 자동차, 그리고 당신에게 한 문장씩 말을 거는 개인 비서 등이 이에 속합니다. 수천 명의 사람에게 동시에 대화하는 챗봇(배치 프로세싱)에는 적용되지 않으며, 그 경우에는 규칙이 다릅니다.

요약하자면: 실시간으로 당신과 생각하고 대화해야 하는 로봇을 만들고 있다면, 단순히 가장 비싼 슈퍼컴퓨터를 사지 마세요. 대신 저렴한 컴퓨터를 사고, "서류 작업"에 시간을 낭비하지 않도록 소프트웨어를 튜닝하세요. 그러면 더 적은 비용으로 더 나은 성능을 얻을 수 있습니다.

기술 요약: 메모리 제한적이지만 대역폭 제한은 아닌: 배치-1 LLM 디코드에서의 물리적 AI 추론 격차

문제 정의

물리적 AI 시스템(로봇, 자율주행 차량, 에지 코파일럿)은 일반적으로 단일 스트림, 배치-1 자기회귀(autoregressive) 디코드 워크로드 하에서 작동합니다. 대규모 배치를 통해 처리량(throughput)을 최적화하는 클라우드 서빙과 달리, 물리적 AI는 단일 사용자 또는 에이전트를 위해 다음 토큰이 생성되기를 기다립니다. 기존의 업계 가설은 이 워크로드가 엄격하게 **HBM 대역폭에 의해 제한(HBM-bandwidth-bound)**된다는 것이며, 즉 지연 시간(latency)이 피크 메모리 대역폭( $B_{peak}$ )에 반비례하여 스케일링된다고 가정합니다. 결과적으로, 배포 계층은 $L4 \to L40S \to A100 \to H100$ 으로 구성되며, 더 높은 대역폭이 직접적으로 더 낮은 지연 시간과 토큰당 비용을 제공한다고 간주됩니다.

본 논문은 이러한 가설에 이의를 제기하며, 빠른 실리콘(예: H100) 기반의 배치-1 디코드 작업 시 병목 현상이 메모리 대역폭에서 **커널당 CPU 런칭 오버헤드(per-kernel CPU launch overhead)**로 이동한다고 주장합니다. 저자들은 고대역폭 GPU에서는 고정된 커널 런칭 비용이 스텝 타임(step time)에서 차지하는 비중이 지배적이 되는 반면, 느린 GPU는 여전히 진정한 의미의 대역폭 제한 상태에 머물러 있기 때문에, 더 빠른 메모리가 반드시 비례적인 지연 시간 이득으로 이어지지는 않는다고 단언합니다.

방법론

본 연구는 이론적 모델이 아닌, Modal 클라우드 호스트에서 네 가지 NVIDIA GPU(H100 SXM5, A100-80GB SXM4, L40S, L4)를 사용하여 수행된 통제된 측정 실험입니다.

워크로드: 세 가지 7~8B 파라미터 GQA 트랜스포머(Qwen-2.5-7B, Mistral-7B-v0.3, Llama-3.1-8B)와 bf16 가중치 및 SDPA 어텐션을 사용했습니다.
범위: 4개의 컨텍스트 길이(2048 ~ 16384)와 4개의 GPU를 아우르는 44개의 유효 셀(cell)을 다룹니다.
지표:
- $R_{floor}$ : 분석적 메모리 플로어( $t_{floor} = (W+K)/B_{peak}$ )와 관측된 스텝 타임( $t_{obs}$ )의 비율입니다. 1.0은 완벽한 대역폭 활용을 나타냅니다.
- CUDA Graphs A/B 테스트: 런칭 오버헤드를 격리하기 위해 "eager" 실행과 "graphed" 실행(캡처된 DAG 리플레이)을 비교하는 falsification(반증) 실험입니다.
- 소프트웨어 스택 매트릭스: 다양한 어텐션 백엔드(SDPA, FlashAttention-2/3, FlashInfer)와 양자화 경로(bf16, bnb-nf4, AutoAWQ+Marlin, GPTQ+ExLlamaV2)를 비교합니다.

주요 결과

1. 역전된 토큰당 비용 계층

연구는 대역폭 활용도에서 극명한 차이를 보여줍니다:

L4 (300 GB/s): 피크 HBM 대역폭의 **~81%**를 달성합니다 ( $R_{floor} \approx 0.81$ ). 이 워크로드는 진정한 메모리 제한 상태입니다.
H100 (3350 GB/s): 피크 HBM 대역폭의 **~27%**만을 달성합니다 ( $R_{floor} \approx 0.27$ ).
시사점: H100의 11배 높은 대역폭 우위가 11배의 속도 향상을 가져오지 않습니다. 대신, H100은 런칭 오버헤드에 의해 멈춰 서 있는 반면, L4는 메모리 트래픽에 의해 멈춰 있습니다.

2. CUDA Graphs 반증 테스트

저자들은 CUDA Graphs를 통해 CPU 런칭 오버헤드를 제거함으로써 메커니즘을 격리했습니다:

H100 (ctx=2048) 상에서: CUDA Graphs는 지연 시간을 1.259배 개선했습니다 (95% CI [1.253, 1.267]). 이는 런칭 오버헤드가 스텝 타임의 약 20%를 차지함을 확인시켜 줍니다.
L4 (ctx=2048) 상에서: 동일한 개입은 1.028배의 개선만을 가져왔습니다.
결론: H100의 배치-1 디코드에 대한 구속 요인은 "런칭 세금(launch tax)"인 반면, L4에 대한 구속 요인은 대역폭입니다.

3. 어텐션 커널 선택

FlashAttention 변형들이 항상 우월하다는 믿음과는 대조적으로:

H100 배치-1에서, PyTorch의 기본 SDPA 디스패처(36.05 µs/layer)가 명시적인 FlashAttention-3(79.25 µs), FlashInfer(48.20 µs), 그리고 FlashAttention-2 컨텍스트(44.35 µs)보다 성능이 뛰어났습니다.
핵심적인 제약 사항은 어텐션 커널 자체의 처리량이 아니라, 커널 런칭의 *순차적 과정(sequence)*입니다.

4. L4에서의 양자화 및 커널 구현

대역폭 제한적인 L4에서는 양자화만으로는 불충분하며, 커널 구현이 중요합니다:

bf16: 62.32 ms/step.
bnb-nf4: 59.36 ms/step (디퀀타이제이션 오버헤드로 인해 이득이 미미함).
AutoAWQ + Marlin: 45.24 ms/step (1.38배 속도 향상). Marlin은 SM89(Ada)가 아닌 SM80(Ampere)에 최적화되어 있습니다.
GPTQ + ExLlamaV2: 17.36 ms/step (3.59배 속도 향상). ExLlamaV2의 커널은 Ada(SM89)에 최적화되어 있어, 이론적인 대역폭 절감 효과를 성공적으로 실현합니다.
결과: ExLlamaV2를 사용하는 L4(17.36 ms)는 표준 eager 실행을 사용하는 H100(14.83 ms)보다 훨씬 빠르며, CUDA Graphs를 사용하는 H100(11.78 ms)과 경쟁할 만한 수준입니다. 그럼에도 H100은 11배 더 높은 피크 대역폭을 보유하고 있습니다.

의의 및 주장

본 논문은 물리적 AI 워크로드에 대해 표준 배포 계층( $L4 \to H100$ )이 역전되었음을 입증한다고 주장합니다:

런칭 오버헤드의 지배력: 짧은 컨텍스트를 가진 빠른 GPU(H100)에서, 커널당 CPU 런칭 오버헤드가 스텝 타임을 지배하여 피크 메모리 대역폭을 무의미하게 만듭니다.
하드웨어 업그레이드보다 커널 구현이 중요: 배치-1 스트리밍 디코드의 경우, 커널 구현을 최적화하는 것(예: L4에서 ExLlamaV2 사용)이 더 높은 대역폭의 GPU로 업그레이드하는 것보다 더 큰 지연 시간 감소를 제공합니다.
비용 효율성: Modal의 발표된 요율(2026년 5월 기준)에서, 최적화된 커널을 사용하는 L4는 CUDA Graphs를 사용하는 H100보다 약 6배 낮은 비용으로 토큰을 서비스할 수 있습니다. 이는 H100이 우수한 원시 사양을 가졌음에도 불구하고 그렇습니다.
범위의 한계: 저자들은 이러한 결과가 7~8B GQA 트랜스포머, 배치-1, bf16, 그리고 단일 스트림 디코드에 적용됨을 명시합니다. 이 결과가 대규모 배치(런칭 세금이 감소하는 환경), 다른 아키텍처(MHA/MQA), 또는 다른 하드웨어(AMD, Blackwell)로 일반화된다고 주장하지 않습니다.

본 논문은 물리적 AI 추론을 위한 "메모리 제한적(memory-bound)"이라는 라벨이 불완전하다고 결론짓습니다. 시스템은 종 때때로 고성능 실리콘에서는 **런칭 제한적(launch-bound)**이며, 에지 실리콘에서는 **대역폭 제한적(bandwidth-bound)**입니다. 따라서 단순한 하드웨어 업그레이드 경로가 아닌, 서로 다른 최적화 레버(CUDA Graphs vs. 특화된 커널)가 필요합니다.