🤖 AI

Multi-Level Modeling of Large Language Model Inference Latency and Energy via Hybrid Analytical--Machine-Learning Predictors

이 논문은 NVIDIA H100과 같은 하드웨어에서 다양한 대규모 언어 모델 아키텍처의 추론 지연 시간과 에너지 소비를 정확하게 추정하기 위해 분석적 모델링과 머신 러닝을 결합한 하이브리드 3단계 프레임워크인 HYMELL을 소개하며, 이를 통해 5% 미만의 오차를 달로 5% 미만의 오차를 달성하고 하드웨어 없이도 효율적인 설계 공간 탐색을 가능하게 합니다.

원저자: Saeid Shokoufa, Mohammad Erfan Sadeghi, Mehdi Kamal, Massoud Pedram

게시일 2026-08-10

📖 6 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Saeid Shokoufa, Mohammad Erfan Sadeghi, Mehdi Kamal, Massoud Pedram

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 이야기를 쓰고, 수학 문제를 풀고, 인간처럼 대화할 수 있는 거대한 말하는 로봇을 만들려고 한다고 상상해 보세요. 이 로봇의 이름은 대규모 언어 모델(LLM)입니다. 이 로봇을 작동시키려면 고성능 비디오 게임 컴퓨터에 들어가는 것과 같은 종류의 칩인 그래픽 처리 장치(GPU), 즉 초고속 컴퓨터 두뇌가 필요합니다. 하지만 문제는 이 로보트들이 점점 더 크고 똑똑해지면서 운영 비용이 믿기 힘들 정도로 비싸지고 있다는 점입니다. 이들은 엄청난 양의 전기를 집어삼키고 생각하는 데 오랜 시간이 걸리기 때문에, 병원이나 학교와 같은 실제 상황에서 사용하기 어렵습니다.

과학자들이 던지는 큰 질문은 이것입니다: "우리는 로봇을 실제로 만들기 전에도 이 로봇이 정확히 얼마나 많은 에너지와 시간을 필요로 할지 어떻게 알 수 있을까?" 현재로서는 이를 알아내기 위해 로봇을 직접 만들고, 실행한 뒤, 특수 도구로 측정해야 합니다. 이는 느리고 비용이 많이 들며, 실제 슈퍼컴퓨터를 옆에 두고 있어야만 가능합니다. 만약 가장 효율적인 설계를 찾기 위해 천 가지의 서로 다른 로봇 디자인을 시도해 보고 싶다면, 그것들을 하나하나 모두 만들고 테스트해야 하므로 영원히 걸릴 것이고 엄청난 돈이 들 것입니다.

여기서 서던 캘리포니아 대학교의 연구진이 HYMELL이라는 새로운 아이디어를 가지고 등장합니다. HYMELL을 컴퓨터 과학자들을 위한 "수정구슬"이라고 생각해 보세요. 이 새로운 도구는 로봇을 직접 만들고 테스트하는 대신, 설계도만 보고도 로봇이 얼마나 빠르고 에너지를 얼마나 많이 소비할지 정확하게 예측할 수 있게 해줍니다. 이 도구는 고전적인 수학 공식과 현대적인 머신 러닝을 영리하게 결합하여 이 거대한 모델을 실행하는 데 드는 비용을 추측합니다. 연구진은 이 수정구슬을 강력한 컴퓨터 칩인 NVIDIA H100에서 테스트했으며, 그 결과 로봇의 속도와 에너지 사용량을 놀라운 정확도로 예측해 냈습니다. 오차가 종종 5% 미만이었습니다. 이는 엔지니어들이 이제 슈퍼컴퓨터를 구매하거나 결과를 기다리며 며칠을 보낼 필요 없이, 노트북 하나로 수천 가지의 서로 다른 로봇 디자인을 빠르게 실험해 볼 수 있음을 의미합니다.

3단계 탐정

HYMELL이 어떻게 작동하는지 이해하기 위해, 당신이 거대하고 여러 층으로 된 케이크를 굽는 데 시간이 얼마나 걸릴지, 그리고 오븐이 전기를 얼마나 사용할지 추정한다고 상상해 보세요. 최종 케이크만 보고 전체 시간을 추측하려고 하면, 세부 사항을 놓치기 때문에 종종 부정확할 수 있습니다. 대신, HYMELL은 문제를 작고 관리 가능한 조각들로 나누는 3단계 탐정 역할을 합니다.

1단계: 아주 작은 재료들 (분석적 모델링)
먼저, 시스템은 로봇 두뇌의 가장 작은 "재료"들을 살펴봅니다. 이것들은 거대한 숫자 격자를 곱하는 것(GEMM), 데이터를 정규화하는 것(RMSNorm), 어텐션 점수를 계산하는 것(Softmax)과 같은 기본적인 수학 연산들입니다. 연구진은 이러한 작은 연산들이 작업의 규모에 따라 다르게 행동한다는 사실을 깨달았습니다.

비유: 작은 주방 업무를 양파 하나를 써는 것에 비유해 봅시다. 양파가 하나뿐이라면, 걸리는 시간은 주로 냉장고로 걸어가서 칼을 잡고 썰기 시작하는 데 걸리는 시간(이것을 "런칭 바운드(launch-bound)"라고 합니다)에 좌우됩니다. 하지만 양파 산더미를 썰어야 한다면, 시간은 주로 실제 써는 속도와 양파를 얼마나 빨리 옮길 수 있는지(이것을 "메모리 바운드(memory-bound)"라고 합니다)에 달려 있습니다.
HYMELL은 작업이 작을 때와 클 때의 비용을 계산하기 위해 수학 공식을 사용하여 이러한 작은 재료들의 비용을 계산합니다. 단순히 추측하는 것이 아니라, 물리 기반 규칙을 사용하여 이러한 연산의 기초 비용을 파악합니다.

2단계: 레시피 블록 (머신 러닝)
다음으로, 시스템은 이러한 작은 재료들을 어텐션 블록(로봇이 중요한 단어에 집중하도록 돕는 것)과 피드 포워드 네트워크(로봇이 정보를 처리하도록 돕는 것)와 같은 더 큰 "블록"으로 그룹화합니다.

비유: 당신이 양파를 써는 데 걸리는 시간과 달걀을 휘젓는 데 걸리는 시간을 정확히 알고 있다고 가정해 봅시다. 하지만 이들을 결합하여 오믈렛을 만들 때는 추가 단계가 있습니다. 껍질을 까고, 그릇을 닦고, 아마도 잠시 기다리는 등의 과정입니다. 이러한 추가 단계들은 단순한 수학만으로는 계산하기 어렵습니다.
그래서 HYMELL은 작은 스마트 컴퓨터 프로그램(머신 러닝 모델)을 사용하여 이러한 "추가 단계"를 학습합니다. 이 프로그램은 1단계의 수학 기반 추정치를 살펴보고, 데이터 형태를 바꾸거나 작업을 전환할 때 발생하는 복잡한 현실 세계의 오버헤드(overhead)에 대한 보정 계수를 더합니다. 이를 통해 전체 "레시피 블록"의 비용을 매우 정확하게 예측할 수 있습니다.

3단계: 전체 케이크 (엔드 투 엔드 예측)
마지막으로, 시스템은 모든 블록을 합쳐서 로봇이 전체 대화를 수행하는 데 드는 비용을 예측합니다.

비유: 이제 당신은 오믈렛, 케이크, 샐로드를 만드는 데 드는 시간을 각각 알고 있습니다. 하지만 전체 연회를 준비하는 것은 단순히 시간들을 더하는 것 이상의 일이 필요합니다. 오븐이 가열되는 문제, 주방이 붐비는 문제, 그리고 카운터에서 테이블로 접시를 옮기는 시간 등을 고려해야 합니다.
HYMELL은 모든 블록의 비용을 가져와서 이러한 "시스템 수준"의 효과들을 더하는 또 다른 스마트 컴퓨터 프로그램을 사용합니다. 이 프로그램은 동시에 질문을 던지는 사람의 수(배치 크기)나, 로봇이 긴 프롬프트를 읽고 있는지 아니-면 단어 하나씩 생성하고 있는지와 같은 요소들을 고려합니다. 이를 통해 전체 시간과 에너지에 대한 최종적이고 정확한 예측을 내놓습니다.

연구 결과

연구진은 유명한 로봇 모델인 LLaMA 3, Mistral, Qwen을 사용하여 강력한 NVIDIA H100 GPU에서 이 3단계 탐정을 테스트했습니다. 결과는 인상적이었습니다.

높은 정확도: 작은 재료들(1단계)에 대해 예측은 실제와 매우 유사했으며, 오차는 종종 4% 미만이었습니다. 전체 로봇(3단계)에 대해서도 시스템은 많은 모델에서 시간과 에너지 사용량을 5% 미만의 오차로 예측했습니다. 예를 들어, LLaMA 3 8B 모델을 테스트했을 때, "프리필(prefill)" 단계(프롬프트를 읽는 단계)에서의 오차는 시간의 경우 4.19%, 에너지의 경우 2.92%였으며, "디코드(decode)" 단계(단어를 생성하는 단계)에서는 약 1.5%로 훨씬 더 낮았습니다.
속도와 유연성: HYMELL은 로봇을 직접 실행하는 것이 아니라 설계도(아키텍처 파라미터)를 바탕으로 예측하기 때문에 매우 빠릅로. 엔지니어들은 수천 가지의 디자인 변경 사항을 즉각적으로 탐색할 수 있습니다. 예를 들어, "어텐션 헤드 수를 두 배로 늘리면 어떻게 될까?"라고 물으면 몇 초 만에 답을 얻을 수 있으며, 특정 설정에서 64개의 헤드가 가장 에너지 효율적인 선택임을 보여줄 수 있습니다.
다양한 하드웨어에서의 작동: 연구팀은 또한 이 방법이 단 하나의 컴퓨터 유형에 국한되지 않음을 보여주었습니다. 그들은 다른 GPU(NVIDIA RTX A6000)에서도 테스트를 진행했으며, 시스템은 여전히 잘 작동하여 약 8%의 오차를 보였습니다. 이는 만약 새로운 컴퓨터 칩에 HYMELL을 사용하고 싶다면, 전체 바퀴를 다시 발명할 필요 없이 새로운 칩의 기본 동작을 한 번만 측정하면 나머지는 자동으로 적응한다는 것을 시사합니다.

HYMELL이 하지 않는 것

HYMELL이 무엇을 하지 않는지를 명시하는 것도 중요합니다. 이것은 로봇을 처음부터 만드는 방법을 알려주는 마법 지팡이가 아니며, 실제 테스트를 완전히 대체하는 것도 아닙니다. 이것은 예측 도구입니다. 연구진은 자신들의 모델이 매우 정확하지만, 특히 서로 다른 유형의 메모리 최적화 사이를 전환하거나 로봇의 서로 다른 부분들 사이의 매우 복잡한 상호작용을 다룰 때 여전히 작은 오차가 존재한다고 명시했습니다. 또한, 이들은 단일 컴퓨터에서 테스트했지만, 여러 대의 컴퓨터가 함께 작동하는 방식(멀티 GPU)으로 로봇이 작동하는 것을 예측하려면 시스템에 몇 가지 단계를 더 추가해야 하며, 아직 이 부분을 완전히 해결하지 못했다고 언급했습니다.

이것이 왜 중요한가

HYMELL의 묘미는 느리고 비용이 많이 드는 추측 게임을 빠르고 정밀한 과학으로 바꾼다는 점에 있습니다. 수학 공식의 신뢰성과 머신 러닝의 유연성을 결합함으로써, 이 도구는 디자이너들에게 더 푸르고, 더 빠르며, 더 효율적인 AI를 구축할 수 있는 강력한 도구를 제공합니다. 모든 아이디어를 테스트하기 위해 전기와 시간을 낭비하는 대신, 그들은 이 "수정구슬"을 사용하여 실제로 만들기 전에 최적의 디자인을 찾아낼 수 있으며, 이는 더욱 지속 가능한 인공지능의 미래를 향한 길을 열어줍니다.

기술 요약: LLM의 에너지 및 지연 시간을 위한 하이브리드 모델링 (HYMELL)

문제 정의

대규모 언어 모델(LLM)의 급격한 규모 확장은 상당한 계산 비용, 에너지 소비 및 추론 지연 시간의 증가를 초래했습니다. 이러한 지표를 정확하게 추정하는 것은 지속 가능한 AI 배포와 하드웨어 인지형 설계를 위해 매우 중요합니다. 기존 방식들은 다음과 같은 중대한 한계에 직면해 있습니다:

순수 분석 모델 (예: AMALI, LIFE, SweetSpot): 광범위한 수동 모델링, 세부적인 커널별 분석, 명시적인 하드웨어 사양을 요구하는 경우가 많습니다. 이들은 새로운 아키텍처나 커널에 적응할 때 확장성이 떨어지며, 다양한 시스템 오버헤드 하에서 성립하지 않을 수 있는 가정에 의존합니다.
프록시 기반 방법 (예: 추론 시간을 에너지의 프록시로 사용): 미세한 아키텍처 효과나 시스템 수준의 오버헤드를 포착하지 못하며, 거친 입도의 추정치만을 제공합니다.
순수 데이터 기반 모델: 해석 가능성이 부족하며, 광범한 재학습 없이 다양한 시퀀스 길이 및 배치 체제 전반에 걸쳐 일반화되는 능력이 떨어질 수 있습니다.

따라서 하드웨어 실행 없이도 프리필(prefill) 및 디코드(decode) 단계에서 데 dense 및 Mixture-of-Experts (MoE) LLM 모두를 모델링할 수 있는 정확성, 해석 가능성 및 적응성을 갖춘 프레임워크가 필요합니다.

방법론: HYMELL 프레임워크

저자들은 원시 연산에 대한 분석적 모델링과 상위 레벨 컴포넌트에 대한 머신러닝(ML)을 결합한 3단계 계층적 프레임워크인 HYMELL(Hybrid Modeling for Energy and Latency of LLMs)을 제안합니다. 이 프레임워크는 NVIDIA H100 GPU에서 작동하며(RTX A6000에서 검증됨), Dense 및 MoE 아키텍처와 Multi-Head Attention (MHA) 및 Grouped-Query Attention (GQA)을 모두 지원합니다.

레벨 1: 원시 연산자의 분석적 추정

이 레벨은 레짐 인식(regime-aware) 분석 방정식을 사용하여 저수준 GPU 연산을 모델링합니다. 저자들은 런치 바운드(launch-bound, 커널 런치 오버헤드가 지배적인 작은 워크로드)와 메모리 바운드(memory-bound, 메모리 트래픽이 지배적인 큰 워크로드) 실행 레짐을 구분합니다.

RMSNorm: 고정된 오버헤드를 가진 메모리 바운드 연산자로 모델링됩니다. 추정기는 토큰 수( $N$ )와 은닉 차원( $d_{model}$ )에 기반한 회귀 계수를 사용하며, 처리되는 총 요소 수를 기준으로 레짐을 구분합니다.
Softmax: 인과적 어텐션 행렬( $N \times N$ )을 위해 모델링됩니다. 추정기는 이차적 메모리 트래픽( $N^2$ )과 리덕션 깊이( $\log_2 N$ )를 포착하며, 시퀀스 길이 임계값을 기준으로 레짐을 전환합니다.
GEMM (General Matrix Multiplication): 지배적인 계산 블록입니다. 모델은 총 부동 소수점 연산( $F$ )과 산술 강도(Arithmetic Intensity, AI)에 따라 GEMM을 5가지 레짐(커널 런치 바운드, 메모리 바운드, 균형 잡힌(메모리 지배적), 균형 잡힌(컴퓨트 지배적), 컴퓨트 바운드)으로 분할합니다. 특징으로는 병렬성 계수($PF = MN/K $), 메모리 트래픽($ B_{in}, B_{out}$), 그리고 GPU 활용의 미묘한 차이를 포착하기 위한 상호작용 항이 포함됩니다.

레벨 2: 블록 단위 컴포넌트의 ML 예측

레벨 1의 분석적 추정치는 명시적으로 모델링되지 않은 잔여 오버헤드(예: 텐서 리셰이핑, 마스킹, 활성화 함수 및 라우팅)를 예측하기 위해 경량 다층 퍼셉트론(MLP)의 입력으로 사용됩니다.

Attention 블록: GEMM 및 Softmax 예측값과 아키텍처 파라미터(헤드, 차원)를 입력받아 전체 어텐션 시간과 에너지를 예측합니다. 이는 MHA와 GQA를 모두 지원하며, 자기회귀 디코딩 중 KV-캐시 길이( $L_{KV}$ )를 명시적으로 모델링합니다.
FFN 블록: 업/다운 프로젝션을 위한 GEMM 예측을 사용합니다. MoE 아키텍처의 경우, 전문가(expert) 수와 top- $k$ 라우팅을 입력으로 통합하여 총합 비용을 예측합니다.

레벨 3: 엔드 투 엔드 시스템 레벨 추정

최종 MLP는 블록 레벨 예측을 글로벌 시스템 파라미터(모델 차원, 레이어 수, 시퀀스 길이, 배치 크기, 추론 모드, MoE 구성)와 결합합니다. 이 레벨은 하위 레벨에서 모델링하기 어려운 커널 스케줄링, 크로스 레이어 동기화 및 프레임워크 오버헤드와 같은 시스템 레벨 효과를 포착합니다합니다.

주요 기여

하이브리드 3단계 아키텍처: 원시 연산에 대한 분석 모델의 해석 가능성과 복잡한 상호작용 및 오버헤드에 대한 ML의 유연성을 활용하는 새로운 프레임워크입니다.
레짐 인식 분석 모델링: RMSNorm, Softmax 및 GEMM에 대해 런치 바운드와 메모리 바운드(또는 컴퓨트 바운드) 레짐을 명시적으로 분리하여, 작은 텐서와 다양한 워크로드에 대한 정확도를 크게 향 향상시켰습니다.
하드웨어 불가지론적 이식성: 특정 하드웨어에서 훈련되었지만, 프레임워크는 이식 가능하도록 설계되었습니다. 새로운 GPU에 적응하려면 분석 계수를 업데이트하고 경량 ML을 미세 조정하는 재프로파일링만 필요하며, 구조적 방정식을 다시 도출할 필요가 없습니다.
다양한 아키텍처 지원: 밀집(dense) 및 MoE FFN, MHA 및 GQA 메커니즘, 다양한 시퀀스 길이 및 배치 크기를 처리합니다.

실험 결과

이 프레임워크는 약 1,200개의 모델 구성(LLaMA 3 8B, Mistral 7B, Qwen 1.5 2.7B MoE 포함)을 사용하여 NVIDIA H100 GPU에서 평가되었습니다.

연산자 레벨 정확도:
- RMSNorm: 시간 MAPE 1.69%, 에너지 MAPE 3.38% 달성.
- Softmax: 시간 MAPE 3.27%, 에너지 MAPE 1.92% 달성.
- GEMM: 다양한 레짐에 걸쳐 시간 MAPE 6.38%, 에너지 MAPE 5.79% 달성.
블록 레벨 정확도:
- Attention: 시간 MAPE 1.98%, 에너지 MAPE 2.42% 달성.
- FFN: 밀집 모델의 경우 시간 MAPE 4.62%, 에너지 MAPE 5.47% 달성; MoE의 경우 라우팅 오버헤드로 인해 오차가 약간 더 높음.
엔드 투 엔드 정확도:
- 밀집 및 MoE 모델의 프리필 및 디코드 단계 모두에서 지연 시간 평균 MAPE 10.98% 및 **에너지 MAPE 11.78%**를 달성했습니다.
- AMALI와의 비교: LLaMA 3 8B(배치 크기 1)에서, HYMELL은 분석 모델인 AMALI를 크게 능가했습니다. HYMELL은 프리필에서 4.19%, 디코드에서 **1.58%**의 시간 MAPE를 기록한 반면, AMALI는 각각 15.56%와 34.90%를 기록했습니다. 또한 HYMELL은 AMALI가 제공하지 못한 에너지 추정치도 제공했습니다.
일반화 능력:
- 교차 장치: NVIDIA RTX A6000으로 이식되었을 때, 재프로파일링 후 강력한 정확도(평균 시간 MAPE: 8.14%, 에너지 MAPE: 8.62%)를 유지했습니다.
- 아키텍처 확장성: 프레임워크는 낮은 오차(시간 MAPE 1.91%)로 선형 어텐션 변형을 성공적으로 추정하여 비표준 어텐션 메커니즘에 대한 적응성을 입증했습니다.

의의 및 주장

본 논문은 HYMELL이 LLM 추론 평가를 위한 **빠르고 하드웨어가 필요 없는 대리 모델(surrogate)**을 제공한다고 주장합니다. 아키텍처 파라미터로부터 실행 비용을 직접 예측함으로써 다음을 가능하게 합니다:

신속한 디자인 공간 탐색: 연구자들은 물리적 실험을 수행하지 않고도 에너지 또는 지연 시간을 최소화하는 구성을 식별하기 위해 파라미터(예: 어텐션 헤드, 모델 차원, MoE 설정)를 탐색할 수 있습니다.
에너지 효율적 최적화: 프레임워크는 하드웨어 인지형 설계를 위한 아키텍처 파라미터의 공동 최적화를 지원합니다.
확장성: 하이브리드 접근 방식은 완전한 분석 모델의 복잡성을 피하면서도 순수 데이터 기반 블랙박스 모델보다 더 나은 일반화 능력을 유지합니다.

저자들은 평가가 단일 GPU 추론에 집중되어 있지만, 프레임워크의 모듈식 특성 덕분에 집단 통신 프리미티브(collective communication primitives)와 네트워크 대역폭을 글로벌 특징으로 포함함으로써 멀티 GPU 스케일링으로 확장 가능하다는 점을 강조합니다. 이 연구는 정확한 초기 단계 에너지 및 지연 시간 추정을 가능하게 함으로써 지속 가능한 AI 배포를 위한 토대로 기능합니다.