💬 NLP

Hardware Co-Design Scaling Laws via Roofline Modelling for On-Device LLMs

이 논문은 온디바이스 LLM 배포를 위해 모델의 정확도(Scaling Law)와 하드웨어 추론 성능(Roofline Model)을 결합하여, 주어진 하드웨어 제약 조건 내에서 최적의 성능을 내는 아키텍처를 신속하게 찾아내는 하드웨어-소프트웨어 공동 설계(Co-design) 프레임워크를 제안합니다.

원저자: Luoyang Sun, Jiwen Jiang, Yifeng Ding, Fengfa Li, Yan Song, Haifeng Zhang, Jian Ying, Lei Ren, Kun Zhan, Wei Chen, Yan Xie, Cheng Deng

게시일 2026-02-12

📖 2 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Luoyang Sun, Jiwen Jiang, Yifeng Ding, Fengfa Li, Yan Song, Haifeng Zhang, Jian Ying, Lei Ren, Kun Zhan, Wei Chen, Yan Xie, Cheng Deng

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 문제 상황: "거대한 요리사 vs 좁은 주방"

지금의 거대 언어 모델(LLM)은 마치 **'수백 명의 요리사가 있는 거대한 호텔 주방'**과 같습니다. 요리는 기가 막히게 맛있지만(높은 정확도), 이 주방을 통째로 스마트폰이나 자동차(좁은 주방)에 옮길 수는 없죠.

문제점: 주방(기기)은 좁고, 재료를 가져올 통로(메모리 대역폭)도 좁으며, 가스레인지(연산 능력)도 한정되어 있습니다.
딜레마: 요리사를 너무 많이 쓰면 요리가 너무 느려지고(지연 시간), 요리사를 너무 줄이면 맛이 없어집니다(정확도 저하).

2. 이 논문의 해결책: "하드웨어 맞춤형 황금 레시피 (Hardware Co-Design)"

기존에는 요리법(AI 모델 구조)을 먼저 만들고 나서 "아, 이 주방에는 너무 크네?"라며 뒤늦게 후회했습니다. 하지만 이 논문은 **"주방의 크기와 가스레인지 성능을 먼저 딱 보고, 그에 딱 맞는 요리사 수와 조리 도구의 비율을 수학적으로 계산해내자!"**는 것입니다.

이들은 두 가지 마법의 도구를 사용합니다.

① 손실 법칙 (Scaling Law): "맛의 예측 공식"

요리사 수나 재료의 양을 바꿨을 때, 요리가 얼마나 맛있어질지(정확도)를 미리 계산하는 공식입니다. 수천 번의 요리 실험을 통해 **"이 정도 재료를 쓰면 이 정도 맛이 난다"**는 데이터 기반의 예측 모델을 만들었습니다.

② 루프라인 모델링 (Roofline Modelling): "주방 효율 측정기"

이 주방이 **'재료를 나르는 속도'**가 문제인지, 아니면 **'불의 세기'**가 문제인지를 파악하는 도구입니다.

만약 재료 나르는 통로가 좁다면? 요리사를 늘려봤자 소용없고, 재료를 한 번에 많이 담을 수 있는 큰 그릇(메모리 최적화)이 필요합니다.
만약 불의 세기가 문제라면? 조리 도구(연산 구조)를 더 효율적인 것으로 바꿔야 합니다.

3. 발견한 놀라운 사실들 (황금 레시피의 특징)

연구팀이 수천 개의 설계를 테스트해본 결과, 작은 기기에서 가장 효율적인 모델은 기존의 상식과는 조금 달랐습니다.

"넓고 얕게" (Wide-and-Shallow): 보통 AI는 깊게(층을 많이) 쌓는 게 좋다고 생각하지만, 작은 기기에서는 층을 너무 깊게 쌓으면 속도가 너무 느려집니다. 대신 옆으로 넓게(모델의 폭을 넓게) 만들고 층은 적당히 유지하는 것이 맛과 속도를 모두 잡는 비결이었습니다.
"전문가 시스템" (MoE - Mixture of Experts): 모든 요리사가 모든 요리에 참여하는 게 아니라, 필요할 때만 특정 분야의 전문가 요리사 몇 명만 투입하는 방식이 훨씬 효율적이었습니다. (이것이 'MoE' 구조입니다.)
"정밀도의 마법": 모든 재료를 최고급(FP16)으로 쓸 필요 없이, 중요하지 않은 부분은 약간 저렴한 재료(INT8)를 써도 맛(정확도)은 거의 떨어지지 않으면서 속도는 엄청나게 빨라진다는 것을 확인했습니다.

4. 결론: "몇 달 걸릴 일을 며칠 만에!"

예전에는 새로운 기기에 맞는 AI를 만들려면 수개월 동안 수만 번의 실험을 반복해야 했습니다. 하지만 이 논문이 제안한 **'하드웨어-소프트웨어 공동 설계 법칙'**을 사용하면, 단 며칠 만에 그 기기에 가장 최적화된(가장 맛있으면서 가장 빠른) AI 모델을 찾아낼 수 있습니다.

한 줄 요약:
"주방(기기)의 한계를 수학적으로 완벽히 파악하여, 최소한의 재료와 인력으로 최고의 맛(정확도)과 속도를 내는 AI 설계도를 자동으로 그려주는 기술입니다."

[기술 요약] 온디바이스 LLM을 위한 Roofline 모델링 기반 하드웨어 공동 설계 스케일링 법칙

1. 문제 정의 (Problem Statement)

최근 자율주행차, 로봇, 스마트 홈 등 물리적 AI(Physical AI) 분야에서 **시각-언어-행동 모델(VLA)**의 중요성이 커지고 있습니다. 그러나 이러한 모델을 온디바이스(On-device) 환경에 배포할 때는 다음과 같은 치명적인 제약 조건이 따릅니다.

자원 제약: 메모리 용량, 대역폭(Bandwidth), 전력, 지연 시간(Latency)에 대한 엄격한 제한.
설계의 불일치: 클라우드 GPU에 최적화된 기존 LLM 아키텍처는 온디바이스의 하드웨어 특성(연산 중심 vs 메모리 대역폭 중심)을 반영하지 못함.
트레이드오프: 모델의 정확도(Loss)를 높이려 하면 지연 시간이 늘어나고, 지연 시간을 줄이면 정확도가 떨어지는 상충 관계 발생.

기존의 신경망 구조 탐색(NAS)은 주로 정확도 최적화에만 집중할 뿐, 하드웨어의 물리적 한계를 수학적으로 결합하여 아키텍처를 설계하는 체계적인 방법론이 부족했습니다.

2. 연구 방법론 (Methodology)

본 논문은 모델의 **정확도(Loss)**와 **추론 성능(Latency)**을 동시에 캡처하는 **'하드웨어 공동 설계 법칙(Hardware Co-Design Law)'**을 제안합니다.

A. 정확도 모델링: Loss Scaling Law

170개의 다양한 아키텍처(Dense 및 MoE 모델 포함)를 10B 토큰씩 학습시켜, 아키텍처 하이퍼파라미터(깊이, 너비, 희소성 등)와 학습 손실(Loss) 사이의 관계를 다항식 형태의 **스케일링 법칙(Scaling Law)**으로 정립했습니다. 이를 통해 실제 학습 없이도 특정 구조의 예상 정확도를 예측할 수 있습니다.

B. 성능 모델링: Roofline 기반 Latency 모델링

하드웨어의 이론적 한계치(Peak Compute, Memory Bandwidth)를 기반으로 하는 Roofline 모델을 사용하여 추론 지연 시간을 예측합니다.

Prefill 단계: 연산 중심(Compute-bound) 특성을 모델링.
Decode 단계: 메모리 대역폭 중심(Memory-bandwidth bound) 특성과 KV-캐시 접근 비용을 모델링.

C. Pareto-optimal 아키텍처 탐색 (PLAS)

정확도 예측 모델과 지연 시간 예측 모델을 결합하여, 주어진 지연 시간 예산 내에서 최소의 Loss를 달성하는 **Pareto Frontier(파레토 최적선)**를 구축합니다. 이를 통해 특정 하드웨어와 애플리케이션 요구사항에 딱 맞는 최적의 아키텍처를 찾아냅니다.

D. 이론적 최적화 프레임워크

경험적 탐색을 넘어, 라그랑주 승수법(Lagrangian multiplier)을 이용한 수학적 최적화를 통해 하드웨어 제약 조건(메모리 제한, 지연 시간 제한)에 따른 최적의 활성화율( $\rho$ ), 깊이( $l$ ), 너비( $d$ ), FFN 비율( $r$ ), GQA 비율에 대한 폐쇄형 해(Closed-form solution)를 도출했습니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

A. 주요 발견 (Key Findings)

MoE(Mixture-of-Experts)의 우위: 온디바이스(Batch size=1) 환경에서는 MoE 구조가 Dense 모델보다 훨씬 효율적입니다. MoE는 연산량(FLOPs)을 유지하면서도 모델 용량(Capacity)을 크게 늘릴 수 있기 때문입니다.
Wide-and-Shallow 선호: 기존 LLM은 깊고 좁은 구조를 선호하지만, 온디바이스의 엄격한 지연 시간 제약 하에서는 "넓고 얕은(Wide-and-Shallow)" 구조가 정확도 대비 지연 시간 효율이 더 높습니다.
단계별 최적화 차이: Prefill 단계(연산 중심)와 Decode 단계(메모리 중심)에 따라 최적의 전문가 수(Expert count)와 FFN 비율이 다르게 나타납니다.
양자화(Quantization) 효과: INT8 양자화는 파레토 프런티어를 개선하지만, 비선형 연산(Softmax 등)과 정밀도 변환 오버헤드로 인해 이론적인 2배 속도 향상에는 미치지 못합니다.

B. 성능 검증

비교 대상: NVIDIA Jetson Orin에서 Qwen2.5-0.5B 모델과 비교.
결과: 동일한 지연 시간(Latency) 조건에서, 본 연구의 공동 설계 아키텍처가 WikiText-2 데이터셋 기준 Perplexity(혼란도)를 19.42% 낮추는 데 성공했습니다. 즉, 같은 속도로 더 똑똑한 모델을 구현했습니다.

C. 효율성

기존의 아키텍처 선택 과정이 수개월이 걸렸다면, 본 프레임워크를 사용하면 단 며칠 만에 최적의 모델을 설계할 수 있습니다.

4. 연구의 의의 (Significance)

최초의 원칙적 프레임워크: 온디바이스 LLM 배포를 위해 하드웨어 특성과 모델 스케일링 법칙을 수학적으로 결합한 최초의 실무적이고 원칙적인 프레임워크입니다.
설계 가이드라인 제공: 하드웨어 제약 조건(메모리 제한 vs 지연 시간 제한)에 따라 아키텍처를 어떻게 조정해야 하는지에 대한 명확한 수학적 가이드라인(Theorem 5.1~5.3)을 제시했습니다.
실무적 활용성: 자율주행이나 로봇과 같이 실시간 응답성과 제한된 하드웨어 자원이 동시에 요구되는 임베디드 AI 시스템 설계에 즉각적으로 적용 가능한 기술입니다.