🤖 AI

Transferable Latency Prediction for Fast LLM Screening on Heterogeneous Edge Devices

본 논문은 최소한의 캘리브레이션만으로 이기종 엣지 디바이스 전반에서 정확하고 전이 가능한 LLM 배포 스크리닝을 가능하게 하기 위해, 정적 모델 디스크립터와 동적 하드웨어 텔레메트리를 적응적으로 융합하는 런타임 인지형 지연 시간 예측 프레임워크를 제안한다.

원저자: Xiaolong Tu, Vinod K. Mishra, Venkat R. Dasari, Anu G. Bourgeois, Haoxin Wang

게시일 2026-07-27

📖 6 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Xiaolong Tu, Vinod K. Mishra, Venkat R. Dasari, Anu G. Bourgeois, Haoxin Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 휴대용 콘솔에서 플레이할 완벽한 비디오 게임을 고르려고 노력하고 있다고 상상해 보세요. 당신에게는 아주 작은 퍼즐 어드벤처부터 거대하고 방대한 롤플레잉 대서사시에 이르기까지 엄청난 양의 게임 라이브러리가 있습니다. 하지만 여기 함정이 있습니다. 당신의 콘솔은 약간 까다롭습니다. 너무 오래 플레이하면 뜨거워지고, 배터리는 빨리 소모되며, 당신이 어떻게 잡느냐 또는 하루 중 몇 시냐에 따라 게임을 처리하는 방식이 이상하게 달라집니다. 어떤 게임이 매끄럽게 돌아가는지 확인하기 위해 모든 게임을 다운로드하고 테스트하려고 한다면, 당신은 하루 종일 다운로드를 기다리다가 그중 절반은 충돌하거나 랙(lag)이 걸린다는 사실을 알게 될 것입니다. 당신은 게임의 설명과 현재 콘솔의 기분만 보고도 어떤 것이 실제로 작동할지 추측할 수 있는 방법이 필요합니다. 이것이 바로 우리 스마트폰과 작은 기기들에서 인공지능이 직면한 정확한 문제입니다.

과학자들은 거대한 클라우드 서버로 데이터를 보내는 대신, 우리 기기에서 직접 실행되는 "대규모 언어 모델(LLM)"—이야기를 쓰고, 질문에 답하며, 문제를 해결할 수 있는 초스마트 AI 두뇌—을 실행시키려 노력하고 있습니다. 이는 개인정보 보호와 속도 측면에서 매우 좋지만, 예측하기는 악몽과 같습니다. AI 모델은 한 폰에서는 완벽하게 실행될 수 있지만, 다른 폰에서는 멈춰버릴 수도 있습니다. 심지어 두 폰이 비슷해 보이더라도 말이죠. 왜 그럴까요? AI의 속도는 질문의 길이, 폰이 얼마나 뜨거워지는지, 배터리가 얼마나 남았는지, 심지어 AI를 실행하는 특정 소프트웨어와 같은 혼란스러운 요소들의 조합에 달려 있기 때문입니다. 만약 우리가 실제로 시도해 보기 전에 AI가 얼마나 빨리 실행될지 예측할 수 없다면, 우리는 실패할지도 모르는 모델들을 테스트하는 데 엄청난 시간과 에너지를 낭비하게 됩니다. 여기서 "미래를 예측하는 것"에 대한 이야기가 시작됩니다.

AI 속도를 위한 수정구슬

이 논문에서 조지아 주립대학교와 육군 연구소의 연구진은 AI 속도를 위한 "수정구슬"을 만들었습니다. 그들은 이를 **런타임 인식 지연 시간 예측 프레임워크(runtime-aware latency prediction framework)**라고 부릅니다. 용어를 풀어보겠습니다. "지연 시간(Latency)"은 단순히 무언가가 일어나는 데 걸리는 시간을 뜻하는 멋진 표현입니다. "런타임 인식(Runtime-aware)"은 시스템이 단순히 종이 위의 스펙만 보는 것이 아니라, AI가 작업하는 동안 일어나는 일에 주목한다는 의미입니다. 그리고 "전이 가능(Transferable)"하다는 것은 이 수정구슬이 한 유형의 장치에서 다른 유형의 장치로 이동하더라도 작동한다는 것을 의미합니다.

연구진은 모든 AI 모델을 모든 기기에서 테스트하는 것이 자신이 가장 좋아하는 맛을 찾기 위해 세상의 모든 아이스크림 맛을 다 보는 것과 같다는 점을 깨달았습니다. 그것은 너무 느리고 비용이 많이 듭니다. 대신, 그들은 새로운 기기와 새로운 AI 모델을 보고 "헤이, 이 조합은 아마 10초 정도 걸려서 답할 거야"라고 말할 수 있는 시스템을 원했습니다.

수정구슬의 작동 원리

이 시스템의 핵심 비법은 단순히 정적인 사실만을 보는 것이 아니라는 점입니다. 당신이 자동차가 얼마나 빨리 달릴지 추측한다고 상상해 보세요. "정적(Static)"인 추측은 단순히 자동차의 엔진 크기와 무게만 봅니다. 하지만 "런타임 인식" 추측은 날씨, 교통 상황, 그리고 운전자가 졸린 상태인지까지도 체크합니다.

연구진의 시스템은 두 가지를 동시에 수행합니다:

정적 경로(The Static Path): 설정의 "신분증"을 살펴봅니다. 여기에는 모델의 크기, 휴대폰이나 기기의 유형, 그리고 설정값이 포함됩니다.
동적 경로(The Dynamic Path): 기기가 실행되는 동안의 "심박수"를 관찰합니다. 칩이 얼마나 뜨거워지는지, 프로세서가 얼마나 빨리 회전하는지, 메모리가 얼마나 사용되고 있는지 등을 추적합니다.

시스템은 AI의 작업을 마치 2부 구성의 경주처럼 두 단계로 나눕니다:

프리필 단계(The Prefill Phase): AI가 당신의 질문을 읽고 생각을 정리하는 단계입니다. 보통 빠르고 폭발적인 질주와 같습니다.
디코드 단계(The Decode Phase): AI가 단어 하나하나를 써 내려가며 답을 작성하는 단계입니다. 이는 길고 꾸준한 조깅과 같습니다.

이 시스템은 두 단계를 분리하여 처리하고, "신분증" 정보와 "심박수" 데이터를 혼합함으로써 훨씬 더 똑똑한 예측을 구축합니다. 그들은 특수한 "게이트 퓨전(gated fusion)" 메커니즘을 사용했는데, 이는 상황에 따라 정적인 사실에 더 귀를 기울일지 아니면 실시간 교통 상황에 더 귀를 기울일지 결정하는 스마트한 신호등과 같습니다.

보정(Calibration)의 마법

여기서 가장 중요한 기술이 있습니다: 이 시스템은 처음부터 완벽하지 않습니다. 만약 Pixel 8 폰에서 훈련된 시스템을 Pixel 8 Pro에 적용한다면, 두 폰이 약간 다르기 때문에 숫자를 틀릴 수 있습니다.

이를 해결하기 위해 연구진은 **보정 세트(calibration set)**를 사용합니다. 이것은 일종의 빠른 "시승"이라고 생각하면 됩니다. AI를 새 기기에서 아주 몇 번(예를 들어 6번에서 20번 정도) 실제로 실행하여 기기가 실제로 어떻게 행동하는지 확인합니다. 그러면 시스템은 이 몇 가지 실제 결과를 사용하여 수정구슬을 미세 조정하고, 예측치를 새로운 기기의 현실에 맞춥니다.

이 보정의 결과는 극적입니다. 보정 없이 Pixel 8 Pro에서 AI가 "디코드"(답을 작성)하는 데 걸리는 시간을 예측하면, 그 점수( $R^2$ )는 -1.085로 매우 형편없었습니다. 이는 예측이 무작위로 추측하는 것보다도 못하다는 뜻입니다. 하지만 아주 약간의 보정만 거친 후, 이 점수는 0서 927로 뛰어올랐으며, 이는 거의 완벽에 가깝습니다. 마치 흐릿한 사진을 몇 번의 조정을 통해 갑자기 선명하게 초점을 맞추는 것과 같습니다.

시스템 테스트

연구진은 이 시스템이 특정 폰 하나에만 국한된 우연이 아님을 증명하기 위해 다양한 기기에서 아이디어를 테스트했습니다. 그들은 다음 기기들을 사용했습니다:

Pixel 8 및 Pixel 8 Pro: 현대적인 모바일 폰을 대표하는 주요 주인공들입니다.
Jetson Nano: 로봇이나 드론에 자주 사용되는 아주 작은 컴퓨터입니다.
Orange Pi 5 Pro: 작은 싱글 보드 컴퓨터입니다.
RTX 3090: 고성능 게이밍 PC에서 흔히 볼 수 있는 강력한 그래픽 카드입니다.

그들은 동일한 AI 모델이 큰 그래픽 카드에서는 매우 빠를 수 있지만(초당 64.38 토큰), 작은 Orange Pi에서는 매우 느릴 수 있음(초당 8.42 토큰)을 발견했습니다. 이는 단순히 모델만 보고 속도를 추측해서는 안 되며, 반드시 기기를 알아야 한다는 것을 증명합니다.

이것이 왜 중요한가: 스크리닝 과정

최종 목표는 단순히 속도를 예측하는 것이 아니라, 시간을 절약하는 것입니다. 당신에게 100개의 서로 다른 AI 모델이 있고, 당신의 특정 폰에 가장 적합한 것을 골라야 한다고 상상해 보세요. 이 시스템이 없다면, 당신은 100개를 모두 다운로드하고 테스트해야 할 것입니다. 이 시스템을 사용하면 100개의 속도를 즉시 예측할 수 있습니다.

연구진은 그 후 **파레토 최적화(Pareto optimization)**라는 전략을 사용합니다. 이것은 "스윗 스팟(sweet spot)"을 찾는 세련된 방식입니다. 그들은 빠르면서도 똑똑한 모델을 원합니다. 만약 모델 A가 모델 B보다 느린데 더 똑똑하지도 않다면, 모델 A는 쓸모가 없습니다. 시스템은 나쁜 옵션들을 걸러내고 가장 유망한 후보들의 짧은 목록만을 남겨줍니다.

테스트에서 이 스크리닝 과정은 가장 좋은 모델들을 계속 유지하는 데 성공했습니다. 예를 들어, Pixel 8 Pro에서 Pixel 8로 넘어갈 때, 시스템은 후보 중 절반을 걸러냈지만 가장 뛰어난 모델은 여전히 목록에 남겨두었습니다.

그들이 발견한 것 (그리고 발견하지 못한 것)

이 논문은 이 방법이 AI 배포를 더 빠르고 저렴하게 만드는 강력한 도구임을 시사합니다. 그들은 다음을 발견했습니다:

정적인 추측은 충분하지 않다: 단순히 모델의 크기를 아는 것만으로는 특정 폰에서 얼마나 빨리 실행될지 알 수 없습니다.
보정이 핵심이다: 한 기기에서의 예측을 다른 기기로 그대로 복사해서 붙여넣을 수는 없으며, 예측을 수정하기 위해 약간의 실제 데이터가 필요합니다.
단계가 중요하다: AI의 "읽는" 부분과 "쓰는" 부분을 다르게 취급하는 것이 예측을 훨씬 더 정확하게 만듭니다.

하지만 저자들은 이것이 시작 단계임을 주의 깊게 언급했습니다. 그들의 최고의 결과는 Pixel 폰에서 나왔으며, Jetson이나 Orange Pi와 같은 다른 기기에서도 작동할 수 있음을 보여주긴 했지만, 아직 그 기기들에 대해 깊이 있는 훈련을 완전히 수행하지는 않았습니다. 또한, 강력한 컴퓨터에서는 가끔 작은 모델이 큰 모델보다 항상 더 빠르게 실행되는 것은 아니라는 점을 언급했는데, 이는 그들의 시스템이 설명해 주는 기이한 특징 중 하나입니다.

요약하자면, 이 논문은 우리가 시간을 허비하거나 배터리를 소모하지 않고도 기기에서 최고의 AI 경험을 누릴 수 있도록 돕는, 우리의 시간을 아껴주는 영리하고 유연한 방법론을 제시합니다. 이는 혼란스러운 추측 게임을 계산된 데이터 기반의 의사결정으로 바꾸어 놓습니다.

기술 요약: 이기종 엣지 디바이스에서의 빠른 LLM 스크리닝을 위한 전이 가능한 지연 시간 예측

문제 정의

이종의 엣지 디바이스(예: 모바일 폰, 싱글 보드 컴퓨터, 임베디드 GPU)에 대규모 언어 모델(LLM)을 배포하는 것은 저지연성, 프라이버시 민감성 및 연결성 제약이 있는 애플리케이션을 위해 점점 더 중요해지고 있습니다. 그러나 특정 장치 및 특정 배포 요구 사항에 적합한 모델이 무엇인지 결정하는 것은 여전히 중요한 시스템 병목 현상으로 남아 있습니다.

핵심 과제는 LLM 추론 지연 시간이 단순히 정적 모델 아키텍처나 하드웨어 성능에 의해서만 결정되지 않는다는 점입니다. 대신, 이는 다음과 같은 복잡한 함수의 결과입니다:

정적 요인: 모델 아키텍처, 파라미터 규모, 양자화 형식 및 하드웨어 사양.
동적 요인: 프롬프트 길이, 생성된 토큰의 동작, 동적 전압 및 주파수 스케일링(DVFS), 하드웨어 활용도, 메모리 압박 및 열 스로틀링(Thermal Throttling).
실행 단계: LLM 추론은 프리필(prefill)(프롬프트를 처리하고 KV 캐시를 구축하는 단계)과 디코드(decode)(자기회귀적 토큰 생성 단계)라는 별개의 단계로 구성되며, 이들은 서로 다른 지연 시간 특성과 하드웨어 동작을 보입니다.

모든 후보 모델을 모든 대상 장치에서 철저히 벤치마킹하는 단순한 해결책은 런타임 설정, 모델 변환, 실행 및 텔레메트리 수집 비용으로 인해 매우 비효율적입니다. 기존의 지연 시간 예측기들은 주로 정적 특징에만 의존하며, 이로 인해 플랫폼 특유의 런타임 동작, 스케줄링 효과 및 백엔드 종속적인 실행 차이를 포착하지 못합니다. 따라서 타겟 장치에서의 고비용 실행 전에 후보 모델을 스크리닝할 수 있는 런타임 인지형(runtime-aware) 및 전이 가능한(transferable) 예측 프레임워크가 필요합니다.

방법론

본 논문은 이기종 환경 전반에서 배포 지향적인 LLM 선택을 위해 설계된 런타임 인지형 지연 시간 예측 프레임워크를 제안합니다. 이 시스템은 다음 네 가지 주요 단계를 통해 작동합니다.

1. 구성 표현 (Configuration Representation)

각 추론 요청은 구성 튜플 $c = (m, d, r, p)$ 로 모델링됩니다:

$m$ : 사전 학습된 모델 (패밀리, 크기, 양자화).
$d$ : 디바이스 (하드웨어 프로필, 텔레메트리 역량).
$r$ : 런타임 백엔드 및 플랫폼 설정 (예: MLC-LLM, PyTorch, CPU/GPU/NPU).
$p$ : 프롬프트/태스크 구성 (입력 길이, 최대 생성 길이).

2. 이중 경로 예측기 아키텍처 (Dual-Path Predictor Architecture)

본 프레임워크는 게이팅 메커니즘을 통해 융합되는 두 개의 상보적인 브랜치를 가진 전이 가능한 예측기를 채택합니다:

정적 경로 (Static Path): 안정적인 디스크립터(디바이스 프로필, 모델 디스크립터, 배포 설정)를 정적 임베딩( $S$ )으로 인코딩합니다. 이는 실행 전 기대되는 호환성을 포착합니다.
동적 경로 (Dynamic Path): 프로파일링 중에 수집된 런타임 텔레메트리 트레이스를 처리합니다. 결정적으로, 여기에는 **단계 인지형 모델링(phase-aware modeling)**이 적용됩니다:
- 프리필 트레이스는 정규화된 단계 시간(normalized phase time) 하에 정렬되어 희소하고 폭발적인(bursty) 하드웨어 상태를 재구성합니다.
- 디코드 트레이스는 자기회귀적 동작을 포착하기 위해 시간적 순서를 보존합니다.
- 템포럴 인코더(Temporal Encoder)는 이를 하나의 동적 임베딩( $D$ )으로 집계합니다.
게이팅 융합 (Gated Fusion): 경량 게이팅 네트워크가 적응형 가중치( $w_s, w_d$ )를 계산하여 $S$ 와 $D$ 를 융합합니다. 이를 통해 구성이 안정적일 때는 정적 정보에 더 의존하고, 런타임 변동이 지배적일 때는 동적 데이터에 더 의존할 수 있습니다.
회귀 헤드 (Regression Head): 예측된 프리필 지연 시간, 디코드 지연 시간 및 총 지연 시간을 출력합니다.

3. 전이 및 캘리브레이션 (Transfer and Calibration)

교차 디바이스 배포를 처리하기 위해 시스템은 **캘리브레이션 세트(calibration set)**를 사용합니다. 소수의 타겟 디바이스 실행 측정을 통해 디바이스별 편향을 교정합니다. 이는 소스에서 학습된 예측기를 타겟 디바이스의 지연 시간 규모 및 런타임 체제에 맞게 정렬하며, 전수 프로파일링을 요구하지 않습니다.

4. 파레토 기반 스크리닝 (Pareto-Based Screening)

예측된 지연 시간은 모델 정확도(또는 태스크 품질)와 결합되어 **파레토 최적화(Pareto optimization)**를 수행합니다. 시스템은 지연 시간이 더 길고 품질이 낮은 후보(지배된 후보)를 필터링하여, 응답성과 출력 품질 사이의 균형을 맞추는 파레토 최적 모델의 압축된 집합을 식별합니다.

주요 기여

정식화: LLM 지연 시간 예측을 하드웨어-런타임-모델-프롬프트 구성 문제로 정의하여, 다양한 디바이스, 모델, 프롬프트 및 백엔드 간의 예측을 가능하게 했습니다.
아키텍처: 정적 디스크립터를 동적 텔레메트리와 통합하고, 단계 인지형 모델링을 통해 프리필/디코드 동작을 분리하며, 적응형 임베딩 결합을 위해 게이팅 융합을 사용하는 런타임 인지형 전이 가능 예측기를 제안했습니다.
워크플로우: 캘리브레이션된 예측을 사용하여 타겟 디바이스 실행 전에 후보를 필터링하고 지연 시간-품질 트레이드오프 분석을 지원하는 배포 지향적 스크리닝 워크플로우를 설계했습니다.
검증: Pixel 모바일 디바이스, Jetson Nano, Orange Pi 5 Pro 및 RTX 3090급 GPU에 걸친 다중 플랫폼 프로파일링 파이프라인을 구축하고 평가하여, 모바일 예측 정확도와 이기종 프로파일링 커버리지를 검증했습니다.

실험 결과

프레임워크는 Pixel 8 및 Pixel 8 Pro에서 평가되었으며, Jetson Nano, Orange Pi 5 Pro 및 RTX 3090급 하드웨어에서 프로파일링 검증이 이루어졌습니다.

디바이스 내 예측 (Within-Device Prediction): Pixel 8에서 전체 지연 시간 $R^2$ 은 정적 전용 베이스라인 대비 0.953에서 0.960으로, 디코드 지연 시간 $R^2$ 은 0.957에서 0.973으로 개선되었습니다. Pixel 8 Pro에서는 프리필 지연 시간 $R^2$ 이 -1.383에서 0.966으로 크게 향상되었습니다.
교차 디바이스 전이 (Cross-Device Transfer): 캘리브레이션이 필수적이었습니다. 캘리브레이션이 없으면 전이 $R^2$ 값이 종종 음수였습니다 (예: Pixel 8 Pro $\to$ Pixel 8 전체 지연 시간의 경우 -0.974). 캘리브레이션을 적용하면 $R^2$ 이 0.940으로 향상되었습니다.
이기종 프로파일링 (Heterogeneous Profiling): 지연 시간이 디바이스 및 런타임에 매우 의존적임을 확인했습니다. 예를 들어, SmolLM2-1.7B 모델은 RTX 3090급 GPU에서 64.38 tokens/s를 달성한 반면, Orange Pi 5 Pro에서는 8.42 tokens/s에 불과했습니다. 또한, RTX 3090에서는 작은 모델이 항상 더 빠른 것은 아니었으며, 이는 커널 오버헤드와 메모리 동작이 파라미터 수 스케일링을 압도할 수 있음을 나타냅니다.
절제 연구 (Ablation Studies): 정적 디스크립터만으로는 교차 디바이스 전이가 불충분하며, 캘리브레이션이 예측을 안정화하는 데 가장 결정적인 요소임을 확인했습니다. 단계 인지형 모델링은 프리필 지연 시간 예측에서 명확한 이점을 제공했습니다.
스크리닝 효율성 (Screening Efficiency): 예측기는 최적의 실행 가능한 모델을 보존하면서 후보 모델 집합을 성공적으로 축소했습니다 (테스트된 시나리오에서 필터링 비율 0.333 및 0.500).

의의 및 주장

본 논문은 경량 캘리브레이션을 동반한 런타임 인지형 예측이 프로파일링 비용을 크게 줄이고 이기종 엣지 플랫폼 전반에서 지연 시간을 고려한 LLM 배포를 지원할 수 있다고 주장합니다.

실질적 영향: 본 프레임워크는 전수 벤치마킹을 예측 기반 스크리닝 프로세스로 대체함으로써 모델 선택의 "시스템 병목" 문제를 해결합니다.
동적 요소의 필요성: 실험 결과는 정적 모델만으로는 엣지 디바이스의 성능을 결정짓는 DVFS, 열 스로틀링, 런타임 스케줄링의 복잡한 상호작용을 포착할 수 없음을 입증합니다.
전이 가능성: 시스템은 소스 디바이스에서 학습된 예측기가 작은 캘리브레이션 세트를 사용할 경우 타겟 디바이스로 효과적으로 일반화될 수 있음을 보여줍니다.
배포 루프: 본 연구는 지연 시간 예측을 고립된 회귀 작업이 아니라, 제한된 측정을 통해 결정을 반복적으로 개선하는 폐쇄 루프 배포 시스템의 구성 요소로 프레임화합니다.

저자들은 한계점으로, 가장 완전한 예측 결과가 Pixel 모바일 데이터셋을 기반으로 하고 있으며, 다른 플랫폼들은 주로 프로파일링 검증 용도로 사용되었다는 점을 언급했습니다. 향후 연구로는 지연 시간과 함께 처리량(throughput), 메모리, 에너지를 공동으로 고려하도록 프레임워크를 확장하는 것이 포함되었습니다.