기술 요약: 스마트폰에서의 레버 (Lever) – 추측적 LLM 추론

문제 정의

스마트폰에 고품질 대규모 언어 모델 (LLM) 을 배포하는 것은 제한된 DRAM 용량에 의해 근본적으로 제약받습니다. 최첨단 모델은 수십억 개의 파라미터를 포함하지만, 상용 스마트폰은 일반적으로 약 10GB 의 DRAM 만 제공하며, 그 중 상당 부분은 운영체제 및 기타 애플리케이션과 공유됩니다. 모델 가중치를 플래시 저장장치로 오프로딩하면 더 큰 모델을 사용할 수 있게 되지만, 심각한 성능 병목 현상을 초래합니다: 자기회귀적 디코딩은 반복적인 모델 호출을 필요로 하며, 매 토큰 생성 시 플래시에서 가중치를 로드하는 것은 금지할 정도로 높은 I/O 지연을 초래합니다.

기존의 추측적 디코딩 (speculative decoding) 방법은 작은 드래프트 모델을 사용하여 토큰을 제안하고 더 큰 타겟 모델이 이를 검증하는 방식으로, 이러한 환경에는 적합하지 않습니다. 이러한 방법들은 두 모델 모두 대역폭이 높은 메모리에 상주하고 검증이 풍부한 병렬성을 활용하는 서버급 하드웨어를 위해 설계되었습니다. 모바일 장치에서는 다음과 같은 이유로 실패합니다:

1. 플래시 바운드 통신: 검증은 타겟 가중치를 플래시에서 로드해야 하므로, 계산 비용이 아닌 I/O 지연이 지배적인 비용이 됩니다.
2. 병렬성 제한 계산: 모바일 NPU 는 서버 GPU 보다 훨씬 적은 병렬성을 제공하므로, 대규모 토큰 트리의 검증은 계산적으로 비용이 많이 듭니다.
3. 불규칙한 실행: 토큰 트리 추측은 모바일 NPU 에 최적화된 고정적이고 규칙적인 텐서 연산과 잘 맞지 않는 불규칙한 분기와 동적 구조를 도입합니다.

방법론: 레버 (Lever) 시스템

저자들은 DRAM-플래시 이종 메모리 계층 구조와 모바일 CPU-NPU 하드웨어에 맞춰 추측적 디코딩의 세 단계 (드래프팅, 검증, 실행) 를 공동으로 최적화하는 엔드투엔드 시스템인 **레버 (Lever)**를 제시합니다.

1. 모바일 최적화 드래프팅 구성

레버는 토큰 트리 구성 목표를 재정의합니다. 서버 측 방법처럼 드래프트 토큰의 수용률을 최대화하는 대신, 레버는 추측 사이클 지연 시간당 예상 출력 토큰 수를 최적화합니다.

• 이득 - 비용 모델링: 레버는 각 잠재적 트리 확장에 대해 한계 이득 (토큰이 수용될 확률) 과 한계 비용 (드래프트 생성 + 타겟 검증의 지연 시간) 을 추정합니다.
• 탐욕적 확장: 탐욕 알고리즘을 사용하여 레버는 이득 - 비용 비율이 가장 높은 프런티어 노드를 선택하여 토큰 트리를 확장합니다. 이는 트리 크기를 균형 있게 유지합니다: 값비싼 플래시 I/O 를 상쇄할 만큼 충분히 크지만, 과도한 검증 오버헤드로 모바일 컴퓨팅 자원을 압도하지는 않을 만큼 충분히 작습니다.
• 적응형 정지: 다음 최선 후보의 한계 이득이 현재 트리의 평균 이득률보다 낮아지면 확장을 중단하여 고정된 예산 제약을 피합니다.

2. 예측기 기반 검증 가지치기

모바일 SoC 에서 대규모 토큰 트리를 검증하는 계산 병목 현상을 완화하기 위해 레버는 조기 종료 (early-exit) 메커니즘을 도입합니다.

• 중간 예측기: 타겟 모델의 중간 레이어에 경량 신경망 예측기가 연결됩니다. 이 예측기는 은닉 상태를 기반으로 드래프트 가지의 점수를 매겨 최종 검증을 통과할 가능성이 높은 가지를 예측합니다.
• 섀도우 후보 및 정규화: 부모 노드의 자식 수가 적을 때도 점수 매기기의 신뢰성을 보장하기 위해 레버는 정규화 과정에 트리 내에 없는 "섀도우 후보" (드래프트 토큰) 를 포함시킵니다. 이는 단일 자식 노드에 대한 사소한 고점수를 방지합니다.
• 보수적 가지치기: 예측 점수가 낮은 가지는 나머지 타겟 레이어를 탐색하기 전에 가지치기됩니다. 트리가 깊이를 유지하도록 "백본 경로"가 보존되며, 유효한 시퀀스를 폐기하는 과도한 공격적 가지치기를 방지하는 안전장치가 마련됩니다. 이는 최종 토큰 수용 여부가 여전히 전체 타겟 모델에 의해 결정되므로 출력 정확도를 유지하면서 검증 계산을 줄입니다.

3. 하드웨어 하이브리드 실행 가속화

레버는 CPU 와 NPU 모두의 활용도를 극대화하기 위해 실행 흐름을 재구성합니다.

• 배치 인식 드래프팅: 드래프팅은 전통적으로 CPU 바운드이지만, 레버는 토큰 트리가 커짐에 따라 여러 개의 고가치 프런티어 노드를 동시에 확장할 수 있음을 식별합니다. 이를 NPU 에서 배치로 스케줄링하여 처리량을 개선하는 동시에, 작고 동적인 확장은 CPU 에서 처리합니다.
• 검증의 레이어별 분리: 레버는 트랜스포머 레이어를 출력 프로젝션과 분리합니다.
  • NPU: 배치 방식으로 보존된 모든 노드에 대한 트랜스포머 레이어를 실행합니다.
  • CPU: 실제 수용된 경로에서만 요청 시 (on-demand) 출력 프로젝션 (로그이트 생성) 을 수행합니다. 이는 최종적으로 거부되는 가지에 대한 로그이트 계산과 같은 불필요한 계산을 방지하며, 고정된 배치 형태를 가진 모바일 NPU 에서 낭비되는 사이클의 주요 원인입니다.

주요 기여

1. 시스템 수준 분석: 이 논문은 모바일 장치에서의 추측적 디코딩이 알고리즘 최적화에서 알고리즘 - 시스템 공동 설계로 전환되어야 함을 규명하며, 특히 플래시 I/O 지연, 제한된 병렬성, 불규칙한 실행 패턴 간의 트레이드오프를 다룹니다.
2. 레버 시스템: 세 가지 최적화 구성 요소를 통합한 새로운 시스템:
   • 모바일 인식 토큰 트리 구성을 위한 이득 - 비용 목표.
   • 검증 계산을 줄이기 위한 예측기 기반 가지치기 메커니즘.
   • 불필요한 계산을 최소화하고 하드웨어 활용도를 극대화하는 CPU-NPU 하이브리드 실행 전략.
3. 종합 평가: 여러 모델 (Llama-3.1-8B, Qwen3 변형), 작업 (코드, 수학, 대화), 하드웨어 플랫폼 (Snapdragon 8 Gen 3, 8 Elite) 에서 레버의 효과를 입증한 광범위한 실험.

결과

상용 스마트폰 (OnePlus 12, Honor 500 Pro, Honor Magic V5) 에서 Q4_0 양자화 모델을 사용하여 평가가 수행되었습니다.

• 지연 시간 감소: 레버는 기준 플래시 오프로딩 자기회귀 추론 (Flash-AR) 대비 평균 2.93 배의 추론 지연 시간을 단축합니다.
• 추측적 디코딩 대비 개선: 레버는 기존 추측적 디코딩 방법 (Chain-SD) 대비 1.50 배, 모바일 전용 기준인 EdgeLLM 대비 1.27 배의 속도 향상을 달성합니다.
• 효율성: 이 시스템은 플래시 백업 및 메모리 상주 추론 간의 지연 시간 격차를 성공적으로 좁힙니다. 제거 분석 (ablation studies) 은 이러한 이득을 달성하기 위해 세 가지 구성 요소 (드래프팅 최적화, 가지치기, 하이브리드 실행) 가 모두 필요함을 확인합니다.
• 강건성: 레버는 다양한 DRAM 예산 (레이어의 0%~100% 를 DRAM 에 상주), 다른 드래프트 모델 품질, 다양한 출력 길이에 걸쳐 성능을 유지합니다.

의의

이 논문은 레버가 클라우드 서버에 의존하지 않고 고품질 대규모 파라미터 LLM 을 스마트폰에서 직접 실행할 수 있는 타당성을 입증한다고 주장합니다. 추측적 디코딩을 단순한 알고리즘 문제가 아닌 시스템 문제로 간주함으로써, 레버는 모바일 저장 계층 구조와 이종 컴퓨팅 유닛의 제약을 효과적으로 관리합니다. 이는 이전에는 메모리 및 지연 시간 제한으로 인해 비현실적이었던 대화형, 개인정보 보호, 비용 효율적인 LLM 애플리케이션 (타입 보조 및 대화형 편집 등) 을 가능하게 합니다.