Unlocking the Edge deployment and ondevice acceleration of multi-LoRA enabled one-for-all foundational LLM

논문 개요

이 연구는 삼성 갤럭시 S24 및 S25 (Qualcomm SM8650/SM8750 칩셋) 와 같은 모바일 엣지 디바이스에서 다중 용도 (Multi-use case) 를 지원하는 대형 언어 모델 (LLM) 을 효율적으로 배포하고 가속화하기 위한 하드웨어 인식 프레임워크를 제안합니다. 특히, 메모리, 지연 시간 (Latency), 런타임 유연성에 대한 엄격한 제약 조건 내에서 단일 기초 모델 (Foundation Model) 이 여러 LoRA (Low-Rank Adaptation) 모듈을 동적으로 처리하고, 다양한 스타일의 응답을 동시에 생성하며, 클라우드 의존 없이 온디바이스 추론을 수행하는 방법을 다룹니다.

1. 해결하려는 문제 (Problem Statement)

• 모바일 환경의 제약: LLM 을 스마트폰에 배포할 때 메모리 부족, 높은 지연 시간, 그리고 런타임 유연성 부족이 주요 병목 현상입니다.
• 기존 LoRA 의 한계: 서버 환경에서는 모델을 동적으로 로드하거나 재컴파일할 수 있지만, 온디바이스 환경에서는 고정된 추론 그래프 (Frozen Inference Graph) 와 최소한의 메모리만 허용됩니다. 기존 방식은 태스크마다 모델을 병합하거나 재컴파일해야 하므로 저장 공간과 메모리 오버헤드가 큽니다.
• 다중 태스크 및 스타일 생성의 비효율성: 하나의 모델로 여러 태스크 (예: 문법 교정, 스타일 변환, 요약 등) 를 수행하거나, 하나의 입력에 대해 여러 스타일 (공식적, 친근함 등) 의 응답을 생성할 때, 기존 방식은 순차적으로 추론을 반복해야 하여 지연 시간이 $N$배 ($N$은 태스크 수) 증가하는 문제가 있었습니다.
• NPU 호환성: Flash Attention 과 같은 기존 최적화 기법은 NPU 와 호환되지 않으며, Draft 모델 기반의 Speculative Decoding 은 추가 메모리를 필요로 합니다.

2. 주요 방법론 (Methodology)

가. 단일 그래프 기반 동적 LoRA 활성화 (Multi-LoRA Enablement)

• LoRA 를 런타임 입력으로 처리: 기존에는 LoRA 가 모델 가중치에 병합되지만, 이 연구에서는 LoRA 가중치를 **런타임 입력 (Runtime Input)**으로 처리합니다.
• 고정된 추론 그래프: 기초 LLM 의 추론 그래프는 고정된 채로 유지되며, LoRA 가중치가 입력으로 전달되어 동적으로 태스크를 전환합니다.
• 세 가지 접근법 비교:
  1. 태스크별 그래프 생성 (메모리 효율적 but 그래프 관리 복잡).
  2. 단일 그래프 + 원-핫 (One-hot) 마스크 (추론 효율적 but 메모리 증가).
  3. 제안된 방식 (LoRA as Input): LoRA 가중치를 플레이스홀더를 통해 입력으로 전달. 저지연 및 저메모리를 동시에 달성하며, 다양한 태스크에 확장 가능함.

나. 온디바이스 최적화 (Model Optimizations)

• Attention 병렬화: 멀티헤드 어텐션 (MHA) 을 단일 헤드 어텐션 (SHA) 으로 분해하여 NPU 의 병렬 코어에서 독립적으로 실행되도록 최적화.
• Linear-to-Convolutional 변환: 완전 연결 레이어 (Linear Layer) 를 1x1 컨볼루션으로 재해석하여, 모바일 NPU/GPU 에 최적화된 Winograd 알고리즘 및 타일링 전략 활용.
• 정량화 (Quantization): 가중치를 INT4, 활성화 값을 INT8로 혼합 정밀도 (Mixed Precision) 정량화 적용. 정량화 인지 학습 (QAT) 을 통해 정확도 손실 최소화.
• 그래프 단순화: 상수 폴딩 (Constant Folding) 및 연산자 융합 (Operator Fusion) 을 통해 런타임 계산 및 메모리 접근 최적화.

다. 동시 토큰 생성 (Concurrent Token Generation, CTG)

• 문제: 스타일 변환 (예: 공식적, 친근함, 유머러스 등 8 가지) 을 위해 기존에는 8 번의 순차적 추론이 필요함.
• 해결: 단일 프론트패스 (Forward Pass) 에서 마스크된 디코딩 (Masked Decoding) 기법을 적용.
• 원리: 모든 스타일 변형이 첫 번째 토큰 샘플링에서 시작되고 공유된 KV 캐시를 사용한다는 점을 활용. 첫 토큰 샘플링 시 마스크를 적용하여 8 개의 서로 다른 스타일 출력을 동시에 생성.
• 효과: 스타일 생성 지연 시간을 최대 6 배 단축.

라. 동적 자기 예측 디코딩 (Dynamic Self-Speculative Decoding, DS2D)

• 개념: 별도의 Draft 모델 없이, 프론트 튜닝 (Prefix Tuning) 을 통해 기초 모델 자체를 미세 조정하여 여러 토큰을 한 번에 예측하게 함.
• 작동 방식:
  1. 프롬프트 임베딩에 $m$개의 예측 (Forecast) 임베딩을 추가.
  2. 모델이 1 개의 검증 토큰과 $m$개의 예측 토큰을 한 번에 생성 (준-자기회귀, SAR).
  3. 생성된 토큰 트리를 구성하고, 검증 단계를 통해 수용 여부를 결정.
• 장점: Draft 모델이 필요 없어 메모리 오버헤드가 없으며, 재학습 없이도 기존 고정 그래프와 호환됨.

3. 주요 성과 및 결과 (Results)

• 하드웨어 환경: Samsung Galaxy S24 (SM8650) 및 S25 (SM8750) 에서 실험.
• 성능 향상:
  • 지연 시간 (Latency): 스타일 생성 시 6 배 개선, 디코딩 시간 2.3 배 개선 (DS2D 적용 시).
  • 처리량 (Throughput): 토큰 생성 속도가 2 배 이상 향상 (예: 3B 모델 기준 약 41 토큰/초 달성).
  • 메모리: INT4 정량화 및 최적화를 통해 4~6 배의 메모리 및 지연 시간 개선.
  • 확장성: 9 개 언어, 8 가지 태스크 (교정, 스타일, 스마트 리플라이, 요약 등) 를 단일 모델로 처리.
• 정확도: 정량화 및 최적화 후에도 FP32 기준과 유사한 정확도 유지 (9 개 언어에서 G-Eval 기준 상대 정확도 97% 이상 유지).
• 실제 배포: 이 기술은 삼성 갤럭시 S25 시리즈의 'Galaxy AI' 기능에 상용화되어 적용됨.

4. 기여 및 의의 (Significance)

1. 상업적 타당성 입증: 클라우드 의존 없이 모바일 디바이스에서 다중 용도 LLM 을 실시간으로 구동할 수 있음을 증명하여, 생성형 AI 의 상용화 가능성을 크게 높였습니다.
2. 혁신적인 아키텍처: 고정된 추론 그래프에 LoRA 를 입력으로 전달하는 방식과 Draft 모델 없이 작동하는 DS2D 기법은 엣지 AI 분야에서 새로운 표준을 제시합니다.
3. 효율성과 유연성의 균형: 메모리 제약이 심한 환경에서도 다양한 태스크와 언어를 유연하게 처리할 수 있는 'One-for-All' 솔루션을 제공했습니다.
4. 지속 가능성: 클라우드 서버 부하를 줄이고, 오프라인 환경에서도 고품질 AI 서비스를 제공할 수 있어 에너지 효율성과 프라이버시 보호 측면에서 중요한 의의를 가집니다.

5. 한계점 및 향후 과제

• LoRA 차원 제한: 모든 LoRA 가 동일한 차원을 가져야 하며, 이질적인 크기를 지원하려면 동적 그래프 구성이 필요함 (현재 제약).
• 예측 임베딩의 정적성: DS2D 에서 사용되는 예측 임베딩이 입력 시퀀스에 따라 동적으로 변하지 않아, 긴 의존성이나 높은 의미적 변이가 있는 입력에서는 수용률이 낮아질 수 있음.
• 스타일 고정: 다중 스트림 디코딩은 컴파일 시 정의된 고정된 스타일 집합에만 작동하며, 사용자 정의 스타일은 재컴파일 필요.

이 논문은 모바일 엣지 디바이스에서의 LLM 배포를 위한 기술적 장벽을 극복하고, 실제 상용 제품 (Galaxy S25) 에 성공적으로 적용된 선구적인 사례로 평가됩니다.