Multi-DNN Inference of Sparse Models on Edge SoCs

이 논문은 재학습 없이 희소 모델의 서브그래프를 재조합하는 '모델 스티칭' 기법과 이를 에지 SoC 에 배포한 SparseLoom 시스템을 제안하여, 기존 멀티 DNN 추론 시스템 대비 SLO 위반률을 최대 74% 감소시키고 처리량을 2.31 배 향상시키며 메모리 오버헤드를 평균 28% 절감하는 것을 실험적으로 입증했습니다.

핵심

🎬 비유: "혼잡한 극장의 멀티 스크린 운영"

상상해 보세요. 여러분은 **여러 개의 영화 (AI 작업)**를 동시에 상영해야 하는 극장 관리자입니다.

• 영화 1: 액션 영화 (이미지 인식)
• 영화 2: 드라마 (음성 인식)
• 영화 3: 코미디 (감정 분석)

이 극장에는 **세 가지 다른 스크린 (프로세서)**이 있습니다.

1. 대형 스크린 (GPU): 화질이 좋지만 비싸고 전기를 많이 먹습니다.
2. 중형 스크린 (NPU): AI 전용으로 빠르지만 용량이 작습니다.
3. 작은 스크린 (CPU): 무난하지만 느립니다.

🚫 기존 시스템의 문제점: "딱 하나만 고르는 고집"

기존 시스템은 각 영화에 대해 **"원본 (Dense)"**이나 "간소화된 버전 (Pruned/Quantized)" 중 하나만 미리 정해두고 실행했습니다.

• 문제: 만약 갑자기 "화질은 조금 낮아도 상관없으니, 2 초 안에 끝내야 해!"라는 요청이 들어오면, 기존 시스템은 그런 버전이 없기 때문에 요청을 거절하거나 (SLO 위반), 무리하게 원본을 실행해서 극장이 마비됩니다.
• 결과: 손님이 불평하고 (지연), 극장의 수익 (처리량) 이 떨어집니다.

✨ 스파로우룸 (SparseLoom) 의 해결책: "레고 블록으로 새로운 영화 만들기"

이 논문이 제안한 **'모델 스티칭 (Model Stitching)'**은 바로 이 문제를 해결합니다.

1. 레고 블록으로 새로운 영화 만들기 (모델 스티칭)
기존에는 영화의 전체를 통째로 가져와야 했지만, 스파로우룸은 영화를 장면 (서브그래프) 단위로 잘게 쪼갭니다.

• A 영화: 1 장면은 원본, 2 장면은 간소화 버전, 3 장면은 압축 버전으로 구성.
• B 영화: 1 장면은 압축 버전, 2 장면은 원본, 3 장면은 간소화 버전으로 구성.

이렇게 **서로 다른 버전의 장면들을 조합 (Stitching)**하면, 원래 없던 수백 가지의 새로운 영화 버전을 재학습 없이 (Training-free) 순식간에 만들 수 있습니다.

비유: 마치 레고 블록을 가지고, 원래 없던 새로운 모양의 장난감을 즉석에서 조립하는 것과 같습니다.

2. 최고의 배우와 스크린 매칭 (프로세서 배치 최적화)
새로운 영화 버전이 생겼으니, 어느 스크린에 어떤 장면을 띄울지 정해야 합니다.

• 기존: 무조건 "1 번 장면은 NPU, 2 번 장면은 GPU"처럼 고정했습니다.
• 스파로우룸: "오늘은 NPU 가 바쁘니까 1 번 장면을 CPU 로, 2 번 장면을 NPU 로 보내자"처럼 실시간 상황에 맞춰 최적의 조합을 찾습니다.

  비유: 배우의 컨디션과 극장의 상황에 맞춰, 가장 효율적인 상영 순서를 자동으로 짜주는 감독과 같습니다.

3. 미리 준비된 소품상 (하위 그래프 프리로딩)
영화를 바꿀 때 매번 소품을 다 가져오면 시간이 걸립니다.

• 문제: 모든 버전의 소품을 다 준비해 두면 창고 (메모리) 가 너무 커집니다.
• 스파로우룸: "가장 자주 쓰이는 소품 (Hot Subgraph)"만 미리 창고에 준비해 둡니다.

  비유: 극장 관리자가 "오늘은 액션 영화가 많으니, 폭발 효과 소품만 미리 준비해 두자"라고 해서 창고 공간을 아끼면서도 준비 시간을 줄이는 것입니다.

---

🏆 스파로우룸이 가져온 놀라운 성과

이 시스템을 실험해 본 결과, 기존 방식보다 다음과 같은 놀라운 개선이 있었습니다.

1. 고객 불만 (SLO 위반) 74% 감소: "시간 내에 안 끝났어!"라는 불평이 거의 사라졌습니다.
2. 극장 수익 (처리량) 2.31 배 증가: 같은 시간에 훨씬 더 많은 영화를 상영할 수 있게 되었습니다.
3. 창고 공간 (메모리) 28% 절약: 모든 소품을 다 준비할 필요 없이, 핵심 소품만 준비해도 충분했습니다.

💡 한 줄 요약

"스파로우룸은 AI 모델의 '레고 블록'을 자유롭게 조합하고, 상황에 맞춰 최고의 상영 순서를 찾아주어, 에지 디바이스에서 여러 AI 를 동시에 빠르고 효율적으로 실행하게 해주는 똑똑한 관리자입니다."

기술 요약

SparseLoom: 희소 모델을 위한 엣지 SoC 상의 멀티-DNN 추론 시스템 기술 요약

이 논문은 엣지 디바이스 (Edge SoC) 환경에서 다양한 작업 (Task) 을 동시에 실행해야 하는 현대적인 애플리케이션의 요구사항을 충족시키기 위해 제안된 SparseLoom이라는 멀티-DNN 추론 시스템을 소개합니다. SparseLoom 은 기존 시스템의 한계를 극복하고, 서비스 수준 목표 (SLO) 위반률을 줄이며 처리량 (Throughput) 을 극대화하기 위해 '모델 스티칭 (Model Stitching)' 기술을 핵심으로 활용합니다.

1. 문제 정의 (Problem)

현대 엣지 애플리케이션 (예: 증강현실) 은 음성 인식, 이미지 분류, 활동 인식 등 여러 DNN 작업을 병렬로 실행해야 합니다. 이러한 시스템은 다음과 같은 주요 문제에 직면해 있습니다.

• 이질적인 프로세서 환경: 엣지 SoC 는 CPU, GPU, NPU 등 다양한 프로세서를 포함하며, 각 모델은 가장 적합한 가속기에 매핑되어야 합니다.
• 다양한 SLO 제약: 각 작업은 지연 시간 (Latency) 과 정확도 (Accuracy) 에 대해 서로 다른 우선순위를 가지는 SLO 를 요구합니다.
• 기존 시스템의 한계:
  • 대부분의 기존 시스템은 작업당 단일 모델 (또는 제한된 희소 변형) 만 지원합니다.
  • 희소 모델 동물원 (Sparse Model Zoo) 에서 변형을 선택하더라도, 기존 변형의 수가 제한적이어서 엄격한 SLO 조건을 만족하지 못해 SLO 위반률이 높음.
  • 기존 변형만으로는 최적의 정확도 - 지연 시간 트레이드오프를 달성하기 어려움.

2. 제안된 방법론 (Methodology)

SparseLoom 은 모델 스티칭 (Model Stitching) 기술을 도입하여 새로운 모델 변형을 생성하고, 이를 효율적으로 관리하기 위한 세 가지 핵심 모듈을 설계했습니다.

2.1 모델 스티칭 (Model Stitching)

• 개념: 재학습 (Re-training) 없이, 동일한 베이스 모델에서 파생된 서로 다른 희소 모델 (예: 가지치기된 모델, 양자화된 모델) 의 서브그래프 (연속된 레이어 블록) 를 조합하여 새로운 변형을 생성하는 기술입니다.
• 작동 원리:
  • 기존 희소 모델들을 서브그래프 ($S_1, S_2, S_3$) 단위로 분할합니다.
  • 서로 다른 모델의 서브그래프를 조합하여 (예: $S_1$은 Dense 모델, $S_2$는 Pruned 모델, $S_3$는 Quantized 모델) 새로운 'Stitched Variant'를 만듭니다.
  • 장점: 재학습 없이 변형의 수를 기하급수적으로 늘려, 다양한 SLO 요구사항을 충족할 수 있는 선택지를 확보합니다.

2.2 SparseLoom 의 핵심 모듈

모델 스티칭을 도입할 때 발생하는 세 가지 주요 과제 (프로파일링 비용, 서브최적의 프로세서 배치, 메모리 오버헤드) 를 해결하기 위해 다음과 같은 모듈을 설계했습니다.

1. 성능 프로파일러 (Performance Profiler):

   • 문제: 스티칭된 변형의 수가 기하급수적으로 증가하면 모든 변형의 정확도와 지연 시간을 직접 측정하는 비용이 너무 큽니다.
   • 해결: **정확도 추정기 (Accuracy Estimator)**와 **지연 시간 추정기 (Latency Estimator)**를 사용합니다.
     • 정확도: 서브그래프 수준의 성능이 전이 가능하다는 가정을 바탕으로, 원본 변형의 정확도를 기반으로 스티칭된 변형의 정확도를 회귀 분석 (XGBoost) 으로 예측합니다.
     • 지연 시간: 서브그래프의 지연 시간을 합산하여 전체 지연 시간을 추정합니다 (메모리 공유 SoC 특성상 통신 비용은 무시).
   • 효과: 전체 프로파일링 비용을 최대 99% 감소시킵니다.

2. 희소성 인식 최적화기 (Sparsity-Aware Optimizer):

   • 문제: 서로 다른 희소 특성을 가진 스티칭 변형에 대해 고정된 프로세서 배치 순서 (예: NPU-GPU-CPU) 를 사용하면 지연 시간이 최적화되지 않아 처리량이 떨어집니다.
   • 해결: 프로세서 배치 순서와 최종 변형 선택을 동시에 최적화합니다.
     • 모든 가능한 프로세서 배치 순서에 대해 각 작업의 최적 변형을 탐색하고, 전체 작업의 평균 지연 시간을 최소화하는 글로벌 배치 순서를 결정합니다.

3. 핫-서브그래프 프리로더 (Hot-Subgraph Preloader):

   • 문제: 런타임에 변형을 전환할 때의 지연을 줄이기 위해 모든 변형을 메모리에 미리 로드하면 메모리 오버헤드가 발생합니다.
   • 해결: Hotness(핫니스) 지표를 기반으로 중요한 서브그래프만 선별하여 로드합니다.
     • Hotness 는 특정 SLO 구성에서 해당 서브그래프가 사용된 빈도와 고유성을 기반으로 계산됩니다.
     • 제한된 메모리 예산 내에서 가장 자주 사용되거나 필수적인 서브그래프를 우선적으로 로드합니다.

3. 주요 기여 (Key Contributions)

1. 모델 스티칭 기술 도입: 재학습 없이 서브그래프를 재조합하여 모델 변형 공간을 확장하고, SLO 위반률을 획기적으로 낮추는 새로운 패러다임을 제시했습니다.
2. SparseLoom 시스템 구현: 모델 스티칭을 엣지 SoC 에 배포 가능하게 만드는 통합 시스템 (프로파일러, 최적화기, 프리로더) 을 설계하고 구현했습니다.
3. 효율성 극대화:
   • 추정기를 통해 프로파일링 비용을 대폭 절감.
   • 동적 프로세서 배치를 통해 처리량 향상.
   • 지능형 프리로딩을 통해 메모리 사용량 감소.

4. 실험 결과 (Results)

저자는 Intel Core Ultra 시리즈 (데스크톱, 노트북) 와 NVIDIA Jetson AGX Orin 등 3 가지 엣지 플랫폼에서 4 가지 작업 (이미지 분류, 감정 분석, 활동 인식, 음성 인식) 을 대상으로 실험했습니다.

• SLO 위반률 감소: 기존 최첨단 시스템 대비 최대 74% 까지 SLO 위반률을 감소시켰습니다. (특히 엄격한 SLO 조건에서 효과적)
• 처리량 (Throughput) 향상: 기존 시스템 대비 최대 2.31 배까지 처리량이 향상되었습니다. 이는 최적화된 프로세서 배치와 더 풍부한 변형 선택지 덕분입니다.
• 메모리 오버헤드 감소: 전체 변형을 미리 로드하는 방식 대비 평균 28% 의 메모리 오버헤드 감소를 달성하면서도 SLO 위반률은 유지했습니다.
• 프로파일링 효율성: 추정기를 사용하지 않을 때 비해 프로파일링 시간을 최대 99% 감소시켰습니다 (예: 노트북 기준 468 분 → 5 분).

5. 의의 및 결론 (Significance)

SparseLoom 은 엣지 컴퓨팅 환경에서 멀티-DNN 추론의 효율성을 혁신적으로 개선한 시스템입니다.

• 자원 제약 극복: 제한된 엣지 자원에서 다양한 SLO 요구사항을 동시에 만족시키기 위해 모델 변형의 수를 인위적으로 늘리는 것이 아니라, 기존 변형의 조합을 통해 '가상의' 변형 공간을 확장했습니다.
• 실용성: 재학습이 필요 없어 배포가 용이하며, 다양한 하드웨어 (CPU, GPU, NPU) 에 유연하게 적용 가능합니다.
• 미래 지향성: 엣지 AI 애플리케이션이 점점 더 복잡해지고 다중 작업을 요구하는 추세를 고려할 때, SparseLoom 과 같은 적응형 멀티-DNN 추론 시스템은 필수적인 인프라가 될 것입니다.

결론적으로, SparseLoom 은 모델 스티칭을 통해 정확도 - 지연 시간 트레이드오프를 최적화하고, 지능적인 시스템 설계로 프로파일링 비용과 메모리 사용량을 동시에 줄여, 엣지 SoC 상의 고성능 멀티-DNN 추론을 가능하게 한 획기적인 연구입니다.