Quantization with Unified Adaptive Distillation to enable multi-LoRA based one-for-all Generative Vision Models on edge

1. 문제 정의 (Problem Statement)

• 배경: 생성형 AI (GenAI) 기술 (이미지 편집, 객체 제거, 프롬프트 기반 변환 등) 이 모바일 애플리케이션에 통합되고 있으나, 대규모 비전 모델 (LVM) 은 높은 메모리 및 연산 요구량으로 인해 리소스가 제한된 엣지 장치 (스마트폰 등) 에 배포하기 어렵습니다.
• 현재의 한계:
  • LoRA 의 배포 비효율성: 저랭크 어댑터 (LoRA) 는 파라미터 효율적인 미세 조정을 가능하게 하지만, 기존 모바일 배포 파이프라인은 각 LoRA 마다 기초 모델 (Foundation Model) 의 복사본과 함께 별도의 모델 바이너리를 컴파일합니다.
  • 중복 저장 및 오버헤드: 이로 인해 저장 공간 (ROM) 이 중복 사용되고, 런타임 시 태스크 전환 시 모델 재로딩이 필요하여 지연 시간 (Latency) 이 증가합니다.
  • 양자화 (Quantization) 호환성 문제: 각 LoRA 를 독립적으로 양자화하면 스케일 (scale) 과 제로 포인트 (zero-point) 와 같은 양자화 파라미터가 서로 달라집니다. 이는 NPU(신경망 처리 장치) 와 같이 고정된 양자화 파라미터가 필요한 하드웨어에서 단일 정적 추론 그래프를 구성하는 것을 방해하여 런타임 태스크 전환을 불가능하게 만듭니다.

2. 제안 방법론 (Methodology)

저자들은 엣지 장치에서 단일 공유 모델을 사용하여 다중 태스크 GenAI 추론을 가능하게 하는 통합 프레임워크를 제안합니다. 핵심은 LoRA 가 컴파일된 모델 그래프에 내장되는 것이 아니라 런타임 입력으로 처리된다는 점입니다.

A. LoRA 를 런타임 입력으로 처리 (LoRA as Runtime Input)

• 동적 전환: LoRA 가중치 ($A, B$ 행렬) 를 모델 그래프에 하드코딩 (Merge) 하는 대신, 추론 시 메모리에서 스트리밍하여 모델 입력 텐서로 전달합니다.
• 단일 바이너리: 기초 모델 (Base Model) 은 한 번만 컴파일되고 고정 (Frozen) 되며, 태스크 전환 시 LoRA 가중치만 교체됩니다. 이는 재컴파일 없이 동적 태스크 전환을 가능하게 합니다.

B. QUAD 프레임워크 (Quantization with Unified Adaptive Distillation)

단일 양자화 프로파일을 공유하여 모든 LoRA 와 기초 모델의 호환성을 확보하기 위해 QUAD 전략을 도입합니다.

1. 공유 양자화 파라미터 설정:

   • 모든 LoRA 와 기초 가중치가 동일한 스케일 ($s$) 과 제로 포인트 ($z$) 를 사용하도록 강제합니다.
   • 민감도 분석 (Sensitivity Analysis): 모든 LoRA 에 대해 '양자화 민감도 점수 (QSS)'를 계산하여 정확도 저하가 가장 큰 LoRA 를 식별합니다. 이 LoRA 의 양자화 파라미터를 기준 (Anchor) 으로 고정합니다.
   • Fallback 전략: 모든 LoRA 가 민감도가 비슷할 경우, 모든 LoRA 의 병합된 가중치 분포를 기반으로 전역 양자화 파라미터를 계산합니다.

2. 지식 증류 기반 미세 조정 (Knowledge Distillation based Finetuning):

   • 고정된 양자화 파라미터 하에서 각 LoRA 가 성능을 유지하도록 미세 조정합니다.
   • Teacher-Student 구조: 정밀도 모델 (FP32) 을 Teacher 로, 공유 양자화 파라미터를 적용한 양자화 모델 (QuantSim) 을 Student 로 설정합니다.
   • 손실 함수: Teacher 와 Student 의 출력 간 재구성 손실 (Reconstruction Loss) 과 원래 LVM 학습 목적 함수를 최소화하여 LoRA 가 양자화 환경에 적응하도록 합니다.

C. 컴파일 및 배포 스택

• 그래프 최적화: 스케일 폴딩 (Scale folding), 상수 폴딩 (Constant folding), 죽은 코드 제거 등을 수행하여 NPU 에 최적화된 정적 그래프를 생성합니다.
• 런타임 스택: 경량 런타임을 통해 LoRA 가중치를 버퍼로 로드하고 모델 입력에 바인딩하여 태스크 전환 오버헤드를 최소화합니다.

3. 주요 기여 (Key Contributions)

1. One-for-All 모델 아키텍처: LoRA 를 런타임 입력으로 처리하여 여러 태스크가 단일 컴파일된 기초 모델을 공유할 수 있게 함으로써, 모델 바이너리 중복을 제거했습니다.
2. QUAD 프레임워크: 서로 다른 분포를 가진 다중 LoRA 를 단일 양자화 프로파일 하에서 호환되도록 정렬하는 새로운 양자화 인식 학습 전략을 제시했습니다.
3. 하드웨어 무관성: Qualcomm, MediaTek, LSI 등 다양한 칩셋에서 작동하며, OTA(Over-the-Air) 를 통해 새로운 LoRA 를 추가할 수 있는 확장성을 제공합니다.

4. 실험 결과 (Results)

실험은 Qualcomm (GS25), LSI (GS25), MediaTek (Tab S11) 등 다양한 칩셋에서 수행되었으며, Stable Diffusion 1.5 기반 모델을 사용했습니다.

• 메모리 효율성:
  • 기존 방식 (각 태스크별 별도 바이너리) 대비 최대 6 배의 메모리 풋프린트 감소를 달성했습니다.
  • 예시: 1.4GB 기초 모델 + 10 개의 LoRA(각 120MB) 를 별도로 컴파일하면 15GB 가 필요하지만, 제안된 방식은 2.6GB 로 줄어듭니다.
• 지연 시간 (Latency) 개선:
  • 런타임 태스크 전환 시 그래프 재로딩이 불필요해져 최대 4 배의 지연 시간 개선을 보였습니다.
  • 기존 방식 대비 추론 시 엔드 - 투 - 엔드 지연 시간을 약 1.5 초 단축했습니다.
• 정확도 유지:
  • FID (Fréchet Inception Distance): 프롬프트 기반 이미지 변환 태스크에서 서버 (FP32) 와 엣지 장치 (INT8 양자화) 간 FID 점수 5.5287 을 기록하여 높은 화질을 유지했습니다.
  • 시각적 품질: 객체 제거 및 이미지 변환 태스크에서 정밀 모델과 양자화 모델 간의 시각적 차이가 거의 없음을 확인했습니다.
• 정밀도 분석 (Ablation Study):
  • 가중치 INT8, 활성화 INT16 (W8A16) 구성이 최적의 성능을 보였으며, 활성화까지 INT8 (W8A8) 로 낮추면 정확도가 일부 저하됨을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 생성형 AI 모델의 엣지 배포에 있어 저장 공간, 연산 효율성, 유연성이라는 세 가지 핵심 과제를 동시에 해결하는 실용적인 솔루션을 제시합니다.

• 상용화 가능성: 스마트폰과 같은 리소스 제한된 장치에서 여러 GenAI 기능을 하나의 앱 내에서 즉시 전환하며 실행할 수 있는 기반을 마련했습니다.
• 보안 및 프라이버시: 클라우드 의존도를 낮추고 온디바이스 추론을 가능하게 하여 데이터 프라이버시와 네트워크 지연 문제를 해결합니다.
• 미래 지향성: 새로운 LoRA 를 모델 바이너리를 변경하지 않고도 동적으로 추가할 수 있어, 지속적인 모델 업데이트와 기능 확장에 매우 유리합니다.

결론적으로, 이 연구는 QUAD를 통해 다중 LoRA 기반의 생성형 비전 모델을 엣지 장치에 효율적으로 배포하는 새로운 표준을 제시하며, 모바일 GenAI 생태계의 확장을 가속화할 것으로 기대됩니다.