기술 요약: SelectInfer

문제 정의

대규모 언어 모델(LLM)은 높은 메모리 및 연산 요구사항으로 인해 리소스가 제한된 에지 장치(예: NVIDIA Jetson Orin Nano)에 배포하는 데 상당한 장벽에 직면해 있습니다. 기존의 최적화 전략들은 에지 배포의 세 가지 핵심 차원인 메모리 점유율, 추론 속도, 그리고 출력 정확도를 동시에 해결하지 못합니다.

• **양자화(Quantization)**는 메모리를 줄이지만 디코딩 처리량을 저하시키는 경우가 많으며, (예: 4비트 대 8비트와 같은) 거친 수준의 제어만을 제공합니다.
• **가지치기(Pruning)**는 비용이 많이 드는 재학습을 요구하며 가중치를 영구적으로 제거하므로 런타임 적응성이 부족합니다.
• 오프로딩(Offloading)(예: 디스크로 이동)은 I/O 대역폭에 의해 병목 현상이 발생하며, 에지 SoC에서 발견되는 통합 메모리 아키텍처와 호환되지 않는 경우가 많습니다.
• 런타임 희소성 방법(Runtime Sparsity methods)(예: CoreInfer)은 비활성 뉴런을 건너뛰어 속도를 개선하지만, 전체 모델이 메모리에 상주해야 하므로 메모리가 제한된 하드웨어에서 더 큰 모델을 배포하는 것을 방지합니다.

방법론

SelectInfer는 오프라인 프로파일링 단계를 통해 유도되는 **선택적 로딩(selective loading)**과 **선택적 연산(selective computation)**을 통해 효율적인 LLM 추론을 가능하게 하는 뉴런 수준의 최적화 프레임워크입니다. 핵심 통찰은 LLM 뉴런이 이중 구조를 가진다는 것입니다: 즉, 다양한 작업에 걸쳐 보편적으로 활성화되는 안정적인 코어인 모델 특정적(범용적) 뉴로과, 개별 입력에 대한 성능을 주도하는 태스크 특정적 뉴런으로 구성됩니다.

1. 오프라인 단계: LLM 프로파일러 (LLM Profiler)

배포 전, SelectInfer는 다양한 데이터셋(예: QA, 번역, 요약)을 통해 뉴런 활성화를 분석하는 오프라인 프로파일러를 활용합니다.

• 스코어링(Scoring): 각 뉴런 $n$에 대해, 일련의 토큰 $T$에 대한 절대 활성화 값의 합을 기준으로 스코어 $s_n$을 계산합니다: $s_n = \sum_{t \in T} |a_n(t)|$.
• 분류(Classification): 뉴런은 두 그룹으로 분류됩니다:
  • 베이스 뉴런(Base Neurons): 특정 태스크 내의 프롬프트로부터 얻은 스코어를 병합하여 식별된 태스크 특정적 뉴런입니다.
  • 세컨더리 뉴런(Secondary Neurons): 서로 다른 태스크 간의 스코어를 병합하여 식별된 모델 특정적 뉴런입니다.
• 출력: 프로파일러는 특정 태스크 및 일반적인 모델 동작에 가장 중요한 뉴런을 식별하는 순위가 매겨진 뉴런 파일을 생성합니다.

2. 온라인 단계: 최적화 (Optimization)

에지 장치에서의 런타임 동안, SelectInfer는 두 가지 메커니즘을 적용합니다:

• 선택적 로딩 (메모리 최적화):
  전체 모델을 로드하는 대신, SelectInfer는 메모리에 뉴런의 일부 집합만을 로드합니다. 이는 베이스 뉴런(태스크 특정적)을 우선적으로 로드하고, 정의된 로딩 임계값 $\gamma$까지 세컨더리 뉴런(모델 특정적)으로 남은 메모리 예산을 채웁니다. 이를 통해 원래는 장치 메모리를 초과할 모델(예: 8GB 장치에서 3B 모델 실행)을 관련 없는 가중치를 완전히 폐기함으로써 실행할 수 있게 합니다.

• 선택적 연산 (속도 최적화):
  축소된 메모리 점유율을 갖더라도, 로드된 모든 뉴런을 계산하는 것은 느릴 수 있습니다. SelectInfer는 로드된 뉴런의 일부($\epsilon < \gamma$)로 계산을 더욱 제한합니다.

  • 정적 뉴런(Static Neurons): 베이스 뉴런에 대응하며, 입력과 관계없이 항상 계산됩니다.
  • 동적 뉴런(Dynamic Neurons): 프리필(prefill) 단계 중에 런타임 시점에 선택됩니다. 시스템은 로드된 모든 뉴런의 활성화 값을 계산하고, 정렬한 뒤, 토큰당 상위 $\alpha$개의 뉴런을 선택합니다. 그 후 이를 집계하여 프롬프트에 대해 가장 빈번한 상위 $\beta$개의 뉴런을 찾습니다.
  • 총 계산 비율 $\phi = \delta + \epsilon$은 사용자가 설정 가능하며, 속도와 정확도 사이의 트레이드오프를 제공합니다.

주요 기여

1. 오프라인 프로파일러: 모델 특정적 뉴런과 태스크 특정적 뉴런을 식별하고 순위를 매기는 메커니즘을 통해 LLM 활성화의 "이중 구조"를 확립합니다.
2. 선택적 로딩: 관련 있는 뉴런만을 로드하여, 장치의 가용 메모리보다 큰 모델의 실행을 가능하게 하는 배포 전략입니다.
3. 선택적 연산: 가장 관련 있는 뉴런(정적 + 동적)만을 동적으로 계산하여, 상당한 정확도 손실 없이 추론을 가속화하는 런타임 메커니즘입니다.
4. 조절 가능한 프레임워크: 메모리, 속도, 정확도를 독립적으로 조절 가능한 파라미터로 취급하여, 양자화나 가지치기의 거친 제어 방식에 비해 미세한 제어를 제공합니다.

평가 결과

본 프레임워크는 Llama3.2-1B, Llama3.2-3B, Qwen2.5-3B 모델을 사용하여 QA, 번역, 요약 태스크에 대해 NVIDIA Jetson Orin Nano (8 GB 공유 메모리)에서 평가되었습니다.

• 실현 가능성: SelectInfer는 뉴런의 70%만을 로드함으로써 3B 규모의 모델(네이티브 환경에서 ~8.5–9.5 GB 필요)을 8 GB Jetson 장치에서 실행할 수 있게 했습니다.
• 메모리 점유율: Select Infer는 Llama3.2-3B에 대해 원본 모델 대비 메모리 사용량을 약 13.2% 감소시켰으며(6.88 GB에서 5.97 GB로), 전체 모델 로딩이 필요한 CoreInfer에 비해 훨씬 더 큰 폭으로 감소했습니다. 4비트 양자화가 더 낮은 절대적 메모리 사용량을 달-성했지만, SelectInfer는 로드된 가중치에 대해 더 높은 정밀도를 유지했습니다.
• 정확도: SelectInfer는 경쟁력 있는 정확도를 유지했습니다. 번역 태스크(WMT16)에서 Llama3.2-3B에 대한 SelectInfer는 약 25–26 BLEU를 달성하여, CoreInfer(~4–5 BLEU) 및 무작위 로딩을 적용한 CoreInfer를 크게 앞질렀습니다. 일반적으로 번역 및 요약 태스크에서 4비트 양자화와 대등하거나 이를 능가하는 성능을 보였습니다.
• 속도: SelectInfer는 Llama3.2-3B에 대해 약 9.85 tokens/s의 디코딩 처리량을 달성했습니다. 이는 4비트 양자화 대비 1.53배, 디스크 오프로딩 방식 대비 13배 향상된 수치입니다.
• 비교: SelectInfer는 (오프라인 프로파일링 덕분에) 정확도 측면에서 CoreInfer를 능가했고, (선택적 로딩 덕분에) 메모리 효율성 측면에서도 CoreInfer를 앞섰습니다. 또한 번역 태스크에서 양자화보다 나은 속도와 정확도를 제공하면서도 저정밀도 커널의 하드웨어적 한계를 피했습니다.

의의 및 주장

논문은 Select-Infer가 메모리, 속도, 정확도의 "트릴레마(trilemma)"를 해결함으로써 에지 장치에 LLM을 배포하기 위한 실질적인 단계임을 주장합니다. 한 가지 또는 두 가지 차원만을 최적화하는 기존 연구와 달리, SelectInfer는 세 가지 차원 모두에 대해 균형 잡히고 조절 가능한 운영 지점을 제공합니다.

저자들은 다음과 같은 점을 강조합니다:

• 재학습이 필요 없음: 가지치기 및 증류(distillation)와 구별되는 특징입니다.
• 통합 메모리 아키텍처와 호환됨: 오프로딩 방식과 다릅니다.
• 미세한 제어 제공: 사용자가 장치의 특정 제약 조건 및 애플리케이션 요구 사항에 맞춰 로드 및 계산되는 뉴런의 비율을 조정할 수 있습니다.
• 모델 패밀리 전반에 걸친 일반화: Llama 및 Qwen 아키텍처 모두에서 효과를 입증하여 범용성을 보여줍니다.

이 연구는 단순한 거친 수준의 압축을 넘어, 이전에는 수행이 불가능하다고 여겨졌던 하드웨어에서 더 크고 유능한 모델을 실행할 수 있게 하는 필수적인 진화로서 SelectInfer를 위치시킵니다.