EntroLLM: Entropy Encoded Weight Compression for Efficient Large Language Model Inference on Edge Devices

EntroLLM 는 재학습 없이 엣지 장치에서 대규모 언어 모델의 저장 공간 요구 사항을 크게 줄이고 추론 속도를 가속화하기 위해 혼합 양자화와 엔트로피 코딩을 결합한 사후 학습 압축 프레임워크입니다.

핵심

당신이 등산할 때 읽기 위해 배낭에 넣고 싶은 거대한 도서관 (대규모 언어 모델) 이 있다고 상상해 보세요. 문제는 이 도서관이 너무 무겁고 커서 배낭에 들어가지 않으며, 설령 들어간다고 해도 책들을 하나씩 꺼내 읽으려고만 해도 팔이 지칠 정도로 힘들다는 것입니다.

이 논문은 이를 해결하기 위해 EntroLLM이라는 새로운 방법을 소개합니다. 이는 도서관 내부의 이야기들을 잃지 않으면서 더 작고 휴대하기 쉽게 만드는 3 단계의 마술과도 같습니다.

1. "뾰족한" 정렬 (혼합 양자화)

보통 사람들이 이러한 도서관을 축소하려 할 때, 책 속의 숫자들을 단순화하기 위해 반올림합니다 (예: 3.14159 를 3.14 로 반올림). 이를 **양자화 (quantization)**라고 합니다. 그러나 표준 방법들은 종종 숫자들을 너무 "평평하고" 무작위적으로 만들어 추가 압축을 어렵게 만듭니다.

저자들의 트릭은 책의 각 장 (또는 "레이어") 을 개별적으로 살펴보는 것입니다. 해당 장의 숫자들이 어떻게 분포되어 있는지에 따라 반올림하는 특별한 방식을 선택합니다:

• 부호 없는 양자화 (Unsigned Quantization): 양의 단계만 세는 것과 같습니다.
• 비대칭 양자화 (Asymmetric Quantization): 숫자에 더 잘 맞도록 영점을 이동시키는 것과 같습니다.

이렇게 함으로써 도서관의 숫자들은 "뾰족한" 형태가 됩니다. 대부분의 봉우리가 중앙에 빽빽하게 모여 있고 극단적인 이상치가 거의 없는 산맥을 상상해 보세요. 이러한 "뾰족한" 형태는 평평하고 무작위적인 지형보다 훨씬 압축하기 쉽습니다.

2. "약어" 사전 (허프만 코딩)

숫자들이 이 "뾰족한" 패턴으로 정렬되면, 저자들은 **허프만 코딩 (Huffman coding)**이라는 기법을 사용합니다.

이는 도서관을 위한 비밀 코드를 작성하는 것과 같습니다. 영어에서 문자 "E"는 매우 자주 등장하므로 "E"를 점 하나 (•) 로 나타내고, "Z"처럼 드문 문자는 긴 코드 (•••••) 로 나타내기로 결정할 수 있습니다.

• "뾰족한" 정렬로 인해 특정 숫자 값들이 매우 자주 나타나게 되므로, 코드는 이러한 흔한 숫자들에게 매우 짧고 작은 레이블을 부여합니다.
• 드문 숫자들은 더 긴 레이블을 받습니다.

이로써 도서관의 전체 크기가 크게 줄어듭니다. 논문은 이 단계가 기존 최상위 방법들보다 압축률을 7 배에서 11 배까지 향상시킨다고 주장합니다. 이는 이야기를 바꾸지 않고 100 페이지짜리 책을 10 페이지짜리 팜플렛으로 만드는 것과 같습니다.

3. "팀 독서" 전략 (병렬 디코딩)

여기가 까다로운 부분입니다: 보통 비밀 코드를 읽으려면 처음부터 끝까지 한 글자씩 읽어야 합니다. 거대한 도서관이 있다면 이는 영원히 걸리며, 배낭 (장치) 은 기다리는 동안 멈춰 서게 됩니다.

저자들은 코드가 짧아졌더라도 책들은 여전히 큰 덩어리 (텐서) 로 조직되어 있음을 깨달았습니다. 따라서 그들은 도서관을 여러 개의 독립적인 섹션으로 나눕니다.

• 한 사람이 코드를 순차적으로 읽는 대신, **독자 팀 (병렬 스레드)**을 고용합니다.
• 각 독자는 도서관의 다른 덩어리를 잡고 동시에 자신의 섹션을 디코딩합니다.
• 덩어리들이 독립적이기 때문에 서로 기다릴 필요가 없습니다.

이는 도서관이 작고 압축되어 있더라도 장치가 필요할 때 거의 즉시 책들을 "풀어낼" 수 있음을 의미하며, 읽기 속도를 매우 빠르게 만듭니다.

결과: 더 가볍고 빠른 배낭

저자들은 작은 장치 (NVIDIA JETSON, 강력하지만 작은 컴퓨터와 유사) 에서 다양한 크기의 세 가지 다른 "도서관" (AI 모델) 을 테스트했습니다.

• 저장 공간: 표준 8 비트 모델 대비 최대 30% 더 많은 공간을 절약했고, 4 비트 모델 대비 65% 더 많은 공간을 절약했습니다.
• 속도: 이동해야 할 데이터가 적어졌기 때문에 장치가 생각 (추론) 할 수 있는 속도가 30% 에서 146% 까지 빨라졌습니다.
• 정확도: "이야기들" (AI 의 답변) 은 원래 축소되지 않은 도서관만큼 정확했습니다.

요약하자면: EntroLLM 은 데이터를 "뾰족한" 형태로 조직화하고, 초효율적인 약어로 작성하며, 작업자 팀이 한꺼번에 모두 풀어내도록 함으로써 거대한 AI 두뇌를 작은 배낭에 포장하는 방법입니다. 이는 슈퍼컴퓨터 없이도 배터리로 작동하는 작은 장치에서 똑똑한 AI 를 실행할 수 있게 해줍니다.

기술 요약

엔트로피 인코딩 가중치 압축을 통한 엣지 장치에서의 효율적인 대규모 언어 모델 추론: EntroLLM 기술 요약

문제 제기
대규모 언어 모델 (LLM) 은 방대한 파라미터 수로 인해 리소스가 제한된 엣지 장치에서의 배포에 상당한 장벽에 직면해 있습니다. mistral-7B-Instruct 와 같은 더 작은 모델조차도 16 비트 부동소수점 (fp16) 형식에서 14GB 이상의 메모리를 필요로 하여 대부분의 엣지 하드웨어 용량을 초과합니다. 결과적으로, 특히 생성 작업에서 LLM 추론의 주요 병목 현상은 계산 능력보다는 메모리 대역폭입니다. 양자화는 모델 크기를 줄였지만, 정확도를 해치지 않고 추가적인 압축을 달성하는 것은 엣지 애플리케이션을 위해 설계된 더 작은 LLM(10B 파라미터 이하) 의 경우 여전히 어렵습니다. 기존 방법들은 종종 재학습을 요구하거나 실제 엣지 배포에 필요한 충분한 압축 비율을 달성하지 못합니다.

방법론
저자들은 재학습 없이 저장 공간 및 메모리 대역폭 요구 사항을 줄이기 위해 혼합 양자화와 엔트로피 인코딩 (특히 허프만 인코딩) 을 통합한 압축 프레임워크인 EntroLLM을 제안합니다. 이 방법론은 세 가지 핵심 구성 요소로 이루어져 있습니다:

1. 혼합 양자화 방식: 정수 분포를 평탄화하고 엔트로피를 증가시키는 표준 블록 기반 양자화와 달리, EntroLLM 은 텐서 수준의 혼합 양자화 전략을 사용합니다. 각 레이어의 특정 가중치 분포에 기반하여, 프레임워크는 부호 없는 양자화 또는 비대칭 양자화 중 하나를 적용합니다. 이 접근 방식은 정수 코드의 "뾰족한" 분포를 보존하여 최첨단 (SOTA) 블록 기반 방법에 비해 엔트로피를 현저히 낮추고 압축 가능성을 높입니다.
2. 허프만 가중치 인코딩: 혼합 양자화로 생성된 저엔트로피 분포를 활용하여, 프레임워크는 양자화된 가중치에 허프만 인코딩을 적용합니다. 이 손실 없는 압축 기술은 빈번한 가중치 값에는 더 짧은 가변 길이 비트 코드를 할당하고 드문 값에는 더 긴 코드를 할당합니다. 이 단계는 모델 파라미터의 유효 비트 너비를 추가로 줄여 저장 오버헤드와 메모리 대역폭 요구 사항을 최소화합니다.
3. 병렬 디코딩 전략: 순차적 엔트로피 디코딩에 내재된 지연 시간 문제를 해결하기 위해, 저자들은 병렬 디코딩 메커니즘을 구현합니다. 원래 가중치 텐서 구조를 유지하면서 인코딩된 파라미터 공간을 세그먼트화함으로써, 시스템은 여러 CPU 스레드에서 서로 다른 인코딩된 텐서 (청크) 를 동시에 디코딩할 수 있게 합니다. 이 설계는 직렬 병목 현상을 제거하여 엣지 하드웨어에서 실시간 처리를 가능하게 합니다.

주요 기여

• 레이어별 혼합 양자화: 레이어별로 부호 없는 양자화와 비대칭 양자화 중 하나를 선택하여 저장 효율성과 모델 성능을 균형 있게 조정하는 전략으로, SOTA 기술 대비 8 비트 기준 최대 8.1 배, 4 비트 기준 13.1 배까지 하류 엔트로피 압축성을 향상시킵니다.
• 엔트로피 기반 허프만 인코딩: 정확도를 유지하면서 추가적인 손실 없는 압축을 달성하기 위해 양자화된 가중치에 허프만 인코딩을 적용합니다.
• 병렬 디코딩 구현: 허프만 인코딩된 가중치의 병렬 디코딩을 가능하게 하는 새로운 파티셔닝 방식으로, 엣지 장치에서의 지연 시간을 완화합니다.
• 종합적 평가: smolLM-1.7B, phi3-mini-4k, mistral-7B 등 여러 엣지 규모 LLM 에 대한 검증을 통해 상당한 저장 공간 절약 및 감소된 추론 지연 시간을 입증했습니다.

실험 결과
실험은 NVIDIA JETSON P3450 에 배포된 엣지 규모 LLM(smolLM-1.7B, phi3-mini-4k, mistral-7B) 에서 수행되었습니다.

• 저장 효율성: EntroLLM 은 uint8 모델 대비 최대 30% 저장 공간 절약을, uint4 모델 대비 65% 절약을 달성했습니다. phi3-mini-4k 모델의 경우, 허프만 인코딩 후 유효 비트 너비가 8 비트에서 5.58 비트로, 4 비트에서 1.39 비트로 감소했습니다.
• 추론 지연 시간: 메모리가 제한된 장치에서 이 프레임워크는 표준 양자화 모델 대비 31.9% 에서 146.6% 더 빠른 추론을 보여주었습니다. 구체적으로, phi3-mini-4k 모델의 uint4 가중치의 경우 토큰 생성 지연 시간이 146.6% 개선되었고, 프리필 (pre-fill) 시간은 13.3% 개선되었습니다.
• 정확도: 이 방법은 재학습이 필요 없으며, WIKITEXT2(퍼플렉시티), HELLASWAG(정확도), GSM8K COT(정확도) 를 포함한 벤치마크 전반에서 전체 정밀도 모델 및 표준 양자화 모델과 비교 가능한 성능을 유지합니다.
• 디코딩 오버헤드: 병렬 디코딩은 압축 해제 오버헤드가 무시할 수 있음을 보장합니다. 예를 들어, 4 비트 가중치를 디코딩하는 데는 총 추론 시간의 작은 일부인 1.66 초만 소요되었으며, 이 비용은 생성된 많은 토큰에 걸쳐 상쇄됩니다.

의의 및 주장
이 논문은 EntroLLM 이 효율적인 가중치 압축을 통해 메모리 대역폭 병목 현상을 해결함으로써 엣지 장치에 LLM 을 배포하기 위한 실용적인 솔루션을 제공한다고 주장합니다. 이 프레임워크는 기존의 훈련 후 양자화 파이프라인과 호환되며 재학습이 필요하지 않아 현재 모델에 즉시 적용 가능하다는 점에서 의미가 있습니다. 텐서 수준의 혼합 양자화와 병렬 허프만 디코딩을 결합함으로써 EntroLLM 은 로봇 공학 및 사물인터넷 (IoT) 과 같은 시간 민감형 애플리케이션에 적합한 실시간 저전력 추론을 가능하게 하면서도 원래 모델의 정확도를 유지합니다. 저자들은 향후 작업에서 적응형 엔트로피 인코딩과 하드웨어 인식 최적화를 탐구할 것이라고 언급했습니다.