OneComp: 생성형 AI 모델 압축을 위한 원-라인 혁명 (OneComp: One-Line Revolution for Generative AI Model Compression) 기술 요약

이 논문은 파운데이션 모델 (Foundation Models) 의 배포를 제한하는 메모리, 지연 시간, 하드웨어 비용 문제를 해결하기 위해 제안된 오픈소스 압축 프레임워크 OneComp를 소개합니다. OneComp 는 복잡한 양자화 알고리즘, 비트 폭 계획, 데이터 기반 보정 전략 등을 사용자가 수동으로 관리할 필요 없이, 모델 식별자와 하드웨어 사양만 입력하면 자동으로 최적의 압축 파이프라인을 구축하고 실행합니다.

1. 문제 정의 (Problem)

• 배포의 병목 현상: 수십억에서 수천억 개의 파라미터를 가진 대형 언어 모델 (LLM) 은 상용 하드웨어의 메모리 용량을 초과하여 정밀도 (FP16/FP32) 로 배포하기 어렵습니다.
• 양자화 생태계의 단편화: 기존 양자화 연구 (Hessian-aware, Activation-aware, 회전 기반 등) 는 매우 풍부하지만 서로 다른 가정, 하이퍼파라미터, 실행 환경을 가지고 있어 단편화되어 있습니다.
• 실무 적용의 어려움: 이론적으로 가능한 최상의 압축 기술이 실제 배포로 이어지기까지 상당한 시간이 소요되며, 하드웨어 제약 조건에 따라 최적의 알고리즘 조합이 달라져 전문가의 수동 튜닝이 필수적입니다.
• 필요성: 단일 알고리즘이 아닌, 알고리즘 선택, 비트 폭 계획, 다단계 시퀀싱을 자동으로 관리하는 원칙적인 엔드 - 투 - 엔드 워크플로우가 필요합니다.

2. 방법론 (Methodology)

OneComp 는 리소스 적응형 (Resource-Adaptive) 파이프라인을 기반으로 하며, 사용자의 하드웨어 예산 (GPU 메모리) 에 따라 단계적으로 정밀도를 개선하는 3 단계 정제 (Refinement) 구조를 가집니다.

2.1 핵심 아키텍처: 피벗 기반 정제 (Pivot-based Refinement)

OneComp 는 첫 번째 양자화 체크포인트를 '피벗 (Pivot)'으로 간주합니다. 이후 모든 단계는 이전 단계의 결과를 기반으로 모델을 개선하는 후처리 과정으로 설계되어, 사용자는 하드웨어 예산에 맞춰 임의의 단계에서 배포 가능한 모델을 얻을 수 있습니다.

2.2 파이프라인 단계

1. 조사 및 자동 비트 할당 (Investigation & AutoBit):
   • 모델의 각 레이어별 양자화 민감도를 분석합니다.
   • AutoBit: 주어진 메모리 예산 하에서 각 모듈 (Attention, MLP 등) 에 대해 이진 정수 계획법 (ILP) 을 사용하여 이질적인 비트 폭 (Mixed-Precision) 을 자동 할당합니다.
2. 전처리 (Preprocessing):
   • 동치 변환 (Equivalent Transformations): Outlier(이상치) 에너지를 재분배하여 양자화 친화성을 높입니다. (예: SmoothQuant 의 채널 스케일링, SpinQuant 의 회전 변환, Sinkhorn 가중치 밸런싱).
3. 리소스 적응형 양자화 엔진:
   • 레이어 단위 PTQ (Layer-wise PTQ): 단일 GPU 에서 실행 가능한 가장 가벼운 단계입니다.
     • QEP (Quantization Error Propagation): 이전 레이어의 양자화 오차가 현재 레이어에 미치는 영향을 보정하여 타겟 가중치를 수정합니다.
     • LPCD (Submodule-Aware Coordinate Descent): Attention(Q, K, V) 이나 MLP(Gate, Up, Down) 와 같이 기능적으로 결합된 서브모듈 단위로 좌표 하강법을 적용하여 상호 의존성을 고려한 최적화를 수행합니다.
     • JointQ: GPTQ 포맷을 유지하면서 스케일과 정수 가중치를 동시에 최적화하여 3~4 비트 구간에서 성능을 향상시킵니다.
     • DBF/MDBF: 1~2 비트 극저비트 구간을 위해 이진 인자 (Binary Factor) 와 저랭크 엔벨로프를 사용하는 구조화된 포맷을 지원합니다.
   • 블록 단위 PTQ (Block-wise PTQ):
     • 블록 보상 (Compensation): 레이어 단위 양자화 중 FP16 으로 남은 파라미터를 최적화하여 오차를 흡수합니다.
     • 블록 양자화 (Quantization): 양자화된 블록 전체를 한 번에 최적화하여 Attention 과 MLP 간의 상호작용을 보정합니다.
   • 글로벌 PTQ (Global PTQ): 전체 모델을 로드하여 KL 발산 (KL Divergence) 기반의 지식 증류 (Distillation) 를 수행하여 전역적인 오차를 최소화합니다. (현재 개발 중/미래 릴리즈 예정).
4. 미세 조정 (Fine-tuning):
   • QLoRA: 양자화된 백본을 고정하고 저랭크 어댑터만 학습하여 도메인 적응 및 잔여 오차 회복을 수행합니다.

3. 주요 기여 (Key Contributions)

1. 자동화된 엔드 - 투 - 엔드 워크플로우: 모델 식별자와 하드웨어 사양만으로 복잡한 양자화 파이프라인을 자동으로 구성하고 실행합니다.
2. 점진적 품질 향상 (Monotonic Quality Improvement): 레이어 단위 → 블록 단위 → 글로벌 단위로 리소스를 투자할수록 모델 품질이 지속적으로 향상되는 구조를 제공합니다.
3. 고급 최적화 기법 통합:
   • AutoBit: 활성화 통계 (Activation Statistics) 를 기반으로 한 지능형 혼합 정밀도 할당.
   • QEP & LPCD: 레이어 간 오차 전파와 서브모듈 내 상호작용을 명시적으로 보정하여 단일 GPU 환경에서도 고품질 양자화를 가능하게 함.
   • JointQ & MDBF: 34 비트 구간에서의 JointQ 와 12 비트 구간에서의 MDBF 를 통해 극저비트 구간에서도 의미 있는 정확도를 유지.
4. 확장 가능한 아키텍처: 새로운 양자화 알고리즘을 'Refiner' 모듈로 쉽게 추가할 수 있는 플러그 - 앤 - 플레이 구조를 제공합니다.

4. 실험 결과 (Results)

LLaMA-3-8B 와 Qwen3 시리즈를 대상으로 한 실험에서 다음과 같은 결과를 보였습니다:

• 혼합 정밀도 할당 (AutoBit): 균일한 비트 할당 (Uniform) 에 비해 AutoBit 은 LLaMA-3-8B 에서 4.00 bpw(비트/가중치) 환경에서 퍼플렉시티 (Perplexity) 를 383.26 에서 7.04 로 획기적으로 개선하며, 전체 정밀도 모델과 유사한 성능을 달성했습니다.
• 오차 보정 (QEP/LPCD): 표준 GPTQ 대비 QEP 와 LPCD 를 적용한 경우, 4 비트 및 3 비트 환경에서 퍼플렉시티와 제로샷 정확도가 크게 향상되었습니다. 특히 4 비트/채널 단위 양자화에서 GPTQ 는 성능이 붕괴되었으나, OneComp 는 안정적인 성능을 유지했습니다.
• JointQ: 3~4 비트 구간에서 표준 GPTQ 보다 일관되게 우수한 성능을 보였습니다.
• 극저비트 양자화 (1~2 비트): MDBF(다중 엔벨로프 이진 인자) 는 DBF 보다 낮은 퍼플렉시티와 높은 정확도를 달성했습니다.
• 점진적 개선: 레이어 단위 → 블록 단위 → 글로벌 단계를 거칠수록 모든 비트 폭에서 정확도가 점진적으로 향상되었으며, 글로벌 PTQ 는 레이어 단위만으로는 해결되지 않는 장거리 의존성을 보정했습니다.

5. 의의 및 결론 (Significance)

OneComp 는 생성형 AI 모델의 압축을 단순한 알고리즘 선택의 문제를 넘어, 자동화되고 재현 가능한 엔지니어링 파이프라인으로 전환시켰습니다.

• 접근성: 비전문가도 복잡한 양자화 설정 없이 고품질의 배포용 모델을 생성할 수 있습니다.
• 효율성: 하드웨어 제약 (단일 GPU 등) 하에서도 최상의 성능을 낼 수 있는 리소스 적응형 전략을 제공합니다.
• 미래 지향성: OneComp 는 단순한 양자화 도구를 넘어, 활성화 양자화, KV 캐시 압축, 구조적 가지치기 등을 통합한 포괄적인 압축 플랫폼으로 진화할 것을 목표로 합니다.

결론적으로 OneComp 는 알고리즘 혁신과 실제 배포 간의 격차를 해소하고, 하드웨어 확장 의존도를 줄이고 효율성을 핵심 동력으로 삼는 차세대 AI 시스템 생태계를 구축하는 데 기여할 것으로 기대됩니다.