QFT: Quantized Full-parameter Tuning of LLMs with Affordable Resources

이 논문은 모든 학습 상태를 INT8 형식으로 양자화하고, Lion 옵티마이저의 강건성과 하이브리드 특징 양자화, 그리고 정수 기반의 역전파 방식을 결합하여 고사양 GPU 없이도 단일 GPU 로 LLM 의 전체 파라미터 미세 조정을 가능하게 하는 'QFT' 프레임워크를 제안합니다.

핵심

🏠 비유: 거대한 도서관을 작은 방으로 옮기는 방법

1. 문제 상황: 너무 무거운 짐 (기존의 문제)
지금까지 거대한 인공지능 (예: LLaMA-7B) 을 학습시키려면, 마치 수백 권의 두꺼운 백과사전을 한 번에 들고 다니는 것과 같습니다.

• 기존 방식 (FP32): 모든 책 (가중치), 메모장 (기울기), 계산 도구 (옵티마이저 상태) 를 금으로 만든 두꺼운 책으로 저장합니다. 이걸 학습시키려면 거대한 창고 (고가의 GPU) 가 필요하고, 돈도 천문학적으로 듭니다.
• 기존의 대안 (PEFT/LoRA): "전부 다 옮길 필요 없죠! 중요한 페이지 몇 장만 떼어내서 학습하면 되잖아요?"라고 말합니다. 하지만 이 방법은 책의 전체 내용을 이해하지 못해 성능이 떨어질 수 있습니다.

2. QFT 의 해결책: "모든 것을 종이로 바꾸자"
QFT 는 **"전부 다 학습하되, 재료를 종이로 바꾸자"**는 아이디어입니다.

• INT8 양자화 (Quantization): 금으로 된 두꺼운 책을 **가볍고 얇은 종이 (INT8)**로 바꿉니다. 책의 내용은 그대로지만 무게는 1/4 로 줄어듭니다. 이제 작은 방 (일반적인 GPU) 에도 모든 책을 넣을 수 있게 됩니다.

3. 종이로 바꾸면 내용이 망가질까? (핵심 기술 2 가지)
종이로 바꾸면 글씨가 흐릿해져서 내용이 왜곡될까 봐 걱정되죠? QFT 는 두 가지 마법 같은 기술로 이를 해결했습니다.

• ① '리온 (Lion)'이라는 똑똑한 나침반 (옵티마이저)

  • 학습할 때 방향을 잡는 나침반 (옵티마이저) 이 있는데, 기존 방식은 나침반이 너무 민감해서 종이로 만들면 흔들립니다.
  • QFT 는 **'리온'**이라는 나침반을 사용합니다. 이 나침반은 "왼쪽/오른쪽"만 보고 방향을 잡습니다. 숫자의 정밀함 (정확한 각도) 에 덜 의존하기 때문에, 종이로 만들어도 방향을 잃지 않고 똑바로 갑니다. (이론적으로 증명됨)

• ② '희귀한 보석'만 따로 보관하는 방법 (하이브리드 특징 양자화)

  • 책 내용 중에는 99% 는 평범한 글자지만, **1% 는 매우 중요한 '보석 같은 단어 (Outliers)'**가 있습니다. 이 보석들을 종이로 바꾸면 내용이 망가집니다.
  • QFT 는 이 1% 의 보석만 따로 유리상자에 넣어두고 (FP32 유지), 나머지 99% 의 평범한 글자만 종이에 적습니다.
  • 이렇게 하면 보석의 가치는 그대로 유지되면서도 전체 무게는 획기적으로 줄어듭니다. (기존 방식은 보석까지 금으로 만들어야 해서 무거웠습니다.)

4. 계산하는 방법도 바꿨다 (스택 기반 흐름)

• 종이를 계산기에 넣으려면 한 번에 꺼내서 쓰고 다시 넣어야 합니다. QFT 는 **스택 (Stack)**이라는 원리를 써서, 계산할 때 필요한 종이 조각을 순서대로 꺼내 쓰고 다시 쌓아두는 방식을 개발했습니다. 덕분에 컴퓨터가 종이로 계산해도 속도가 느려지지 않습니다.

---

📊 결과: 얼마나 좋아졌나요?

• 메모리 사용량: 기존 방식이 100GB 의 메모리를 썼다면, QFT 는 **21GB(약 21%)**만 사용합니다.
  • 비유: 거대한 물류 창고 대신, 일반적인 아파트 한 칸만 있으면 거대한 도서관을 학습시킬 수 있게 된 것입니다.
• 성능: 메모리는 줄였지만, 학습된 모델의 지능은 기존의 고사양 방식과 거의 똑같습니다.
• 실제 적용: 이제 비싼 GPU 가 없는 연구자나 회사도, **일반적인 그래픽카드 (예: A6000 한 장)**로 최신 AI 모델을 학습시킬 수 있게 되었습니다.

💡 한 줄 요약

"거대한 AI 를 학습시키려면 비싼 슈퍼컴퓨터가 필요하다는 고정관념을 깨고, '종이'로 된 가벼운 데이터와 '보석'만 따로 챙기는 똑똑한 방법으로, 일반 컴퓨터에서도 AI 를 완벽하게 학습시키는 기술을 개발했습니다."

이 기술은 AI 의 민주화를 앞당겨, 더 많은 사람이 고성능 AI 를 개발하고 사용할 수 있는 시대를 열어줍니다.

기술 요약

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 은 다양한 자연어 처리 작업에서 뛰어난 성능을 보이지만, 사전 학습된 모델을 하위 작업에 맞게 전체 파라미터를 미세 조정 (Full-Parameter Fine-tuning) 하려면 막대한 양의 GPU 메모리가 필요합니다.

• 메모리 병목 현상: 표준 FP32 설정에서 Adam 옵티마이저를 사용할 경우, 가중치 (Weights), 기울기 (Gradients), 옵티마이저 상태 (Momentum, Variance) 를 모두 저장해야 하므로 모델 파라미터 수의 4 배에 달하는 메모리가 필요합니다. 예를 들어, LLaMA-7B 모델을 튜닝하려면 최소 104GB 의 RAM 이 필요하여 고사양 GPU 가 필수적입니다.
• 기존 방법의 한계:
  • PEFT (Parameter-Efficient Fine-tuning): LoRA 와 같은 방법은 메모리를 줄이지만, 파라미터 표현력이 제한되어 전체 파라미터 미세 조정만큼의 성능을 내지 못합니다.
  • 혼합 정밀도 (Mixed-Precision): FP16 연산을 사용하더라도 FP32 마스터 가중치 복사본을 유지해야 하므로 메모리 절감 효과가 제한적입니다.
  • 기존 양자화 (QAT): 기존 양자화 인식 학습은 추론 효율성을 목표로 하며, 학습 중 파라미터 저장을 FP32 로 유지하여 학습 메모리 자체는 줄이지 못합니다.

2. 방법론 (Methodology)

이 논문은 QFT (Quantized Full-parameter Tuning) 라는 새로운 프레임워크를 제안합니다. 이는 모든 학습 상태 (가중치, 기울기, 옵티마이저 상태) 를 INT8 형식으로 양자화하여 저장함으로써 메모리 사용을 극적으로 줄이면서도 성능을 유지하는 것이 핵심입니다.

2.1. Lion 옵티마이저를 활용한 기울기 및 모멘텀 양자화

기울기와 옵티마이저 상태 (모멘텀) 를 INT8 로 양자화할 때 발생할 수 있는 성능 저하를 해결하기 위해 Lion 옵티마이저를 선택하고 그 이론적 타당성을 증명했습니다.

• 이유: Lion 옵티마이저는 분산 (Variance) 을 추적하지 않고 모멘텀 (Momentum) 만 추적하며, 부호 (Sign) 연산을 통해 파라미터 업데이트 크기를 일정하게 유지합니다.
• 이론적 증명: 양자화 오차가 가산적 (Additive) 이고 가우스 분포를 따른다고 가정할 때, 업데이트 크기가 특정 임계값 (1.645 표준편차) 이상이면 양자화 후에도 부호 (Sign) 가 변하지 않을 확률이 95% 이상임을 수학적으로 증명했습니다. 이는 Lion 의 일관된 업데이트 크기가 양자화 오차에 매우 강건 (Robust) 함을 의미합니다.

2.2. 하이브리드 특징 양자화 (Hybrid Feature Quantizer)

가중치 (Weights) 의 양자화는 기울기보다 더 어렵습니다. 가중치 분포에는 대부분의 값이 밀집되어 있지만, 소수의 **아웃라이어 (Outliers)**가 존재하여 동적 범위를 크게 확장시키기 때문입니다.

• 전략: SqueezeLLM 에서 영감을 받아 하이브리드 특징 양자화를 도입했습니다.
  • 희소 (Sparse) 부분: 전체 값의 약 1% 에 해당하는 중요한 아웃라이어 (Critical Features) 는 FP32 로 유지하거나 정밀하게 보존합니다.
  • 밀집 (Dense) 부분: 나머지 99% 의 값은 균일하게 양자화하여 INT8 로 저장합니다.
• 효과: 이 방식은 FP32 마스터 가중치 복사본 없이도 정확한 가중치 업데이트를 가능하게 하며, 메모리 오버헤드를 최소화합니다.

2.3. 정수 기반 역전파 파이프라인 (Integer Training Pipeline)

기존 자동 미분 (AutoGrad) 프레임워크는 부동소수점 (Floating-point) 에 의존하므로, 정수 (Integer) 로 저장된 가중치에 대한 기울기 계산을 직접 수행하기 어렵습니다.

• 스택 기반 기울기 흐름 (Stack-based Gradient Flow): 역전파 시 각 레이어의 기울기를 계산한 후 INT8 로 양자화하여 전역 스택에 푸시 (Push) 합니다. 최적화 단계에서는 스택에서 팝 (Pop) 하여 O(1) 복잡도로 접근합니다.
• 의의: 이 설계는 부동소수점 의존성을 제거하고 정수 도메인에서 효율적인 역전파를 가능하게 하여, 통합된 정수 학습 파이프라인을 완성합니다.

3. 주요 기여 (Key Contributions)

1. QFT 프레임워크 제안: LLM 의 전체 파라미터 미세 조정을 위해 모든 학습 상태를 INT8 로 저장하는 메모리 최적화 프레임워크를 최초로 제안했습니다. 이는 기존 QAT 와 구별되며, 저비용 하드웨어에서 전체 파라미터 튜닝을 가능하게 합니다.
2. 강건한 양자화 기술:
   • Lion 옵티마이저의 양자화 강건성에 대한 이론적 증명.
   • 가중치의 중요한 아웃라이어를 보호하는 하이브리드 특징 양자화 기법 개발.
   • O(1) 복잡도의 스택 기반 기울기 흐름 설계.
3. 실제 검증: LLaMA-2 모델을 대상으로 한 실험을 통해, 메모리 사용량을 표준 솔루션 대비 21% 수준으로 줄이면서도 FP32 전체 파라미터 미세 조정과 유사한 성능을 달성함을 입증했습니다.

4. 실험 결과 (Results)

• 메모리 효율성:
  • LLaMA-7B 모델: 표준 Adam (FP32) 은 104GB 메모리가 필요하지만, QFT 는 **약 25.3GB (Peak 28.9GB)**만 사용합니다. 이는 단일 A6000 GPU로 미세 조정이 가능함을 의미합니다.
  • 메모리 사용량은 표준 FP32 미세 조정의 21% 수준으로 감소했습니다.
• 성능 평가:
  • Few-shot 벤치마크 (ARC, HellaSwag, MMLU 등): QFT 는 FP32 전체 파라미터 미세 조정 (FT-Adam) 과 매우 유사한 성능을 보였습니다 (예: LLaMA-7B 평균 점수 57.4 vs FT-Adam 58.0).
  • LoRA 대비 우위: 파라미터 효율적 방법인 LoRA 보다 전반적인 성능이 우수했습니다.
  • MT-Bench (대화 능력): GPT-4 를 평가자로 한 대화 능력 평가에서도 FT-Adam 과 비교해 격차가 거의 없었습니다.
• 학습 속도: 양자화/역양자화 (De-quantization) 오버헤드로 인해 학습 시간은 FP32 기준보다 약 1.2~1.3 배 느리지만, 메모리 제약 하에서는 이 트레이드오프가 매우 가치 있습니다.

5. 의의 및 결론 (Significance)

이 논문은 고사양 GPU 없이도 상용 GPU(예: A6000) 로 대형 언어 모델의 전체 파라미터 미세 조정을 가능하게 함으로써, LLM 연구 및 적용의 진입 장벽을 획기적으로 낮췄습니다.

• **접근성:**昂贵的한 H100/A100 같은 고사양 GPU 없이도 연구자와 개발자가 대규모 모델을 직접 튜닝할 수 있는 길을 열었습니다.
• 기술적 혁신: 단순한 메모리 압축을 넘어, 양자화된 환경에서도 학습 안정성을 보장하는 새로운 옵티마이저 전략과 가중치 관리 기법을 제시했습니다.
• 미래 영향: QFT 는 하드웨어 제약을 극복하고 더 많은 조직이 LLM 을 자체 데이터로 최적화할 수 있는 기반을 마련하여, LLM 생태계의 민주화에 기여할 것으로 기대됩니다.