기술 요약: 양자화는 추론을 팽창시킨다

문제 정의

사후 학습 양자화(Post-Training Quantization, PTQ)는 메모리 점유율을 낮추고 토큰당 디코딩 속도를 높여 대규모 언어 모델(LLM)의 추론 비용을 줄이는 표준적인 기술이지만, 기존의 평가 지표로는 **추론 모델(reasoning models)**에 미치는 영향을 완전히 포착하지 못하고 있습니다. 표준 프로토콜은 최종 답변의 정확도와 토큰당 지연 시간(latency)에 초점을 맞춥니다. 그러나 추론 모델(예: 단계별 사고 과정인 Chain-of-Thought(CoT)를 수행하도록 학습된 모델)은 **테스트 시간 계산량(volume of test-time computation)**에 크게 의존합니다.

본 논문은 숨겨진 비용을 식별합니다: 저비트 PTQ는 **추론 토큰 팽창(Reasoning-Token Inflation)**을 유발할 수 있습니다. 양자화된 모델은 종종 최종 답변의 정확도는 유지하면서도, 풀 프리시전(BF16) 모델에 비해 훨씬 더 긴 사고 과정(chain of thought)을 생성합니다. 이러한 토큰 수의 증가는 양자화를 통해 얻은 토큰당 속도 향상을 상쇄하거나, 심지어 이를 초과하여 결과적으로 전체 엔드 투 엔드(end-to-end) 지연 시간과 서빙 비용을 악화시킬 수 있습니다.

방법론

저자들은 다음과 같은 다양한 차원에서 종합적인 평가를 수행했습니다:

• 모델: Qwen3-4B, Phi-4-14B와 같은 데스(dense) 구조와 Qwen3-30B와 같은 혼합 전문가(Mixture-of-Experts, MoE) 구조를 포함하여 4B에서 30B 파라미터 범위의 오픈 소스 추론 모델을 평가했습니다.
• 벤치마크: 수학적 추론(AIME25, GSM8K), 코드 생성(LiveCodeBench, MBPP), 과학적 추론(GPQA-Diamond), 에이전틱 도구 사용(BFCLv4), 일반 언어 이해(HellaSwag, MMLU-Pro, PIQA)를 다루었습니다.
• 양자화 방법: RTN(베이스라인), GPTQ, AWQ, HQQ, ParoQuant를 포함한 가중치 전용(weight-only) PTQ 방법을 INT4 및 INT3 비트 너비에 적용하여 조사했습니다. BF16은 풀 프리시전 참조 모델로 사용되었습니다.
• 지표:
  • 정확도(Accuracy): 최종 답변의 정답 여부.
  • CoT 토큰 팽창 비율(CTIR): 양자화된 모델과 BF16 참조 모델 간의 평균 추론 토큰 수 증가량을 나타내는 새로운 지표:
    $$\text{CTIR}(M_q; D) = \frac{\bar{\ell}(M_q; D) - \bar{\ell}(M_{org}; D)}{\bar{\ell}(M_{org}; D)} \times 100\%$$
  • 행동 분석(Behavioral Analysis): 중간 단계 수와 의미론적 반복성(문장 임베딩을 사용하여 유사한 추론 단계를 감지)을 측정했습니다.
  • 서빙 효율성(Serving Efficiency): H100 GPU 기반 vLLM 환경에서 첫 번째 토큰 시간(TTFT)과 처리량(throughput)을 측정했습니다.

주요 결과

1. 정확도 보존이 효율성 손실을 은폐함

• INT4 성능: 많은 모델과 벤치마크에서 INT4 양자화는 최종 답변의 정확도를 보존합니다(감소 폭이 미미하거나 작음). 그러나 이러한 정확도의 안정성이 효율성으로 이어지지는 않습니다.
• 숨겨진 비용: 양자화된 모델은 빈번하게 더 긴 CoT 궤적을 생성합니다. 예를 들어, BBH 벤치마크에서 Qwen3-4B의 경우, W4A16 Marlin 커널의 커널 수준 속도 향상에도 불구하고 INT4 양자화로 인해 총 생성 시간이 285초(BF16)에서 292초로 증가했습니다.
• INT3 민감도: 정밀도가 INT3로 떨어지면 어려운 추론 작업에서 정확도 저하가 뚜렷해지지만, 정확도가 유지되는 상황에서도 토큰 팽창 현상이 발생합니다.

2. 토큰 팽창의 정량화 (CTIR)

• 광범위한 팽창: 저비트 PTQ는 일관되게 추론 토큰 사용량을 증가시킵니다.
  • Qwen3-4B (INT3): AWQ의 경우 +276.1%, HQQ의 경우 +292.1%와 같이 극단적인 CTIR 수치에 도달했습니다.
  • Qwen3-30B (INT3): 상대적으로 더 탄력적이지만, CTIR은 여전히 상당한 수준을 유지했습니다 (예: HQQ의 경우 +60.1%).
• 방법론 간 편차: GPTQ와 같은 재구성 기반(reconstruction-based) 방법은 AWQ와 같은 활성화 인지형(activation-aware) 방법이나 HQQ와 같은 캘리브레이션 프리(calibration-free) 방법보다 일반적으로 낮은 CTIR을 생성하지만, 이 효과를 완전히 제거하지는 못합니다.

3. 행동 변화

• 단계 수 증가: 양자화된 모델은 동일한 결론에 도달하기 위해 더 많은 중간 단계를 거칩니다.
• 의미론적 반복: 추론 궤적을 분석한 결과, 자기 의심("let me verify", "again" 등)과 백트래킹(back-tracking), 의미론적 반복이 증가함을 발견했습니다. 이러한 반복은 정답률을 높이지 않으면서 토큰 수만 팽창시킵니다.
• 에이전틱 워크로드: 다회차 도구 사용 시나리오(BFCLv4)에서, 양자화는 도구 호출 횟수를 크게 바꾸지 않으면서도 CoT 토큰을 약 13~23% 증가시켰습니다. 이는 지연 시간 페널티가 도구 호출 빈도가 아닌 내부 추론에서 기인함을 나타냅니다.

4. 서빙에 미치는 영향

• 지연 시간: 완만한 CTIR 증가(예: 1.1배)도 사용자 체감 지연 시간을 크게 악화시킵니다. 특정 테스트 설정에서 1.1배의 CTIR 증가는 p90 TTFT를 33%(1050초에서 1400초로) 상승시켰습니다.
• 처리량: 더 긴 궤적은 디코딩 슬롯과 KV-캐시 메모리를 더 오래 점유하여, 연속 배치(continuous batching) 환경에서의 유효 서빙 용량을 감소시킵니다.

평가된 완화 전략

본 논문은 토큰 팽창을 줄이기 위한 세 가지 접근 방식을 평가합니다:

1. 추론 시 제어 (디코딩/프롬프팅):

   • 반복 페널티(Repetition Penalty): 토큰 수를 줄이지만, 종종 정확도에 상당한 비용을 치르게 합니다.
   • 간결한 프롬프팅(Conciseness Prompting): "생각하지 마시오(do not think)" 또는 "다시 말하지 마시오(no restate)"와 같은 프롬프트는 토큰을 줄이지만, 일관성이 없고 종종 심각한 정확도 저하(예: 5~11 포인트 하락)를 초래합니다.
   • 결론: 이들은 정확도를 희생하여 길이를 조절하는 불안정한 휴리스틱입니다.

2. 캘리브레이션 데이터 최적화:

   • PTQ 캘리브레이션에 추론 특화 코퍼스(Math-CoT, Code-CoT)를 사용하는 것은 일반 텍스트(Wikitext, C4)를 사용할 때보다 정확도와 토큰 길이를 모두 개선하는 데 효과적입니다.
   • 결론: 효과적이고 비용이 적게 들지만, 여전히 QAT보다는 열세입니다.

3. 양자화 인식 학습 (QAT):

   • QAT(특히 DiscQuant)를 사용하면 모델이 학습 과정에서 저비트 제약 조건에 맞춰 가중치를 조정할 수 있습니다.
   • 결론: QAT는 모든 PTQ 설정에 비해 토큰 팽창을 줄이는 동시에 정확도를 높이는 **파레토 개선(Pareto improvement)**을 달달합니다. 이는 양자화된 모델의 추론 궤적을 풀 프리시전 타겟과 일치시킵니다.

의의 및 주장

본 논문은 양자화된 추론 모델을 평가할 때 정확도와 함께 추론 토큰 사용량도 반드시 보고되어야 한다고 주장합니다.

• 평가 격차: 정확도와 토큰당 지연 시간만을 보고하는 기존의 양자화 연구는 추론 모델에 대해 불완전합니다. 이들은 모델이 양자화 노이즈를 보상하기 위해 더 길게 추론하는 "숨겨진 테스트 시간 계산 비용"을 놓치고 있습니다.
• 배포 현실: 추론 모델의 엔드 투 엔드 지연 시간은 토큰당 속도와 총 토큰 수의 함수입니다. 양자화는 의도치 않게 후자를 증가시켜 전자의 이점을 상쇄할 수 있습니다.
• 권고 사항: 저자들은 PTQ가 실용적이긴 하지만 CoT 길이에 대한 세심한 모니터링이 필요하다고 제안합니다. 추론 모델의 최적 배포를 위해, 토큰 팽창과 정확도 저하를 모두 완화할 수 있는 가장 유망한 방향으로 QAT를 제시합니다.