기술 요약: 추론 모델은 사고 과정 재구성을 통해 정확하게 가지치기될 수 있음

1. 문제 제기

DeepSeek-R1 과 같은 단계별 추론 능력을 갖춘 대규모 언어 모델 (LLM) 은 최종 답변을 생성하기 전에 명시적인 사고 과정 (Chain-of-Thought, CoT) 을 생성합니다. 이는 수학 및 코딩과 같은 복잡한 작업의 정확성을 크게 향상시키지만, 매우 긴 출력 시퀀스를 초래하여 높은 추론 지연 시간과 메모리 요구 사항으로 인해 대규모 배포 시 비용이 매우 많이 듭니다.

모델 가지치기는 모델 크기와 추론 비용을 줄이기 위한 표준 기술입니다. 그러나 저자들은 표준 가지치기 방법 (예: SparseGPT) 을 추론 모델에 적용할 때 직관에 반하고 해로운 결과가 나타난다고 관찰했습니다:

1. 정확도 저하: 표준 가지치기는 희소성이 증가함에 따라 작업 정확도가 크게 떨어집니다.
2. 실행 시간 증가: 압축의 목표와 반대로, 과도하게 가지치기된 추론 모델은 종종 더 느려집니다. 모델은 더 길고, 산만하며, 정확도가 낮은 CoT 추적을 생성하여 전체 토큰 수와 추론 시간을 증가시킵니다.

본 논문은 이러한 실패가 분포 불일치에서 비롯된다고 가설을 세웁니다. 표준 가지치기는 입력 프롬프트 (여기서 $|x| \gg |y|$) 만을 사용하여 가중치를 보정하는 반면, 추론 모델은 생성된 CoT 토큰 ($|c| + |y| \gg |x|$) 이 추론 계산의 대부분을 차지하는 디코드 주도 (decode-dominated) 작업입니다. 프롬프트 활성화에만 기반한 가지치기는 모델이 일관된 추론 추적을 생성하는 능력을 보존하지 못합니다.

2. 방법론: 추론 인식 압축 (RAC)

저자들은 기존 원샷 (one-shot) 가지치기 워크플로우에 'drop-in' 방식으로 적용 가능한 수정안인 추론 인식 압축 (Reasoning-Aware Compression, RAC) 을 제안합니다. 이는 보정 과정을 추론 모델의 실제 추론 시 분포와 일치시킵니다.

핵심 메커니즘

표준 가지치기 알고리즘 (SparseGPT 등) 은 입력 프롬프트에서 파생된 활성화 행렬 ($X_\ell$) 을 사용하여 레이어 가중치 ($W_\ell$) 의 재구성 오차를 최소화합니다. RAC 는 보정 데이터셋에 온-폴리시 (on-policy) CoT 추적을 추가함으로써 이를 수정합니다.

1. 온-폴리시 롤아웃: 보정 단계 동안 각 프롬프트 $x^{(m)}$ 에 대해, 밀집 모델은 자체 CoT 및 답변 토큰을 자기회귀적으로 생성하도록 허용됩니다.
2. 활성화 수집: 입력 프롬프트 토큰과 자체 생성된 CoT 토큰에 해당하는 숨겨진 상태 ($x^{(\ell)}_t$) 가 모두 수집됩니다.
3. 연합 재구성: 가지치기 알고리즘은 결합된 활성화 행렬 $X^{RAC}_\ell = [X^P_\ell, X^D_\ell]$ 을 사용하여 레이어별 최적화 문제를 해결합니다. 여기서 $X^P$ 는 프롬프트 활성화를, $X^D$ 는 디코드 시간 (CoT) 활성화를 나타냅니다.

목적 함수는 다음과 같습니다:
$$\min_{\hat{W}_\ell} \sum_{m} \sum_{t \in P_m \cup D_m} \| (W_\ell - \hat{W}_\ell) x^{(\ell-1,m)}_t \|_2^2$$
희소성 제약 조건을 따릅니다. 이는 압축된 가중치가 초기 프롬프트뿐만 아니라 전체 추론 과정에서 마주치는 활성화를 재구성하도록 최적화되도록 보장합니다.

구현 세부 사항

• 원샷 가지치기: 이 방법은 재학습이나 증류가 필요 없습니다. 사전 학습된 가중치에 대해 단일 패스로 작동합니다.
• 호환성: RAC 는 기존 레이어별 가지치기 알고리즘 (예: SparseGPT, WANDA, ALPS) 과 원활하게 통합됩니다.
• 보정 비용: CoT 활성화를 수집하는 것은 프롬프트 전용 보정보다 더 비용이 많이 들지만, 전체 모델 재학습이나 증류에 비해 여전히 훨씬 저렴합니다.

3. 주요 기여

1. 가지치기 실패 진단: 본 논문은 표준 가지치기가 CoT 생성의 디코드 주도 특성을 무시하여 모델이 "산만해지고" 정확도를 잃는 분포 이동을 초래하기 때문에 추론 모델에서 실패한다고 규명합니다.
2. RAC 알고리즘: 가지치기 목적 함수에 온-폴리시 CoT 활성화를 주입하는 간단한 보정 전략을 도입했습니다.
3. 실증적 검증: RAC 가 추론 모델을 높은 희소성 수준 (최대 50%) 까지 가지치기하면서도 정확도를 유지하고 표준 가지치기로 인한 실행 시간 폭증을 방지함을 보여주는 광범위한 실험을 수행했습니다.

4. 실험 결과

저자들은 다양한 크기 (1.5B~70B) 와 벤치마크 (MATH-500, AIME-25, LiveCodeBench) 에 걸쳐 여러 추론 모델 계열 (DeepSeek-R1 증류 변형 및 Qwen3) 에서 RAC 를 평가했습니다.

정확도 및 실행 시간

• 정확도 보존: 50% 희소성에서 RAC 는 표준 C4 보정 가지치기 및 프롬프트 전용 가지치기보다 현저히 우수한 성능을 발휘합니다.
  • 예시 (MATH-500 의 DeepSeek-R1-7B): RAC 는 0.900의 정확도를 유지하는 반면, 프롬프트 전용은 0.812, C4 는 0.744였습니다.
  • 예시 (MATH-500 의 Qwen3-8B): RAC 는 50% 희소성에서 0.862의 정확도를 달성한 반면, C4 는 0.564, 프롬프트 전용은 0.470이었습니다.
• 실행 시간 단축: RAC 는 "산만해짐" 행동을 방지합니다.
  • 예시 (DeepSeek-R1-7B): 표준 가지치기는 밀집 모델의 23.3 분에서 50% 희소성 시 135.0 분으로 실행 시간을 증가시켰습니다. RAC 는 이를 35.3 분으로 줄여 밀집 모델의 속도 프로파일을 효과적으로 유지했습니다.
• 일반화: 이 이점은 다양한 아키텍처 (Qwen, Llama), 모델 크기, 도메인 (수학 및 코드) 에서 유지됩니다. RAC 는 구조화된 가지치기 (2:4 희소성) 및 양자화 (FP8) 와 결합될 때도 견고성을 보입니다.

제거 분석

• 온-폴리시 vs 오프-폴리시: 가지치기 대상인 동일한 모델이 생성한 CoT 추적 (온-폴리시) 을 사용하는 것이 더 큰 다른 모델의 추적을 사용하는 것보다 더 좋은 결과를 낳지만, 오프-폴리시 데이터도 프롬프트 전용보다 어느 정도의 개선을 제공합니다.
• 토큰 예산 민감도: 가지치기된 모델의 실행 시간 패널티는 과도한 토큰 생성 제한에 크게 기인합니다. 합리적인 디코딩 길이 (예: 4,096 토큰) 로 제한될 때, RAC 가지치기 모델은 정확도와 속도 모두에서 밀집 모델의 성능을 일치시키거나 능가합니다.
• 알고리즘 중립성: RAC 는 SparseGPT 뿐만 아니라 다양한 가지치기 알고리즘 (SparseGPT, ALPS, WANDA) 과 짝을 이룰 때 성능을 향상시킵니다.

재구성 오차 분석

홀드아웃 테스트 문제에 대한 토큰 단위 오차 분석은 프롬프트 전용 보정이 입력 활성화를 잘 보존하지만 디코드 단계 (CoT) 에서 높은 재구성 오차를 초래함을 보여줍니다. RAC 는 긴 추론 체인 동안 이러한 오차를 특히 줄여, 가지치기된 모델의 행동을 중요한 생성 단계 동안 밀집 모델과 일치시킵니다.

5. 중요성 및 주장

본 논문은 추론 인식 압축이 추론 LLM 에 대한 가지치기를 실현 가능하게 만들기 위해 필요한 중요하고 간단한 수정이라고 주장합니다.

• 실용적 영향: RAC 는 현재 표준 압축에서 관찰되는 정확도 붕괴나 지연 시간 급증 없이 더 작고 빠른 추론 모델의 배포를 가능하게 합니다.
• 이론적 통찰: 이 연구는 생성이 주도하는 작업 (추론 등) 의 경우 보정 데이터가 입력뿐만 아니라 전체 추론 경로를 반영해야 함을 강조합니다.
• 한계: 저자들은 RAC 가 시퀀스 길이 감소를 명시적으로 최적화하지는 않지만 (생성 품질 향상을 통해 간접적으로 도움을 줌) 프롬프트 전용 방법에 비해 보정 단계에서 modest 한 계산 오버헤드가 발생한다고 겸손하게 지적합니다. 그러나 그들은 이 오버헤드가 재학습 비용에 비해 무시할 만하다고 강조합니다.

요약하자면, 본 논문은 가지치기 보정 분포를 모델의 온-폴리시 추론 추적과 일치시킴으로써, 추론 모델을 50% 희소성까지 정확하게 가지치기하여 밀집 모델 정확도의 최대 95% 를 보존하고 일반적으로 압축된 추론 시스템을 괴롭히는 추론 속도 저하를 방지할 수 있음을 보여줍니다.