기술 요약: 적응형 GoGI-스킵

문제 정의

연쇄 사고 (Chain-of-Thought, CoT) 프롬프팅은 대규모 언어 모델 (LLM) 의 추론 능력을 크게 향상시키지만, 방대한 양의 중복된 추론 흔적을 생성함으로써 추론 지연 시간과 메모리 비용을 prohibitive(금지할 정도로 큰) 수준으로 증가시킵니다. 기존 압축 전략들은 근본적인 트레이드오프에 직면해 있습니다:

1. 정적 그래디언트/중요도 방법: TokenSkip 이나 의미적 유사성에 의존하는 접근법들은 토큰을 독립적으로 처리합니다. 이러한 방법들은 종종 구조적으로 중요하지만 의미적으로 단순한 토큰 (예: 논리적 연결사) 을 제거함으로써 순차적 논리를 단절시키거나, 기능적 중복과 필수적인 상세 설명을 구분하지 못합니다.
2. 불확실성 기반 가지치기: 예측 엔트로피나 퍼플렉시티에만 의존하는 방법들은 국소적 모호성을 포착하지만, 최종 답변의 정확성이라는 궁극적 목표를 무시합니다. 이러한 방법들은 놀라울 수 있지만 최종 해결책과 기능적으로 무관한 토큰을 유지할 수 있습니다.
3. 정적 압축률: 고정된 압축 비율은 추론 단계의 이질적인 난이도를 수용할 수 없어, 복잡한 작업에서는 과도한 정확도 손실을 초래하거나 단순한 작업에서는 효율성 향상이 부족하게 됩니다.

핵심 과제는 모델이 엄격하게 필요한 만큼만 추론하도록 하는 "최적 사고 (thinking-optimal)" 균형을 달성하는 것이며, 이를 위해서는 답변 정확성과 정렬된 목표 인식 (goal-aware) 이자 국소적 추론 복잡성에 반응하는 동적 적응형 (dynamically adaptive) 압축 패러다임이 필요합니다.

방법론: 적응형 GoGI-스킵

저자들은 CoT 흔적을 추론 정확도를 희생하지 않고 가지치기하기 위해 목표 - 그래디언트 중요도 (Goal-Gradient Importance, GoGI) 와 적응형 동적 스킵 (Adaptive Dynamic Skipping, ADS) 을 결합한 Adaptive GoGI-Skip 프레임워크를 제안합니다. 이 방법은 압축된 흔적에 대한 지도 미세 조정 (Supervised Fine-Tuning, SFT) 을 통해 구현됩니다.

1. 목표 - 그래디언트 중요도 (GoGI)

일반적인 중요도 지표와 달리, GoGI 는 그래디언트 민감도를 통해 토큰이 최종 답변 정확도에 기여하는 기능적 기여도를 정량화합니다.

• 정의: 목표 레이어 $l^*$에서의 토큰 $x_t$에 대해, GoGI 점수 $G_t$는 답변 예측 손실 ($L_{ans}$) 에 대한 숨겨진 상태 $h_t^{l^*}$의 그래디언트의 $L_1$ 노름입니다:
  $$G_t = \left\| \frac{\partial L_{ans}(A|c; \theta)}{\partial h_t^{l^*}} \right\|_1$$
• 레이어 선택: 실증 분석에 따르면 최대 민감도는 중간에서 후기 레이어 (예: Gemma3-4B 의 23 층) 에서 발생합니다. 이 방법은 하류 성능이 정확한 선택에 민감하지 않은 대표 레이어를 선택하여 국소적 및 전역적 신호를 균형 있게 조정합니다.
• 통찰: GoGI 는 단순히 놀라운 (높은 엔트로피) 하지만 무관한 토큰과 구별하여, 의미적으로 단순하더라도 최종 답변에 기능적으로 중요한 토큰을 식별합니다.

2. 적응형 동적 스킵 (ADS)

ADS 는 실행 시간 컨텍스트에 기반하여 가지치기 전략을 동적으로 조절하며, GoGI 와 두 가지 규제 메커니즘을 결합합니다:

• 엔트로피 주도 비율 (Entropy-Driven Rate, EDR) 규제:
  • 정보 밀도와 분기점의 신호로서 예측 엔트로피 $H_t$를 사용합니다.
  • $H_t$를 국소 유지율 $\gamma_t$로 매핑합니다. 높은 엔트로피 (불확실성) 는 보수적인 가지치기 (높은 유지) 를 유발하고, 낮은 엔트로피는 공격적인 가지치기를 허용합니다.
  • 이는 국소적 불확실성에 기반하여 동적 GoGI 임계값 $\tau_t$(유지를 위해 필요한 GoGI 점수의 백분위수) 를 조정합니다.
• 적응형 N-제약 (Adaptive N-Constraint, ANC):
  • 구조적 일관성을 유지하기 위해 ANC 는 연속적으로 가지치기된 토큰의 수 ($N_t$) 를 제한합니다.
  • $N_t$는 국소 윈도우 엔트로피에 의해 조절됩니다. 고엔트로피 영역 (전이 구간) 에서 $N_t$는 더 엄격한 일관성을 강제하도록 감소되어, 개별 GoGI 점수가 낮더라도 중요한 논리적 연결사 (예: "따라서") 를 모델이 건너뛰는 것을 방지합니다.
  • 이는 단편화된 추론 체인을 방지하는 "안전망" 역할을 합니다.

3. 가지치기 알고리즘

알고리즘은 CoT 시퀀스를 반복합니다. 다음 조건 중 하나를 충족하면 토큰이 유지됩니다:

1. 가중치 GoGI 점수가 동적 임계값을 초과하는 경우 ($G'_t \geq \tau_t$), 또는
2. 이를 가지치기하면 연속 스킵 제약을 위반하는 경우 ($C_{t-1} + 1 \geq N_t$).

결과적으로 생성된 압축 시퀀스는 SFT 를 위한 데이터셋을 형성하며, 압축 정책을 직접 모델 가중치에 증류합니다. 이는 추론 중 제로 런타임 오버헤드 (zero-runtime overhead) 를 가능하게 하여, 모델이 단순히 더 짧고 밀집된 시퀀스를 생성하도록 합니다.

주요 기여

1. 프레임워크 설계: CoT 압축을 위해 목적론적 목표 정렬 (GoGI) 과 인식론적 불확실성 (ADS) 을 비선형적으로 결합한 최초의 프레임워크인 Adaptive GoGI-Skip 의 도입.
2. 제로샷 보편성: 단 7,472 개의 MATH 흔적에서 훈련된 단일 압축 정책이 작업별 튜닝 없이 다양한 벤치마크 (AIME, GPQA, GSM8K) 와 모델 계열 (Gemma, Qwen) 에서 효과적으로 전이됨을 입증.
3. 효율성 - 정확도 프론티어: 정적 베이스라인에서 보이는 경직된 트레이드오프를 깨고, 엄격한 벤치마크에서 원래 정확도를 유지하거나 향상시키면서 상당한 효율성 향상 (>45% 토큰 감소, 최대 2.0 배 속도 향상) 달성.

실험 결과

Gemma3 및 Qwen2.5 모델을 AIME 2024/2025, GPQA Diamond, GSM8K 에서 평가:

• 성능: 적응형 GoGI-Skip 은 정적 베이스라인 (TokenSkip, Spiritft) 과 외부 증류기 (C3oT) 를 일관되게 능가합니다.
  • GSM8K에서 1.9 배 속도 향상과 45% 토큰 감소로 89.9% 정확도 (원본 대비 0.3% 향상) 를 달성했습니다.
  • AIME 2024에서 1.7 배 속도 향상으로 14.1% 정확도 (원본 14.5% 대비) 를 유지했습니다.
  • GPQA Diamond에서 1.8 배 속도 향상으로 29.3% 정확도 (원본 29.6% 대비) 를 달성했습니다.
• 일반화: 모델 크기 (1B 에서 12B) 가 증가함에 따라 방법이 긍정적으로 확장되며, 이는 더 큰 모델들이 추론 신호와 노이즈 사이에서 더 뚜렷한 분리를 보임을 시사합니다.
• 절대 연구 (Ablation Studies): 동적 규제 (ADS) 나 N-제약 (ANC) 을 제거하면 정확도가 크게 하락하여 정적 압축이 가변적인 추론 복잡성을 처리할 수 없음을 확인했습니다. GoGI 를 퍼플렉시티 기반 지표 (LLMLingua) 로 대체해도 성능이 저하되어, 그래디언트 기반 목표 정렬의 우월성을 검증했습니다.

중요성 및 주장

본 논문은 추론의 구조적 중복성이 의미론과 구별되는 학습 가능하고 작업 중립적인 속성이라고 주장합니다. 표면적 퍼플렉시티나 정적 휴리스틱이 아닌 답변 손실 그래디언트에 중요도를 고정함으로써, 이 방법은 핵심 연역 신호를 불필요한 내용에서 분리해냅니다.

저자들은 최적 사고 압축은 목적론적 목표와 인식론적 불확실성 간의 시너지를 요구한다고 주장합니다. 제안된 방법은 강화 학습 (RL) 접근법과 관련된 훈련 불안정성과 보상 해킹을 피하는 안정적이고 직접적인 최적화 경로 (SFT 를 통해) 를 제공합니다. 또한, 점점 더 방대한 흔적을 생성하는 RL 최적화 추론기 (DeepSeek-R1 등) 를 위한 보완적 후처리기로 기능하여, 고정된 인프라 제약 하에서 고성능 모델의 효율적 배포를 가능하게 하고 에너지 소비 감소를 통해 Green AI 이니셔티브를 지원합니다.