Shorter, but Still Trustworthy? An Empirical Study of Chain-of-Thought Compression

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 최근 OpenAI o1, DeepSeek-R1, QwQ 등 장문의 사고 과정 (Long Chain-of-Thought, Long-CoT) 을 생성하는 대형 언어 모델 (LLM) 이 복잡한 추론 작업에서 뛰어난 성능을 보이고 있습니다. 그러나 긴 추론 과정은 높은 추론 비용 (inference cost) 을 유발하므로, 이를 단축하기 위한 다양한 압축 기법 (Distillation, Pruning, Token manipulation 등) 이 연구되고 있습니다.
• 문제: 기존 연구들은 주로 작업 정확도 (Task Accuracy) 와 토큰 절감량 만을 평가 기준으로 삼았습니다. 하지만 추론 과정의 압축은 모델의 신뢰성 (Trustworthiness) 과 관련된 특성 (안전성, 환각 저항성, 다국어 강건성 등) 을 손상시킬 수 있습니다.
• 핵심 질문: "추론 과정을 압축했을 때, 모델의 신뢰성 속성 (안전성, 사실성 등) 이 유지되는가?"
• 가설: 압축은 모델의 파라미터 공간을 수정하므로, 정확도만 유지된다고 해서 안전성이나 환각 저항성이 자동으로 보존된다는 보장은 없습니다.

2. 연구 방법론 (Methodology)

이 논문은 CoT 압축이 모델 신뢰성에 미치는 영향을 체계적으로 분석하기 위해 다음과 같은 실험 설계를 수행했습니다.

• 평가 차원 (Dimensions):
  1. 안전성 (Safety): HarmBench(유해한 요청 거부 정확도) 및 AgentHarm(유해한 에이전트 작업 수행률) 벤치마크 사용.
  2. 환각 저항성 (Hallucination Resistance): FaithEval(답변 불가능한 질문에 대한 정직성) 사용.
  3. 다국어 강건성 (Multilingual Robustness): MMLU-ProX(29 개 언어의 정확도) 사용.
• 평가 대상 모델 및 방법:
  • 다양한 규모의 모델 (1.5B ~ 32B 파라미터, Qwen3, DeepSeek-R1 등) 과 6 가지 압축 기법 (L1 Distillation, BeConcise, Thinkless, TokenSkip, VeriThinker, DPO 변형 등) 을 평가했습니다.
  • 각 압축 모델은 동일한 베이스 모델의 압축되지 않은 Baseline 과 비교되었습니다.
• 평가 프로토콜:
  • 동일한 프롬프트, 디코딩 설정 (Greedy), 판정 모델 (Judge Model) 을 사용하여 공정한 비교를 진행했습니다.
  • 정규화된 효율성 점수 (Normalized Efficiency Score, $E$) 도입:
    • 서로 다른 베이스 모델 간 비교를 위해 제안된 지표입니다.
    • 공식: $E_i = (\frac{Acc_i}{Acc_{base}})^\alpha \cdot (\frac{L_{base}}{L_i})^\beta$ ($\alpha=2, \beta=0.5$)
    • 정확도 저하 ($\alpha=2$) 를 토큰 절감 ($\beta=0.5$) 보다 훨씬 더 크게 가중치하여, 단순한 토큰 절감이 신뢰성 저하를 숨기지 않도록 설계되었습니다.
  • 파레토 프론티어 (Pareto Frontier) 분석: 신뢰성 지표와 추론 길이 (CoT length) 간의 트레이드오프 관계를 시각화했습니다.

3. 주요 기여 (Key Contributions)

1. 체계적인 실증 연구: CoT 압축이 안전성, 환각 저항성, 다국어 강건성 등 신뢰성 차원에서 어떻게 퇴보 (Regression) 를 일으키는지 최초로 체계적으로 규명했습니다.
2. 새로운 평가 프레임워크: 베이스 모델 간 비교를 가능하게 하는 '정규화된 효율성 점수 ($E$)'와 신뢰성 - 길이 파레토 프론티어 분석을 도입하여, 단일 스칼라 지표가 가릴 수 있는 트레이드오프를 명확히 했습니다.
3. 존재 증명 (Existence Proof): 신뢰성을 고려한 정렬 (Alignment-aware) DPO 변형을 제안하여, CoT 길이를 19.3% 단축하면서도 신뢰성 손실을 최소화하는 것이 가능함을 증명했습니다.

4. 실험 결과 (Results)

• 신뢰성 퇴보의 빈발: 표준 벤치마크 (정확도) 에서는 성능이 유지되거나 개선된 것으로 보였으나, 신뢰성 차원에서는 심각한 퇴보가 발생했습니다.
  • 예시 (Qwen3-8B): L1 증류 (Distillation) 기법은 안전성 (HarmBench) 을 약 10%p 감소시켰으나, 다국어 성능은 1~2%p 개선시켰습니다.
• 비대칭적 퇴보 패턴:
  • 방법별 차이: 같은 베이스 모델이라도 압축 방법에 따라 손상되는 특성이 달랐습니다 (예: L1 은 안전성 저하, TokenSkip 은 다국어 성능 저하).
  • 모델별 차이: 같은 압축 기법이라도 베이스 모델에 따라 영향을 받는 차원이 달랐습니다 (예: 작은 모델은 환각 저항성 저하, 큰 모델은 안전성 저하).
• 효율성 점수 ($E$) 의 중요성: 단일 점수 평균은 안전성 저하를 다른 차원의 개선으로 가릴 수 있음을 보였습니다. 차원별 $E$ 점수를 분석해야만 실제 트레이드오프를 파악할 수 있었습니다.
• DPO 변형의 성공: 정렬 (Alignment) 을 고려한 DPO 변형은 CoT 길이를 19.3% 줄이면서도 안전성, 환각 저항성, 다국어 성능을 Baseline 수준에 가깝게 유지했습니다. 이는 신뢰성 보존이 불가능한 문제가 아님을 시사합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 연구적 의의: CoT 압축 연구가 단순히 '효율성 (짧은 길이)' 만을 추구해서는 안 되며, 신뢰성 (Trustworthiness) 을 동등한 설계 제약 조건으로 삼아야 함을 강조합니다.
• 실무적 시사점:
  • 압축된 모델을 배포할 때는 작업 정확도뿐만 아니라 안전성, 환각 저항성, 다국어 성능을 재평가해야 합니다.
  • 압축 기법 선택 시, 배포 환경에서 가장 중요한 신뢰성 특성에 맞춰 방법을 선택해야 합니다.
  • 논문 보고 시 절대적인 성능 변화량과 함께 차원별 정규화 효율성 점수를 함께 제시해야 합니다.
• 미래 방향: 압축이 신뢰성에 미치는 영향의 메커니즘 (예: RLHF 정렬 파라미터의 덮어쓰기, 안전 고려를 위한 사고 과정의 삭제 등) 을 규명하고, 신뢰성을 보존하는 압축 기법을 개발하는 것이 향후 연구의 핵심 과제가 되어야 합니다.

이 논문은 "더 짧아졌다고 해서 더 나쁜 것은 아니다"는 전제를 넘어, "더 짧아졌을 때 여전히 신뢰할 수 있는가?" 라는 근본적인 질문을 던지며, 효율성과 신뢰성의 균형을 맞춘 새로운 CoT 압축 연구의 방향성을 제시합니다.