💬 NLP

CRISP: Compressing Redundancy in Chain-of-Thought via Intrinsic Saliency Pruning

이 논문은 모델의 내재적 주의 패턴을 활용해 불필요한 추론 단계를 정밀하게 제거함으로써, 정확도 손실 없이 체인 오브 씽킹 (CoT) 의 토큰 수를 50~60% 감소시키는 'CRISP' 프레임워크를 제안합니다.

원저자: Yangsong Lan, Hongliang Dai, Piji Li

게시일 2026-04-21

📖 2 분 읽기☕ 가벼운 읽기

원저자: Yangsong Lan, Hongliang Dai, Piji Li

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

토큰)**을 가리킬 때, AI 의 뇌 (주의 메커니즘) 가 가장 집중한다는 것입니다.

발견: AI 는 긴 생각 과정 중 중요한 핵심 단계는 마지막 정답을 도출할 때 다시 떠올리고, 불필요한 망설임이나 반복적인 말은 사실은 중요하지 않게 여긴다는 것을 발견했습니다. 마치 중요한 키워드만 기억하고 나머지는 잊어버리는 인간의 뇌와 비슷합니다.

✂️ 해결책: CRISP (지혜로운 요약)

이 발견을 바탕으로 만든 CRISP은 AI 의 긴 생각 과정을 외부에서 강제로 자르는 게 아니라, AI 자신의 뇌 신호를 이용해 중요한 부분만 골라내는 기술입니다.

CRISP 의 작동 원리 (4 단계 요리법)

관찰 (Scanning): AI 가 처음에 길게 쓴 생각 (원본 CoT) 을 봅니다.
선별 (Saliency Pruning): AI 가 마지막 정답을 낼 때 가장 집중했던 부분 (중요한 논리) 과 집중하지 않았던 부분 (불필요한 망설임) 을 구별합니다.
- 비유: 요리할 때 맛있는 핵심 재료와 버려도 되는 껍질을 구분하는 것 같습니다.
다듬기 (Compression):
- 삭제 (PRUNE): 불필요한 망설임은 잘라냅니다.
- 합치기 (FUSE): 비슷한 내용을 한 문장으로 압축합니다.
- 다듬기 (REWRITE): 길게 쓴 말을 짧고 명확하게 고쳐 씁니다.
- 유지 (KEEP): 정말 중요한 논리는 그대로 둡니다.
정제 (Refinement): 잘라낸 조각들이 이어져서 어색하지 않도록, AI 가 다시 한번 자연스럽게 다듬어줍니다.

🏆 결과: "똑똑하면서도 빠른 AI"

이 기술을 적용한 실험 결과는 매우 놀라웠습니다.

토큰 (문자) 수 감소: AI 가 생각하는 과정의 길이가 50~60% 줄었습니다. (예: 100 줄이었던 것을 40 줄로 줄임)
정확도 유지: 길이가 절반으로 줄었지만, 정답을 맞히는 능력은 거의 떨어지지 않았습니다. 오히려 불필요한 잡음 (과도한 생각) 이 사라져서 더 깔끔하게 문제를 해결하기도 했습니다.
효율성: 같은 성능을 내는데 드는 비용과 시간이 절반으로 줄어, 저사양 컴퓨터에서도 빠르게 AI 를 쓸 수 있게 되었습니다.

💡 한 줄 요약

CRISP은 AI 가 문제를 풀 때 "생각하는 과정"을 외부에서 강제로 자르는 게 아니라, AI 스스로 "이 부분이 중요해"라고 신호를 보내는 곳을 찾아내어, 불필요한 잡담은 빼고 핵심 논리만 남긴 똑똑한 요약 기술입니다.

이 기술 덕분에 앞으로 AI 는 더 빠르고, 더 저렴하게, 하지만 똑똑하게 우리 문제를 해결해 줄 수 있게 될 것입니다.

토큰의 역할:** 추론이 끝나는 것을 알리는 </think> 토큰은 단순한 구분자가 아니라 정보의 닻 (Information Anchor) 역할을 합니다.

어텐션 패턴: 모델이 최종 답변을 생성할 때, 이전의 긴 추론 체인 자체보다는 </think> 토큰에 높은 어텐션 가중치를 부여합니다.
중요도 식별: </think> 토큰이 이전 단계들에 대해 가지는 어텐션 가중치가 높을수록 해당 단계는 최종 답변에 필수적인 정보를 담고 있음을 의미합니다. 반대로 어텐션이 낮은 단계는 중복된 정보일 가능성이 높습니다.

B. CRISP 프레임워크

이 발견을 바탕으로 제안된 CRISP 는 다음과 같은 프로세스로 작동합니다.

원본 CoT 생성: 소스 모델이 긴 추론 경로 ( $R_{orig}$ ) 를 생성합니다.
핵심 추론 단계 탐색 (Critical Reasoning Paths Search):
- 각 추론 단계 ( $r_i$ ) 에 대해 </think> 토큰으로부터의 어텐션 가중치를 집계하여 중요도 점수 ( $S_i$ ) 를 산출합니다.
- 4 가지 원자 연산자 (Atomic Operators) 를 활용한 탐욕적 탐색 (Greedy Search) 을 수행합니다:
  - KEEP: 중요도가 높은 핵심 단계 유지.
  - PRUNE: 중요도가 낮거나 중복된 단계 제거.
  - REWRITE: 중간 중요도 단계를 더 간결하게 재작성.
  - FUSE: 의미적으로 유사한 인접 단계를 하나로 통합.
- 보상 함수 (Reward Function): 정답 예측 확률 (정확도) 과 시퀀스 길이 (효율성) 사이의 균형을 맞추는 보상 함수를 사용하여 최적의 연산자를 선택합니다.
압축된 CoT 정제 (Refinement):
- 탐색 과정에서 발생할 수 있는 문법적 단절이나 논리적 공백을 해결하기 위해, 별도의 LLM 기반 리파이너 (Refiner) 를 사용합니다.
- 리파이너는 원본 CoT 를 참조하여 압축된 경로의 의미적 일관성 (Semantic Coherence) 을 복원합니다.
멀티태스크 파인튜닝:
- 생성된 고품질의 압축된 추론 데이터를 사용하여 대상 모델을 파인튜닝합니다.
- <|compressed|> 같은 제어 토큰을 입력에 추가하여, 모델이 필요 시 압축된 추론 모드를 생성하도록 유도합니다.

3. 주요 기여 (Key Contributions)

내재적 신호 기반 식별: 외부 모델 없이 </think> 토큰의 어텐션 가중치만으로 추론 단계의 중요도를 신뢰성 있게 식별하는 방법을 제시했습니다.
CRISP 프레임워크 제안: 4 가지 원자 연산자 (KEEP, PRUNE, REWRITE, FUSE) 와 내재적 신호를 결합한 탐색 기반 압축 프레임워크를 개발했습니다.
효율성과 정확도의 최적 균형: 기존 방법들보다 압축 효율을 극대화하면서도 모델의 추론 성능을 유지하거나 오히려 향상시키는 결과를 입증했습니다.

4. 실험 결과 (Results)

데이터셋 및 모델: GSM8K, MATH-500, AMC23 등 수학 추론 벤치마크에서 DeepSeek-R1-Distill-Qwen (1.5B, 7B) 모델을 평가했습니다.
성능:
- 토큰 수 감소: 50~60% 이상의 토큰 수 감소를 달성했습니다 (예: 7B 모델 기준 평균 2,971 토큰 $\rightarrow$ 1,235 토큰).
- 정확도 유지: 토큰 효율 (Token Efficiency, TE) 이 기존 모델보다 크게 향상되었으며, 정확도는 오히려 소폭 상승하거나 유지되었습니다 (7B 모델 기준 평균 정확도 83.6% $\rightarrow$ 83.9%).
- 비교 우위: Truncation, CoD, TALE, TokenSkip, A*-Thought 등 기존 베이스라인 대비 효율성과 정확도 면에서 월등히 우수한 성능을 보였습니다.
분석: CRISP 는 단순히 단계를 잘라내는 것이 아니라, 논리적 단계를 통합 (FUSE) 하고 재작성 (REWRITE) 하여 정보 밀도를 높이는 '추상적 압축'을 수행함을 확인했습니다.

5. 의의 및 결론 (Significance)

내재적 메커니즘 활용: 외부 의존성을 제거하고 모델이 스스로의 추론 역학을 기반으로 최적의 경로를 찾도록 함으로써, 더 자연스럽고 논리적으로 일관된 압축을 가능하게 했습니다.
실용적 가치: 리소스가 제한된 환경에서도 고성능 추론 모델을 배포할 수 있는 확장 가능한 솔루션을 제공합니다.
과잉 사고 (Overthinking) 해결: 불필요한 반복과 논리적 소음을 제거하여 모델이 더 빠르고 정확하게 결론에 도달하도록 돕습니다.

이 연구는 긴 컨텍스트 추론의 병목 현상을 해결하고, 효율적인 LLM 배포를 위한 새로운 패러다임을 제시한다는 점에서 의의가 큽니다.