💬 NLP

Do LLMs Encode Functional Importance of Reasoning Tokens?

이 논문은 LLM 이 추론 토큰의 기능적 중요도를 내부적으로 인코딩하고 있음을 보여주기 위해, 모델의 가능성 (likelihood) 을 유지하면서 불필요한 추론 토큰을 제거하는 '탐욕적 가지치기 (greedy pruning)' 기법을 제안하고, 이를 통해 생성된 간소화된 추론 체인으로 학습된 학생 모델이 기존 최첨단 모델 기반 압축 방법보다 더 뛰어난 성능을 보임을 입증합니다.

원저자: Janvijay Singh, Dilek Hakkani-Tür

게시일 2026-04-21

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Janvijay Singh, Dilek Hakkani-Tür

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"거대 언어 모델 (LLM) 이 복잡한 문제를 풀 때, 정말 중요한 생각과 그렇지 않은 소음이 섞여 있는지, 그리고 그 중요성을 모델 스스로가 알고 있는지"**를 탐구한 연구입니다.

비유하자면, 이 연구는 **"수학 문제를 풀 때 칠팎에 쓴 긴 설명 중, 정답을 얻기 위해 꼭 필요한 '핵심 공식'과 그냥 채워 넣은 '말장난'을 구별해 낼 수 있을까?"**를 묻는 것입니다.

다음은 이 논문의 핵심 내용을 일상적인 언어와 비유로 설명한 것입니다.

1. 문제: "생각이 너무 길어!" (과도한 추론)

최근 AI 는 복잡한 문제를 풀 때, 마치 사람이 "자, 이제부터 생각해보자... 1 단계, 2 단계..."라고 중얼거리며 긴 설명 (추론 과정) 을 만들어냅니다. 이 긴 설명 덕분에 AI 는 정답을 잘 맞추지만, 계산 비용이 너무 많이 들고, 어떤 부분이 진짜 핵심인지 찾기 어렵습니다.

기존 연구들은 "짧은 설명을 만들어내는 방법"을 연구했지만, **"모델이 스스로 어떤 단어가 중요하다고 느끼고 있는가?"**를 분석하는 시도는 부족했습니다.

2. 해결책: '탐욕스러운 가지치기' (Greedy Pruning)

저자들은 모델이 만든 긴 설명에서 단어를 하나씩 지워보면서 실험을 했습니다.

비유: 한 사람이 쓴 긴 에세이가 있다고 칩시다. 우리는 이 에세이에서 지워도 이야기의 흐름이나 결론이 무너지지 않는 문장을 찾아서 하나씩 지워나갑니다.
방법: "이 단어를 지우면 AI 가 정답을 맞출 확률이 얼마나 떨어질까?"를 계산합니다. 확률이 거의 안 떨어지는 '쓸모없는 단어'부터 먼저 지웁니다.
결과: 이 과정을 반복하면, **가장 나중에 지워지는 단어들 (핵심 단어)**과 **가장 먼저 지워지는 단어들 (소음)**이 자연스럽게 나뉩니다.

3. 주요 발견 1: "모델은 스스로 중요도를 알고 있었다!"

이 실험을 통해 놀라운 사실을 발견했습니다.

핵심은 남고, 소음은 사라진다: AI 가 만든 긴 설명에서 **수학적 계산 (숫자, 공식)**이 들어간 단어들은 거의 남았고, "그리고", "또한", "우리는" 같은 문법적 연결어나 과도한 설명은 먼저 지워졌습니다.
의미: AI 는 스스로 "이 부분은 정답을 내기 위해 꼭 필요하고, 저 부분은 그냥 장난감"이라고 구분하고 있었습니다. 우리는 이 구분 능력을 이용해 AI 의 생각을 압축할 수 있습니다.

4. 주요 발견 2: "압축된 설명으로 가르치면 더 똑똑해진다"

저자들은 이렇게 '핵심만 남긴' 짧은 설명을 가지고 **더 작은 AI (학생 모델)**를 훈련시켰습니다.

결과: 다른 방법 (예: 외부 AI 가 가르쳐서 줄인 것) 으로 만든 짧은 설명보다, 이 '가지치기' 방법으로 만든 설명으로 훈련한 AI 가 훨씬 더 잘 풀었습니다.
비유: 마치 "수학 선생님이 긴 설명 대신, 핵심 공식과 계산 과정만 딱 정리한 요약 노트를 학생에게 주니, 학생이 훨씬 빠르게 문제를 푼 것"과 같습니다.

5. 주요 발견 3: "주의 (Attention) 점수로 예측 가능"

마지막으로, "이렇게 단어를 지우는 순서를 AI 가 처음부터 알고 있었을까?"를 확인했습니다.

발견: AI 가 단어를 생성할 때 어떤 단어에 '주의 (Attention)'를 집중했는지만 보면, 나중에 어떤 단어가 '핵심'이 될지 높은 정확도로 예측할 수 있었습니다.
의미: AI 의 뇌속에서 이미 중요한 정보와 그렇지 않은 정보가 구분되어 있다는 강력한 증거입니다.

💡 요약: 이 연구가 우리에게 주는 메시지

AI 는 혼란스러운 게 아니다: AI 가 긴 설명을 할 때, 그 안에는 정답을 위한 '진주'와 그냥 '모래'가 섞여 있습니다.
핵심만 골라내자: 우리는 AI 가 스스로 중요하다고 여기는 부분을 찾아내어, 불필요한 말장난을 잘라내면 더 빠르고 효율적인 AI 를 만들 수 있습니다.
미래의 가능성: 이 기술을 쓰면, AI 가 더 적은 메모리로 더 똑똑하게 일할 수 있게 되며, 우리가 AI 의 생각 과정을 더 쉽게 이해할 수 있게 됩니다.

한 줄 요약:

"AI 가 긴 설명을 할 때, 중요한 '진주'와 쓸모없는 '모래'를 스스로 구분하고 있다는 것을 발견했고, 이 원리를 이용해 더 짧고 똑똑한 AI를 만들 수 있다는 것을 증명했습니다."

이 논문은 대형 언어 모델 (LLM) 이 복잡한 추론 작업을 수행할 때 생성하는 긴 추론 체인 (Reasoning Chains) 내에서 **토큰 수준의 기능적 중요도 (Functional Importance)**가 모델 내부에 인코딩되어 있는지, 그리고 이를 어떻게 탐지하고 활용할 수 있는지에 대한 연구입니다.

저자 Janvijay Singh 와 Dilek Hakkani-Tür (일리노이 대학교) 는 기존 연구들이 단순히 추론 체인을 압축하는 데 초점을 맞췄다면, 본 논문은 **"모델이 스스로 어떤 추론 토큰이 답 생성에 기능적으로 중요한지 알고 있는가?"**라는 근본적인 질문을 던지며, 이를 진단적으로 분석하는 새로운 방법론을 제시합니다.

1. 문제 정의 (Problem)

LLM 은 수학, 과학, 다단계 의사결정 등 복잡한 작업을 해결하기 위해 긴 추론 체인을 생성합니다. 긴 추론은 정확도를 높이지만, 다음과 같은 심각한 단점이 있습니다.

높은 계산 비용: 추론 지연 (Latency) 증가 및 메모리 요구량 증대.
기능적 불투명성: 최종 답변에 기능적으로 기여하는 핵심 추론 부분과 불필요한 언어적 지지 (scaffolding) 부분을 구분하기 어려움.

기존의 압축 기법 (확률적 샘플링, 휴리스틱, 최첨단 모델의 감독 등) 은 효율적인 추론 체인을 생성하지만, 모델 내부에서 토큰별 기능적 중요도가 어떻게 인코딩되어 있는지에 대한 통찰을 제공하지 못합니다.

2. 방법론: 탐욕적 가지치기 (Greedy Pruning)

저자는 모델의 내부 신호를 활용하여 추론 토큰의 중요도를 순위화하고 압축하는 **탐욕적 가지치기 (Greedy Pruning)**라는 새로운 진단적 프로세스를 제안합니다.

핵심 아이디어: 완전한 추론 체인에서 시작하여, 모델의 가능도 (Likelihood) 를 최대한 유지하면서 토큰을 제거하는 순서를 찾습니다.
작동 원리:
1. 전체 추론 체인 $R$ 이 주어지면, 각 토큰을 하나씩 제거했을 때 모델의 가능도 (Objective Function) 가 얼마나 감소하는지 계산합니다.
2. 가능도 감소가 가장 적은 (즉, 제거해도 모델이 답을 잘 예측할 수 있는) 토큰을 가장 먼저 제거합니다.
3. 이 과정을 반복하여 토큰의 제거 순위 (Pruning Rank) 를 생성합니다.
목적 함수 (Objectives):
- $L_{ANS}$ : 정답의 가능도만 보존 (답 생성에 직접적인 토큰 위주).
- $L_{JOINT}$ : 추론 과정과 정답 모두의 가능도를 보존 (추론 구조의 일관성 유지).
의미: 이 순위는 모델의 분포 하에서 토큰 제거에 대한 민감도를 반영하며, 모델이 내부적으로 기능적 중요도 구조를 가지고 있음을 시사합니다.

3. 주요 기여 및 실험 (Key Contributions & Experiments)

A. 증류 프레임워크 (Teacher-Pruner-Student Distillation)

탐욕적 가지치기를 통해 생성된 압축된 추론 체인을 사용하여 더 작은 모델 (Student) 을 학습시켰습니다.

비교 대상: TokenSkip (최첨단 모델 감독 기반), H2O (Attention 기반), Surprisal (예측 불확실성 기반), Uniform (무작위) 등 기존 가지치기 기법과 비교.
데이터셋: GSM8K (초등 수학), MATH (올림피아드 수학), MMLU-Pro (다양한 분야).
모델: Llama-3.1, Qwen-2.5 (Teacher/Pruner), Llama-2, Mistral (Student).

B. 주요 결과 (Results)

성능 우위: 탐욕적 가지치기로 압축된 데이터로 학습된 Student 모델은 동일한 길이 조건에서 다른 모든 가지치기 기법 (TokenSkip 등) 보다 높은 정확도를 기록했습니다. 이는 탐욕적 가지치기가 답 생성에 필수적인 기능적 토큰을 효과적으로 보존함을 의미합니다.
기능적 구조의 발견: 가지치기 분석을 통해 다음과 같은 체계적인 패턴이 발견되었습니다.
- 보존됨: 기호적 계산 (SYMBMATH, 예: 숫자, 연산자, 방정식) 은 압축이 심해져도 가장 마지막까지 보존됩니다.
- 제거됨: 지시어 (COREF, 예: "그것", "그들"), 메타 담화 (METADISC, 예: "먼저", "계산하면"), 문법적 요소 (GRAMMAR) 는 초기 단계에서 먼저 제거됩니다.
- 이는 모델이 핵심 계산 로직은 유지하면서 언어적 지지 구조는 제거하는 내부 구조를 가지고 있음을 보여줍니다.
동적 중요도 (Dynamic Importance): 토큰의 중요도는 고정된 것이 아니라, 문맥이 축소됨에 따라 동적으로 재평가됩니다. 초기에 계산된 순위만으로는 추후 제거 순서를 정확히 예측할 수 없으며, 가지치기 과정이 적응적임을 입증했습니다.
Attention 기반 예측 가능성: 모델의 Attention 점수만으로 탐욕적 가지치기 순위를 높은 상관관계 (Pearson correlation 0.88) 로 예측할 수 있었습니다. 이는 모델 내부 신호 (Attention) 가 토큰 중요도에 대한 정보를 이미 담고 있음을 의미합니다.

4. 의의 및 결론 (Significance & Conclusion)

진단 도구로서의 가치: 탐욕적 가지치기는 단순한 압축 도구를 넘어, LLM 이 생성한 추론의 내부 기능적 구조를 탐지 (Probing) 하는 진단 도구로 작용합니다.
모델의 인지 구조 이해: LLM 이 추론 과정에서 불필요한 언어적 장식을 제거하고 핵심 계산에 집중하는 기능적 중요도 구조를 내부적으로 인코딩하고 있음을 증명했습니다.
효율적인 추론 시스템: Attention 신호와 같은 내부 메커니즘을 활용하여 추론 체인을 압축하거나, 추론 과정의 효율성을 높이는 새로운 방향을 제시합니다.
한계 및 향후 과제: 가지치기 과정의 계산 비용 (선형 이상의 복잡도) 이 높으며, 현재는 오프라인 전처리 단계에 국한되어 있습니다. 추론 시간 (Inference-time) 에 실시간으로 적용하거나, 더 긴 추론 체인으로 확장하는 것이 향후 과제로 남았습니다.

요약하자면, 이 논문은 LLM 이 스스로 "어떤 추론 토큰이 중요한지" 알고 있으며, 이를 가능도 보존 기반의 탐욕적 가지치기를 통해 추출할 수 있음을 입증했습니다. 이는 더 효율적이고 해석 가능한 추론 모델을 설계하는 데 중요한 이론적, 실용적 기초를 제공합니다.