💬 NLP

Reasoning Models Know What's Important, and Encode It in Their Activations

이 논문은 언어 모델이 추론 과정 중 중요한 단계를 표면적 특징이 아닌 모델 내부의 활성화 상태에 내재된 표현으로 미리 인코딩한다는 사실을 규명하여, 추론 분석을 위해 모델 내부 구조를 살펴볼 필요성을 강조합니다.

원저자: Yaniv Nikankin, Martin Tutek, Tomer Ashuach, Jonathan Rosenfeld, Yonatan Belinkov

게시일 2026-04-21

📖 4 분 읽기☕ 가벼운 읽기

원저자: Yaniv Nikankin, Martin Tutek, Tomer Ashuach, Jonathan Rosenfeld, Yonatan Belinkov

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

추론 모델은 '중요한 것'을 알고 있습니다: 표면이 아닌 내면의 비밀

이 논문은 최근 화제가 된 **'생각하는 AI(추론 모델)'**가 어떻게 문제를 풀어나가는지, 그리고 그 과정에서 어떤 부분이 진짜 핵심이고 어떤 부분이 그냥 수다인지를 분석한 연구입니다.

쉽게 말해, "AI 가 문제를 풀 때 긴 설명을 늘어놓는데, 그중에서 진짜 중요한 건 뭐고, 뺄 수 있는 건 뭐지?"라는 질문에서 시작합니다.

1. 핵심 발견: "표면은 속임수일 수 있다"

우리가 AI 의 답변을 볼 때, 보통 **생각의 과정 (텍스트)**만 봅니다. 마치 사람이 문제를 풀 때 종이에 쓴 글씨만 보고 "아, 이 사람이 이 단계를 중요하게 생각했구나"라고 추측하는 것과 비슷합니다.

하지만 이 연구는 **"글자 (토큰) 는 거짓말을 할 수 있다"**고 말합니다.
AI 가 긴 설명을 할 때, 그중 80% 는 그냥 수다 (중요하지 않은 단계) 일 수 있습니다. 하지만 AI 는 **자신의 내부 뇌 활동 (활성화)**을 통해 "이 단계는 진짜 중요해, 이걸 빼면 답을 못 낼 거야"라고 이미 알고 있는 상태입니다.

비유:
한 요리사가 복잡한 레시피를 설명한다고 상상해 보세요.

표면 (텍스트): "소금을 넣고, 후추를 넣고, 팬을 닦고, 계란을 깨고, 다시 소금을 넣고..." (중요하지 않은 수다 포함)

내면 (AI 의 뇌): "소금과 후추는 필수야! 하지만 팬 닦기는 그냥 수다지."

연구자들은 AI 가 글자만 보면 이 수다와 핵심을 구분하기 어렵지만, AI 의 뇌 신호 (활성화) 를 보면 누가 진짜 핵심 요리사고 누가 수다쟁이인지 80% 이상 정확하게 찾아낼 수 있음을 발견했습니다.

2. 어떻게 알아냈을까? "삭제 실험"

연구진은 AI 가 문제를 풀 때 만들어낸 긴 생각의 흐름을 가지고 다음과 같은 실험을 했습니다.

중요한 단계 찾기: "이 단계를 지우면 AI 가 정답을 못 낼까?"를 확인했습니다.
두 가지 방법 비교:
- 방법 A (외부 감시관): AI 가 쓴 글자만 보고 "이건 중요해"라고 판단하는 다른 AI (LLM) 를 썼습니다.
- 방법 B (내부 스캐너): AI 가 문제를 풀면서 뇌에서 일어나는 **전기 신호 (활성화)**를 분석했습니다.

결과: 외부 감시관 (글자 분석) 은 헷갈려서 불필요한 수다를 중요하다고 착각하거나, 진짜 중요한 걸 놓쳤습니다. 하지만 **내부 스캐너 (활성화 분석)**는 훨씬 정확하게 핵심 단계만 골라냈습니다.

비유:

글자 분석: 연극 대본만 보고 "이 대사가 중요할 거야"라고 추측하는 것. (배우가 대본을 외우지 않고 즉흥적으로 대사를 바꿀 수도 있으니까요.)

활성화 분석: 배우의 심장 박동과 근육 긴장도를 재는 것. "이 대사를 할 때 배우의 심장이 뛰고 근육이 수축하네? 아, 이 대사가 진짜 중요한 순간이야!"라고 바로 알 수 있습니다.

3. 놀라운 사실: "미래를 미리 아는 뇌"

가장 흥미로운 발견은 시간에 관한 것이었습니다.

AI 가 현재 단계를 쓰고 있을 때, 아직 다음 단계를 쓰기도 전에 이미 "이 단계가 중요해"라는 신호를 뇌 속에 저장해 두었습니다. 즉, AI 는 다음 단계를 쓰기 전에 "이제부터 중요한 길이 시작되네"라고 미리 알고 있는 것입니다.

비유:
등산가가 산을 오를 때, "이 길은 가파르니까 조심해야 해"라고 생각하며 발을 내딛기 전에 이미 다리와 허리에 긴장 신호를 보내는 것과 같습니다. 글자 (발자국) 가 찍히기 전에 이미 뇌는 "중요한 구간"을 인식하고 있었던 것입니다.

4. 모든 AI 는 똑같은 '중요성'을 공유한다

이 연구는 서로 다른 AI 모델 (GPT, DeepSeek, OLMo 등) 을 대상으로 했습니다. 결과는 놀랍게도 모든 AI 가 '중요한 단계'를 인식하는 방식이 거의 동일했습니다.

비유:
서로 다른 나라에서 온 요리사들이 각자 다른 언어로 레시피를 설명하지만, **"소금과 후추는 필수야"**라는 신호는 모든 요리사의 뇌에서 똑같은 방식으로 켜집니다. 이는 '중요성'이라는 개념이 AI 모델마다 다른 게 아니라, 보편적인 원리라는 뜻입니다.

5. 결론: AI 의 '속'을 들여다봐야 한다

이 논문의 결론은 매우 명확합니다.

지금까지의 방식: AI 가 쓴 글자 (생각의 과정) 를 분석해서 이해하려 했다. (하지만 이는 불완전하고 때로는 속임수일 수 있음)
이제 필요한 방식: AI 가 문제를 풀 때 일어나는 **내부 뇌 활동 (활성화)**을 분석해야 진짜 이해가 가능하다.

우리가 AI 의 '생각'을 제대로 이해하려면, 표면에 쓰인 글자만 읽는 것을 멈추고, 그 글자를 만들어내는 AI 의 '뇌' 속으로 직접 들어가야 한다는 것입니다.

요약

이 연구는 **"AI 는 자신이 무엇을 중요하게 생각하는지, 글자로 말하기 전에 이미 뇌 속에 알고 있다"**는 사실을 증명했습니다. 따라서 AI 의 추론 능력을 더 잘 이해하고, 불필요한 수다를 줄여 더 빠르고 정확한 AI 를 만들기 위해서는 표면의 글자가 아닌, 내부의 신호를 분석하는 기술이 필수적입니다.

논문 요약: 추론 모델은 무엇이 중요한지 알고 있으며, 이를 활성화 (Activations) 에 인코딩한다

1. 연구 배경 및 문제 정의 (Problem)

대규모 언어 모델 (LLM) 은 복잡한 문제를 해결하기 위해 긴 추론 체인 (Reasoning Chains) 을 생성합니다. 이 체인은 여러 단계로 구성되는데, 일부 단계는 최종 답변을 도출하는 데 결정적으로 중요하지만, 다른 단계들은 중복되거나 불필요하여 제거할 수 있습니다.

핵심 질문: 모델이 생성한 토큰 (표면적 텍스트) 만으로는 어떤 단계가 중요한지 정확히 판단하기 어렵습니다. 모델 내부의 잠재적 표현 (Latent Representations) 이 토큰보다 중요한 추론 단계를 식별하는 데 더 유용한 정보를 담고 있는지, 그리고 모델이 추론 단계의 중요성에 대한 내부 개념을 인코딩하고 있는지는 아직 명확하지 않았습니다.
기존 접근법의 한계: 기존 연구들은 주로 생성된 토큰을 분석하거나 외부 LLM 을 판정자 (Judge) 로 사용하여 중요도를 평가했으나, 이는 모델의 실제 내부 계산 과정을 faithfully(신실하게) 반영하지 못하거나 표면적인 특징에 의존할 수 있습니다.

2. 방법론 (Methodology)

2.1 중요성의 정의: 제거 가능성 (Removability)
저자들은 추론 단계의 중요성을 **'제거 가능성 (Removability)'**으로 정의했습니다.

중요한 단계: 제거할 경우 모델이 정답을 도출하지 못하게 되는 단계.
제거 가능한 단계: 제거해도 모델이 여전히 정답을 도출할 수 있는 단계.
평가 지표:
- 충분성 (Sufficiency): 특정 단계 서브시퀀스만으로도 정답을 얻을 수 있는 비율.
- 달성 가능성 (Attainability): 모델의 사전 분포 (Prior) 에서 해당 서브시퀀스가 자연스럽게 나타날 확률 (Perplexity 기반).
- 핵심 추론 서브시퀀스 ( $T^*$ ): 충분성과 달성 가능성 조건을 만족하면서 가장 짧은 단계 집합.

2.2 실험 설정

모델: GPT-OSS-20B, DeepSeek-R1 (1.5B, 7B, 14B), OLMo-3-7B-Think 등 5 가지 추론 모델.
데이터셋: HARP (Human Annotated Reasoning Problems) 및 MATH-500.
비교 대상:
1. 활성화 기반 (Activation-based): 모델 내부의 그라디언트 (Gradient Attribution) 를 사용하여 단계 간 영향력을 계산하고, 이를 기반으로 중요도를 순위 매겨 제거.
2. 토큰 기반 (Token-based): 외부 LLM(Gemini-2.5-Pro) 을 사용하여 토큰 텍스트만으로 중요도를 판단.
3. 랜덤 기반: 무작위 제거.

2.3 중요성 탐지 프로브 (Probing)
모델이 내부적으로 중요성을 인코딩하는지 확인하기 위해 **이진 분류 프로브 (Binary Classification Probe)**를 훈련했습니다.

입력: 각 추론 단계의 활성화 텐서 (Residual Stream Activations).
레이블: 활성화 기반 방법으로 도출된 '중요 (Non-removable)' 또는 '제거 가능 (Removable)' 레이블.
분석: 토큰만 사용하는 방법, 문맥 없는 활성화, 문맥이 포함된 전체 활성화 등 다양한 표현 방식의 성능을 비교.

3. 주요 결과 (Key Results)

3.1 활성화 기반 접근법의 우월성

Table 1 결과: 활성화 기반 방법이 생성한 핵심 추론 서브시퀀스 ( $T^*$ ) 의 크기가 토큰 기반 방법이나 랜덤 방법보다 일관되게 더 작았습니다. 이는 활성화 기반 방법이 불필요한 단계를 더 정확하게 식별하여 제거했음을 의미합니다.
결론: 모델의 잠재적 정보 (Latent Information) 가 표면적 토큰 정보보다 추론의 중요성을 더 정밀하게 반영합니다.

3.2 모델 내부의 중요성 인코딩

프로브 정확도: 전체 문맥 (Full Context) 을 포함한 활성화 데이터를 기반으로 훈련한 프로브는 80% 이상의 높은 정확도로 중요한 단계와 제거 가능한 단계를 구분했습니다.
사전적 인코딩 (Pre-hoc Encoding): 중요한 단계의 활성화는 후속 단계가 생성되기 전에도 이미 중요성 신호를 포함하고 있었습니다. 즉, 모델은 현재 단계가 미래 추론에 얼마나 중요한지 미리 알고 있는 상태입니다.
표면적 특징과의 비상관성: 단계의 위치, 길이, 숫자 개수, 특정 키워드 (Filler, Verification 등) 와 같은 표면적 특징은 중요성 예측과 낮은 상관관계를 보였습니다. 활성화 기반 프로브는 이러한 표면적 특징을 넘어서는 추상적인 개념을 포착합니다.

3.3 모델 간 일반화 (Cross-Model Generalization)

크로스 모델 실험: 모델 A 의 활성화로 훈련된 프로브가 모델 B 가 생성한 추론 단계의 중요성을 예측할 수 있었습니다.
결과: 모델 간 정확도와 일치율 (Agreement Ratio) 이 매우 높았습니다. 이는 '추론 단계의 중요성'이 모델 고유의 특성이 아니라, 모델에 독립적인 보편적인 개념으로 활성화에 인코딩되어 있음을 시사합니다.

4. 기여 및 의의 (Contributions & Significance)

내부 표현의 중요성 규명: 추론 모델이 생성된 텍스트 (토큰) 에는 나타나지 않는 '중요성'이라는 추상적 개념을 내부 활성화에 명확히 인코딩하고 있음을 증명했습니다.
해석 가능성 (Interpretability) 의 새로운 방향: 기존의 토큰 기반 해석 방법의 한계를 지적하고, 모델의 내부 상태 (Activations) 를 분석해야만 추론 과정의 본질을 이해할 수 있음을 주장합니다.
효율적 추론의 가능성: 제거 가능한 단계를 활성화 신호를 통해 사전에 식별할 수 있다면, 추론 체인을 압축하거나 (Pruning) 추론 효율성을 극대화하는 데 활용할 수 있습니다.
표면적 특징의 한계: LLM 이 생성하는 텍스트의 구조나 길이가 실제 추론의 핵심을 반영하지 않을 수 있음을 보여주며, 'Faithfulness(신실성)'에 대한 새로운 관점을 제시합니다.

5. 결론

이 연구는 LLM 이 복잡한 추론 과정에서 각 단계의 중요성을 내부적으로 인식하고 있으며, 이 정보가 모델의 활성화 (Activations) 에 인코딩되어 있음을 밝혔습니다. 특히 이 정보는 토큰 출력보다 더 풍부하며, 모델 간에 일반화되는 보편적인 특성을 가집니다. 따라서 추론 모델의 동작 원리를 이해하고 효율성을 높이기 위해서는 생성된 텍스트뿐만 아니라 모델의 내부 활성화 상태를 분석하는 접근이 필수적입니다.