💬 NLP

Beyond the Commitment Boundary: Probing Epiphenomenal Chain-of-Thought in Large Reasoning Models

이 논문은 대규모 추론 모델에서 최종 답변이 초기에 결정되는 '결정 경계(commitment boundary)'를 식별하며, 이는 후속 사고 사슬(chain-of-thought) 단계들이 대체로 부수적인 현상임을 드러내어 성능을 저하시키지 않으면서도 추론 길이를 최대 55%까지 안전하게 줄일 수 있음을 보여준다.

원저자: Daniel Scalena, Sara Candussio, Luca Bortolussi, Elisabetta Fersini, Malvina Nissim, Gabriele Sarti

게시일 2026-06-12

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Daniel Scalena, Sara Candussio, Luca Bortolussi, Elisabetta Fersini, Malvina Nissim, Gabriele Sarti

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대 언어 모델(super-smart AI와 같은)이 어려운 수학 문제를 풀려고 노력한다고 상상해 보세요. 이 모델은 단순히 정답을 즉시 내뱉는 것이 아니라, 긴 "사고의 사슬(Chain of Thought, CoT)"—즉, 정답이 "42"라고 말하기 전에 스스로 추측하고, 확인하고, 재확인하는 단계별 내부 독백—을 작성합니다.

이 논문은 그 긴 독백 속에서 실제로 어떤 일이 일어나고 있는지 조사합니다. 연구진은 놀라운 사실을 발견했습니다. AI는 말을 멈추기 훨씬 전 이미 정답을 알아낸다는 것입니다.

다음은 비유를 사용하여 연구 결과를 쉽게 설명한 내용입니다.

1. "확신 경계" (전등 스위치)

AI의 사고 과정을 어두운 복도를 걷는 사람에 비유해 봅시다.

시작 단계: AI는 여러 아이디어를 시도하며 비틀거리며 움직입니다. "아마 20일까?"라고 했다가 "아니, 22인가?"라고 말하기도 합니다. 이것들은 **중간 추측(mid-guesses)**입니다. AI는 진심으로 불확실해하며 탐색 중입니다.
경계 지점: 갑자기 날카로운 "전등 스위치" 순간이 찾아옵니다. 단 한 단계 만에 AI는 정답을 확정 짓습니다. 연구진은 이를 **확신 경계(Commitment Boundary)**라고 부릅니다.
그 이후: 스위치가 켜진 후에도 AI는 한참 동안 계속 말을 하지만, 이는 그저 제자리를 맴도는 것과 같습니다. 이미 정답이 42라고 결정했음에도 불구하고 "다시 한번 확인해 보자"라거나 "하지만 이게 맞나?"와 같은 말을 합니다.

이 논문은 이 불필요한 추가 대화를 **"부수적 추론(Epiphenomenal Reasoning)"**이라고 부릅니다. 이는 마치 운전자가 이미 주차를 마쳤음에도 엔진을 켜두고 라디오를 틀어놓은 채, 마치 계속 운전하고 있는 것처럼 행동하는 것과 같습니다. 차는 더 이상 움직이지 않으며, 그저 소음만 내고 있을 뿐입니다.

2. 발견 방법 ("조기 종료" 테스트)

이를 증명하기 위해 연구진은 "잘라내고 붙여넣기" 게임을 수행했습니다.

연구진은 AI의 긴 사고 흔적을 가져와서 "전등 스위치" 순간 직후에 멈췄습니다.
그리고 오직 그 짧고 이른 부분만을 근거로 정답을 내도록 AI에게 강제했습니다.
결과: AI는 거의 매번 정답을 맞혔습니다.
반전: 나머지 긴 사고 흔적(스위치 이후의 부분)을 가져와서 그 안의 숫자들을 엉망으로 만들었을 때, AI의 최종 정답은 변하지 않았습니다. 이는 추가적인 대화가 결과에 아무런 영향을 미치지 않는 쓸모없는 "군더더기"라는 것을 입증했습니다.

3. "탐정" (어텐션 프로브)

AI가 불필요하게 계속 말을 하기 때문에, 연구진은 언제 AI가 "문제를 해결했는지"를 알아내어 시간을 낭비하지 않게 멈출 수 있는 도구를 만들 수 있을지 알고 싶었습니다.

그들은 AI의 내부 뇌 활동(활성화 상태)을 관찰하는 작고 가벼운 "탐정"(**어텐션 프로브(attention probe)**라고 불림)을 구축했습니다.

이 탐정은 단어를 읽는 것이 아니라, AI 내부의 전기 신호를 봅니다.
이 탐정은 AI가 "추측" 단계에서 "확신" 단계로 넘어가는 순간을 매우 높은 정확도로 예측할 수 있습니다.
이는 불이 꺼진 후에도 연기가 여전히 피어오르고 있을 때, 불이 꺼졌음을 정확히 아는 연기 감지기처럼 작동합니다.

4. 보상 (시간과 비용 절감)

이 탐정이 "확신 경계"를 매우 정확하게 포착할 수 있기 때문에, 연구진은 이를 이용해 AI가 말을 일찍 멈추게 만들었습니다.

결과: AI의 사고 과정 길이를 평균적으로 최대 55%까지 줄일 수 있었습니다.
비용: AI의 정확도는 거의 떨어지지 않았습니다. 이는 학생에게 "문제 다 풀었으니 에세이 쓰는 건 그만하고 답만 제출해"라고 말하는 것과 같습니다. 종이와 시간을 아끼면서도 성적은 여전히 A를 받는 것입니다.

요약

이 논문은 AI 모델이 "생각을 밖으로 내뱉을(think out loud)" 때, 문제를 해결한 후에도 오랫동안 계속 말을 하는 경우가 많다고 주장합니다. 이 추가적인 대화는 실제 사고가 아니라 일종의 퍼포먼스입니다. AI가 정답에 확신을 갖는 정확한 순간을 찾아냄으로써, 우리는 정확도를 크게 잃지 않으면서도 엄청난 양의 컴퓨팅 자원을 절약할 수 있습니다.

이 논문이 주장하지 않는 것:

이 방식이 AI를 더 안전하거나 정직하게 만든다는 것은 아닙니다 (오히려 AI의 "사고" 텍스트가 오해를 불러일으킬 수 있음을 시사합니다).
이 방식이 이야기 쓰기나 코딩과 같은 모든 유형의 AI 작업에 적용된다는 것이 아닙니다 (수학이나 논리와 같이 명확하고 검증 가능한 정답이 있는 작업에만 해당됩니다).
이 방식을 병원이나 법정에서 바로 사용해야 한다고 제안하는 것도 아닙니다 (너무 빨리 멈춰버릴 아주 작은 위험조차 고위험 상황에서는 위험할 수 있음을 명시했습니다).

기술 요약: 약속 경계(Commitment Boundary)를 넘어서

문제 정의

사고 사슬(Chain-of-Thought, CoT) 추론은 대규모 언어 모델(LLM)의 추론 시간 연산을 확장하기 위한 지배적인 패러다임이 되었습니다. 그러나 개별 추론 단계가 최종 답변에 미치는 인과적 영향은 여전히 제대로 이해되지 않고 있습니다. 일련의 연구들은 CoT 출력이 내부 계산을 충실하게 설명하지 못하는 경우가 많다는 점을 시사합니다. 즉, 모델의 예측과 일치하지 않는 숙고하는 듯한 언어 표현(예: 불확실성 표현)을 보이거나, 모델이 구두로 답변을 내놓기 훨씬 전부터 내부적으로 이미 답을 인코딩해 버리는 "수행적(performative)" 단계를 보이는 등의 "불충실한(unfaithful)" 행동을 보입니다.

본 연구가 다루는 핵심 질문은 다음과 같습니다: 우리는 모델이 CoT 단계를 거치며 최종 답변으로 어떻게 수렴하는지 추적하고, 그곳이 어디인지 정확히 찾아내며, 그 전환이 언제 발생하는지 예측할 수 있는가? 저자들은 추론 궤적이 뚜렷한 전환점을 포함하고 있으며, 그 지점 이후의 토큰들은 표면적인 숙고의 모습에도 불구하고 최종 답변의 확률을 변화시키지 않는 부수현상적(epiphenomenal)인 것이라고 가설을 세웁니다.

방법론

1. 조기 종료(Early Exit)를 통한 단계별 인과적 귀속

각 CoT 단계의 인과적 기여도를 측정하기 위해, 저자들은 절단 기반 프레임워크를 도입합니다.

구성: 프롬프트 $P$ 와 전체 CoT 궤적 $C$ 에 대해, $n+1$ 개의 접두사 시퀀스 $X_i$ 를 구성합니다. 여기서 $X_i$ 는 프롬프트와 CoT의 첫 $i$ 개 문장을 포함하며, 그 뒤에는 정답을 강제하는 접미사 $S$ 가 붙습니다.
측정: 각 접두사에 대해 중간 답변 $\hat{A}_i$ 를 탐욕적 디코딩(greedy decoding)하고, 이를 전체 CoT 답변 $\hat{A}_n$ 과 비교합니다.
지표: "단계 신뢰도(step confidence)" $p_i$ $p_{i}$ 를 단계 $i$ $i$ 에서의 모델의 확정된 답변에 대한 확률로 정의합니다. 단계는 다음 세 가지로 분류됩니다:
- No-guess (미결정): $p_i \le \tau$ (확정되지 않음).
- Mid-guess (중간 가설): $p_i > \tau$ 이지만 $\hat{A}_i \not\equiv \hat{A}_n$ (확신은 있으나 틀렸거나 중간 단계의 가설임).
- Final-guess (최종 확정): $p_i > \tau$ 이고 $\hat{A}_i \equiv \hat{A}_n$ (안정적인 최종 답변).
약속 경계(Commitment Boundary, $i^*$ ): 신뢰도 개선량 $\Delta_i = p_i - p_{i-1}$ 이 최대화되는 단계로 정의됩니다. 이는 일시적인 추측에서 안정적이고 높은 신뢰도의 답변으로 전환되는 지점을 나타냅니다.

2. 섭동(Perturbation)을 통한 스트레스 테스트

경계 전(pre-boundary) 토큰과 경계 후(post-boundary) 토큰의 인과적 역할을 검증하기 위해, 저자들은 AIME 2025 궤적의 숫자 리터럴(numeric literals)에 대해 표적 섭동을 수행합니다.

PRE 조건: $i^*$ 까지의 접두사에 있는 숫자를 섭동함.
POST 조건: $i^*$ 이후의 접미사에 있는 숫자를 섭동함.
결과: 경계 전 접두사를 오염시키면 답변 보존 능력이 크게 저하되는 반면, 경계 후 꼬리 부분을 오염시키면 영향이 미미했습니다. 이는 경계 후 추론의 중복성을 확인시켜 줍니다.

3. 프로빙(Probing) 및 조기 종료

절단(truncation)을 통해 $i^*$ 를 계산하는 것이 계산 비용이 많이 들기 때문에( $n+1$ 번의 순전파), 저자들은 경량 **인과적 어텐션 프로브(causal attention probes)**를 훈련시킵니다.

입력: 각 CoT 문장의 마지막 토큰에 대한 지정된 트랜스포머 레이어의 은닉 상태 $h_i$ .
작업: 이전 단계들의 로컬 컨텍스트 윈도우를 사용하여 3-클래스 분류(No-guess, Mid-guess, Final-guess)를 수행합니다.
적용: 프로브가 "Final-guess" 상태(특히 $k$ 번 연속된 예측)를 감지하면, 모델은 **조기 종료(early exit)**를 트리거하여 CoT를 절단하고 답변 생성을 강제합니다.

주요 기여

CoT 분석을 위한 인과적 프레임워크: 저자들은 조기 종료를 사용하여 답변 형성을 추적하고, 의미 있는 추론과 부수현상적 지속을 구분하는 단계별 귀속 방법을 도입했습니다.
약속 경계의 식별: 세 가지 모델 제품군(gpt-oss-20b, Qwen3-14B, gemma-4-26B-A4B-it)과 네 가지 추론 작업(MATH-500, AIME 2025, ZebraLogic, GPQA-Diamond)에 걸쳐 날카로운 "약속 경계" $i^*$ 를 식별했습니다. 이 전환은 흔히 단일 단계에서 발생하며, CoT가 종료되기 훨씬 전(보통 궤적의 중간 지점)에 일어납니다.
부수현상적 추론의 특성 규명: 경계 후의 토큰들이 흔히 헤징(hedging), 재검증, 그리고 불확실성 표현(예: "잠깐", "확인해보자")을 포함하며, 이는 표면적으로는 숙고처럼 보이지만 인과적으로는 최종 답변 확률을 변화시키지 않는다는 것을 입증했습니다.
일반화 가능한 프로빙 메커니즘: 답변 형성 단계가 경량 프로브를 통해 중간 활성화 값으로부터 선형적으로 디코딩 가능하다는 것을 보여주었습니다. 이러한 프로브는 분포 외(OOD) 작업에서도 견고하게 일반화됩니다.
조기 종료를 통한 효율적인 추론: 프로브를 사용하여 추론 시점에 약속 경계를 감지함으로써, 답변 정확도에 미미한 영향을 주면서도 CoT 토큰을 최대 **55%**까지 건너뛸 수 있음(평균 약 35% 절감)을 보여주었습니다.

결과

이봉형 신뢰도(Bimodal Confidence): 단계별 신뢰도 분포는 No-CoT 베이스라인과 Full-CoT 수준 근처에 밀집되는 강한 이봉형 분포를 보이며, 이는 답변으로의 점진적 수렴이 아닌 급격한 수렴을 나타냅니다.
경계 위치: $i^*$ 의 위치는 모델 제품군마다 다르지만, 일관되게 궤적의 끝보다 앞선 시점에 발생합니다. 예를 들어, gemma-4-26B-A4B-it는 종종 토큰의 13~~23% 만에 수렴하는 반면, gpt-oss-20b는 43~~68%에서 수렴합니다.
섭동 강건성: 스트레스 테스트에서, 경계 후 섭동은 20% 오염 시에도 95%의 실행에서 정답을 유지한 반면, 경계 전 섭동은 61%에 그쳐 경계 후 꼬리의 인과적 중복성을 확인했습니다.
프로브 성능:
- 감지율: 프로브는 인-디스트리뷰션 데이터에서 90% 이상의 감지율을 달달성하며, OOD 작업에서도 높은 성능을 유지합니다.
- 효율성 대 정확도: 조기 종료를 위한 프로브 사용은 고정 비율 절단 베이스라인보다 일관되게 우수한 성능을 보였습니다. 예를 들어, MATH-500에서 $k=1$ 인 프로브 기반 종료(하나의 "Final-guess" 예측 후 트리거)는 Full-CoT 정확도의 89%를 유지하면서 토큰을 39% 절감했습니다.
Mid-guess 일관성: "mid-guess"(중간 가설)를 포함하는 궤적은 직접 최종 답변으로 전환되는 궤적보다 유의미하게 길었으며, 이는 모델이 약속 경계 전에는 옵션을 탐색하기 위해 추가적인 계산을 사용하지만 그 이후에는 그렇지 않음을 시사합니다.

의의 및 주장

본 논문은 **약속 경계(commitment boundary)**가 단순한 행동적 아티팩트가 아니라, 추론 모델의 답변 확정을 위한 안정적인 내부 메커니즘이라고 주장합니다.

충실성 함의: 부수현상적 추론의 보편성은 CoT를 모델 계산의 충실한 창(window)으로 사용하는 것을 어렵게 만듭니다. 구두로 표현된 궤적은 모델이 내부적으로 답을 고정한 후에도 계속해서 "숙고"하는 모습을 보이며, 이는 표면적 검사와 표현 레벨의 신호를 결합한 모니터링 도구의 필요성을 강화합니다.
효율성: 본 연구는 성능 저하 없이 추론 시간 비용을 줄이는 실질적인 방법을 제공하며, 토큰 감소의 근거를 휴리스틱한 압축이 아닌 답변 형성에 대한 인과적 이해에 둡니다.
향후 방향: 저자들은 본 프레임워크가 진정한 숙고와 수행적 지속을 분리하고, 외부화된 궤적을 기저의 답변 형성 과정과 더 긴밀하게 일치시키는 학습 목표를 설계하는 데 유용한 관점을 제공한다고 제안합니다.

저자들은 자신의 연구가 탐욕적 디코딩, 특정 모델 제품군, 그리고 검증 가능한 답변이 있는 작업에 기반하고 있다는 점을 언급하며 한계에 대해 겸허한 태도를 유지합니다. 또한, 조기 종료 전략은 정확도 손실의 위험을 수반하며, 추가적인 캘리브레이션 없이는 안전이 중요한 고위험 애플리케이션에서 허용되지 않을 수 있다고 경고합니다.