기술 요약: 정답을 넘어 생각하기: 대규모 추론 모델의 유해한 과잉 사고(Overthinking) 평가

1. 문제 정의

대규모 추론 모델(Large Reasoning Models, LRMs)은 명시적인 중간 추론 과정(Chain-of-Thought, CoT)을 생성하기 위해 테스트 시간 연산량(test-time compute)을 추가로 할당함으로써 복잡한 작업에서 성능을 향상시킨다는 것을 입증했다. 그러나 "더 긴 추론이 일관되게 더 좋다"는 기존의 가설은 여전히 충분히 검토되지 않은 채 남아 있다. 최근의 증거들은 모델이 "과잉 사고(overthinking)"를 할 수 있음을 시사하지만, 기존 문헌은 이를 주로 전체 길이의 추론 궤적의 정확성을 유지하면서 중복된 연산을 줄이는 데 초점을 맞춘 효율성 문제로 취급한다.

본 논문은 과잉 사고가 또한 신뢰성 문제라고 주장한다. 모델은 생성 과정 중에 정답에 도달할 수 있지만, 추론을 계속함에 따라 그 올바른 궤적을 불안정하게 만들어 최종적으로 잘못된 예측을 초래할 수 있다. 저자들은 과잉 사고를 두 가지 유형으로 구분한다:

• 장황한 과잉 사고 (Verbose Overthinking): 모델이 정답에 도달한 이후에도 추론을 계속하지만, 최종 정답은 올바르게 유지하는 경우 (중복되지만 해롭지는 않음).
• 유해한 과잉 사고 (Harmful Overthinking): 모델이 올바른 중간 상태에 도달했으나, 추론을 지속함에 따라 해당 상태에서 벗어나 최종적으로 오답을 내놓는 경우 (궤적을 불안정하게 만들며 해로움).

핵심 연구 질문은 다음과 같다: 모델이 정답에 도달한 후, 추가적인 추론은 해결책을 정교화하는가, 아니면 해결책으로부터 이탈하게 만드는가?

2. 방법론

2.1 추론 충분성(Reasoning Sufficiency)의 공식화

저자들은 특정 모델이 정답을 생성하는 데 필요한 **최소 추론 예산(minimum reasoning budget)**을 기반으로 질문의 난이도에 대한 공식적 정의를 도입한다. 평균 추론 길이를 난이도의 대리 지표로 사용하는 기존 방식(이는 장황함에 의해 혼동될 수 있음)과 달리, 이 접근 방식은 정확성에 필수적인 계산만을 분리하여 측정한다.

• 표기법: $t = (u_1, \dots, u_N)$를 추론 궤적이라 하자.
• 최초 정답 인덱스 ($\tau_y$): 접두사 $t_{\le i}$가 정답 $y$를 산출하는 최소 인덱스 $i$.
• 경험적 난이도 ($\hat{\kappa}$): $\tau_y$와 관련된 계산 예산.

2.2 접두사 수준 궤적 평가 프로토콜

정답에 도달한 이후의 추론 역학을 측정하기 위해, 저자들은 접두사 수준의 평가 프로토콜을 제안한다:

1. 강제 종료 (Forced Termination): 생성된 모든 궤적의 접두사 $t_{\le i}$에 대해, 모델이 해당 중간 단계에서 예측값을 출력하도록 강제하는 고정된 종료 템플릿을 추가한다.
2. 추출 (Extraction): 외부 추출 모델($A$)이 부분적인 궤적을 파싱하여 예측된 정답 $\hat{y}_i$를 결정한다.
3. 분류 (Classification):
   • 장황함 (Verbose): $A(t_{\le \tau_y}) = y$ 이고 $A(t_{\le N}) = y$인 경우.
   • 유해함 (Harmful): $A(t_{\le \tau_y}) = y$ 이고 $A(t_{\le N}) \neq y$인 경우.
4. 지표 (Metrics): **유해한 과잉 사고율 ($H$)**은 모델이 정답 접두사에 도달했으나 최종 단계에서 실패한 사례의 비율로 계산된다.

2.3 실험 설정

• 모델: 멀티모달 LRM(MM-Eureka, R1-VL, ThinkLite-VL, VL-Rethinker) 및 언어 전용 LRM(Qwen3, InternS1)을 대상으로 평가한다.
• 벤치마크:
  • 멀티모달: AI2D, MathVerse, MathVision, MathVista, MMStar, VMCBench.
  • 언어 전용: AIME2025, GPQA.
• 비교 전략:
  • No-CoT: 추론 없이 즉시 정답 출력.
  • Actual Length: 기본 제약 없는 CoT 동작.
  • Optimal Length: 첫 번째 정답 접두사에서 멈추는 오라클(Oracle) 전략 (유해한 과잉 사고를 제거함으로써 얻을 수 있는 잠재적 이득을 정량화하기 위해 사용).
  • Early Stopping: 예측값이 $K$ 스텝 동안 변하지 않을 때 적응형으로 추론을 중단하는 전략.

3. 주요 결과

3.1 추론 길이와 난이도

• 놀라운 효율성: "추론 집약적"이라고 간주되는 많은 사례들이 놀라울 정도로 적은 추론을 필요로 한다. 최적의 정지 지점은 종종 궤적의 시작 부분 근처(빈번하게는 0개의 발화 시점)에 집중되어 있다.
• 성능 격차: 첫 번째 정답 접두사에서 멈추는 것(Optimal Length)은 모델의 기본 동작(Actual Length)보다 성능이 현저히 높다.
  • 멀티모달 벤치마크에서 Optimal Length는 정확도를 최대 **21%**까지 향상시킨다 (예: R1-VL의 경우 MathVision에서 +23.3%).
  • 이 이득은 표준 지시어 튜닝(instruction-tuned) 모델 대비 추론 중심의 사후 학습(post-training)을 통해 얻은 개선 폭보다 크다.
• 시사점: 현재의 LRM은 추론 능력뿐만 아니라, 적절한 시점에 멈추는 능력에서도 한계를 보인다.

3.2 유해한 과잉 사고 역학

• 비단조성 (Non-Monotonicity): 추론 궤적은 단조롭지 않다. 정답 상태($z_i=1$)에 도달한 후, 추가적인 단계가 생성됨에 따라 정답을 유지할 확률은 급격히 감소하며 약 100단계 이후 0.2 수준에서 평탄해진다.
• 정답 형식 민감도: 유해한 과잉 사고는 객관식(multiple-choice, 11%)보다 자유 형식 생성 (free-form generation)(24%)에서 더 빈번하게 발생한다. 자유 형식 작업의 제약 없는 출력 공간은 모델이 근거 없는 수정이나 재해석을 통해 정답으로부터 이탈하기 쉽게 만든다.
• 단순 조기 종료(Early Stopping)의 비효effictive성:
  • 정답이 안정화될 때까지 기다리는 표준 조기 종료 방식은 평균 추론 길이는 줄여주지만, 유해한 과잉 사고를 완화하는 데는 실패한다.
  • 어떤 경우에는 공격적인 조기 종료가 오히려 유해한 과잉 사고율을 높이기도 한다 (예: 한 설정에서 10.1%에서 18.4%로 증가). 이는 단순히 장황함을 줄이는 것이 추론 궤적을 반드시 안정화시키지는 않는다는 것을 시사한다.

3.3 언어 전용 모델으로의 일반화

이 현상은 멀티모달 추론에 국한되지 않는다. 수학 중심 벤치마크(AIME2025, GPQA)에서의 언어 전용 모델들도 유사한 패턴을 보인다:

• Default 추론은 No-CoT보다 개선된 성능을 보이지만, Optimal Length는 막대한 이득을 가져온다 (예: AIME2025에서의 Qwen3: 58.3% $\to$ 91.7%).
• 이는 유해한 과잉 사고가 시각적 접지(visual grounding)의 부산물이 아니라, 추론 과정 자체에 내재된 광범위한 신뢰성 위험임을 확인시켜 준다.

3.4 실패 분석

4,842개의 유해한 궤적을 분석한 결과, 정답 이탈의 주요 원인은 다음과 같다:

• 논리적 이탈 (Logical Drift): 추상적 추론 벤치마크(예: MathVerse에서 >50%)에서 나타나는 지배적인 실패 모드이다. 모델은 모순, 무관한 경로, 또는 정당화되지 않은 정답 수정을 도입한다.
• 시각적 재해석 (Visual Reinterpretation): 인지 중심 벤치마크(예: MathVision/AI2D에서 >60%)에서 나타나는 지배적인 실패 모드이다. 모델은 처음에 문제를 올바르게 해결한 후, 시각적 증거를 잘못 읽거나, 지어내거나, 과잉 해석한다.
• 계산 오류 (Calculation Errors): 유해한 과잉 사고의 극히 적은 부분(<10%)만을 차지하며, 이는 산술적 실수가 불안정성의 주요 동인이 아님을 나타낸다.

4. 핵심 기여

1. 공식화: 추론 충분성을 통해 과잉 사고를 정의함으로써, 장황한(verbose) 과잉 사고와 유해한(harmful) 과잉 사고를 구분하였다.
2. 프로토콜: 추론의 충분성과 정답의 불안정성을 동적으로 측정하기 위한 접두사 수준 궤적 평가 프로토콜을 도입하였다.
3. 정량화: 유해한 과잉 사고가 멀티모달 및 언어 전용 벤치마크 전반에 걸쳐 체계적으로 발생하며, 모델이 초기 정답에서 잘못된 최종 예측으로 이탈하게 만든다는 것을 입증하였다.
4. 범주화: 정답 이탈이 산술적 한계보다는 주로 논리적 이탈과 시각적 재해석에 의해 발생함을 식별하였다.

5. 의의 및 주장

본 논문은 테스트 시간 스케일링(test-time scaling)이 무조건적으로 유익하다는 단일한 관점에 도전한다. 저자들은 적절한 양의 추론을 할당하는 것이 단순히 추론 능력을 가능하게 하는 것보다 더 중요하다고 주장한다.

• 신뢰성 vs 효율성: 저자들은 과잉 사고가 단순한 효율성 문제가 아닌 신뢰성 문제라고 주장한다. 장황함을 줄이는 데 집중된 현재의 전략들은 추론 과정의 핵심적인 불안정성을 해결하지 못한다.
• "멈춤"의 문제: 결과는 현재의 LRM이 해결책이 충분하다는 것을 인식하는 능력에 큰 한계가 있음을 보여준다. 오라클 전략인 "Optimal Length"는 모델이 정답을 찾은 즉시 추론을 멈출 수 있다면 상당한 성능 향상이 가능하다는 것을 보여준다.
• 향atic 방향: 본 연구는 모델이 단순히 더 많이 추론하게 만드는 것을 넘어, 언제 추론이 충분한지를 이해하도록 돕는 연구가 필요함을 촉구한다. 이를 통해 올바른 궤적이 무너지는 것을 방지할 수 있다.

결론적으로, 유해한 과잉 사고는 단순한 조기 종료나 길이 축소 이상의 구체적인 완화 전략을 요구하는 근본적인 신뢰성 위험이다.