The Detection--Extraction Gap: Models Know the Answer Before They Can Say It

1. 문제 정의 (Problem)

현대 추론 모델은 정답이 이미 도출된 상태에서도 수천 개의 토큰을 추가로 생성하는 "과도한 사고 (Overthinking)" 현상을 보입니다.

• 현상: CoT 토큰의 52~88% 가 정답이 부분 접두사 (partial prefix) 에서 이미 복원 가능 (recoverable) 한 상태가 된 이후에 생성됩니다.
• 기존 연구의 한계: 이전 연구들은 내부 상태 (hidden states) 를 직접 관찰하는 '화이트박스 (White-box)' 프로빙을 통해 이 현상을 확인했으나, 이는 오픈 가중치 모델에 국한되었습니다.
• 핵심 발견: 블랙박스 API 만을 사용할 때, 모델은 정답을 '알고' 있지만 (자유로운 생성으로 복원 가능), 강제로 답을 추출하려 하면 (Forced Extraction) 실패하는 구조적 불일치가 존재함을 발견했습니다. 이를 **"탐지 - 추출 간극 (Detection-Extraction Gap)"**이라고 명명했습니다.

2. 방법론 (Methodology)

저자는 모델의 내부 상태에 접근하지 않고, 생성 행동 (Generation Behavior) 만을 관찰하여 간극을 측정하고 해결책을 제시합니다.

A. 핵심 프로토콜

1. 접두사 자기 일관성 (PSC, Prefix Self-Consistency):
   • 주어진 접두사 (prefix) 에서 $N=8$개의 독립적인 생성 (free continuations) 을 샘플링합니다.
   • 정답이 자연스럽게 복원되는 비율을 측정하여 **"정답이 모델 상태에 복원 가능한가?" (Detectability)**를 판단합니다.
2. 강제 정답 추출 (EFA, Early Forced Answering):
   • 접두사 끝에 "따라서 최종 답은 \boxed{...}"와 같은 강제적인 접미사 (suffix) 를 붙여 모델이 즉시 답을 내놓도록 유도합니다.
   • **"모델이 강제로 답을 말할 수 있는가?" (Extractability)**를 측정합니다.

B. 간극의 정의

• 탐지 - 추출 간극 ($\Delta$): PSC 가 정답을 복원 가능하다고 판단하는 시점과 EFA 가 정답을 성공적으로 추출하는 시점 사이의 차이입니다.
• 이론적 배경: 모델 상태가 정답을 인코딩하고 있더라도, 강제 추출을 위한 접미사는 모델의 생성 분포에 '시프트 (Distributional Shift)'를 일으켜, 모델이 중간 계산 과정이나 잘못된 값을 출력하게 만듭니다. 이를 총변동 거리 (Total Variation Distance) 로 수학적으로 형식화했습니다.

C. 제안된 솔루션: BAEE (Black-box Adaptive Early Exit)

• 원리: EFA 와 같은 강제 추출을 사용하지 않고, **PSC 를 통해 정답 복원 가능성을 감지 (Detection) 하고, 동일한 자유 생성 (Free Continuations) 을 통해 정답을 추출 (Extraction)**합니다.
• 작동 방식:
  1. CoT 생성 시작 후 일정 비율 (예: 10%) 마다 PSC 를 수행합니다.
  2. PSC 점수가 임계값 ($\theta$) 을 넘으면, 생성을 중단하고 8 개의 샘플 중 다수결 (Majority Vote) 로 정답을 반환합니다.
  3. 강제 추출을 하지 않으므로 간극 (Gap) 이 발생하지 않습니다.

3. 주요 기여 (Key Contributions)

1. 탐지 - 추출 간극의 발견 및 형식화: 모델이 정답을 알고 있음에도 불구하고 강제 추출 시 실패하는 구조적 현상을 최초로 체계적으로 증명하고, 이를 분포 시프트 (Distributional Shift) 관점에서 수학적으로 설명했습니다.
2. 작업 토폴로지에 따른 커미트먼트 구조 분석:
   • 수학 (MATH-500): 정답이 일찍 복원 가능해지지만, 이후 토큰들이 오답으로 이어질 수 있어 PSC 추이가 비단조적 (non-monotone) 입니다.
   • 과학/추론 (GPQA-Diamond): 추가적인 추론이 필요하여 PSC 가 단조 증가하며, 커미트먼트 시점이 늦어집니다.
   • 코드 생성 (HumanEval): 알고리즘적 아이디어가 일찍 결정되지만, 구현 단계에서 과도한 생성이 발생하여 '과도한 사고'가 가장 심각한 영역임을 발견했습니다.
3. BAEE 알고리즘 제안: 간극을 우회하여 효율성을 극대화하는 새로운 조기 종료 (Early Exit) 정책을 제시했습니다.

4. 실험 결과 (Results)

다양한 모델 (Qwen3-32B/8B, GPT-OSS-120B) 과 벤치마크 (MATH-500, GPQA-Diamond, HumanEval) 에서 실험을 진행했습니다.

• 간극의 규모:
  • CoT 의 초기 10% 지점에서 PSC 는 7090% 이상의 정답 복원률을 보이지만, EFA 는 2035% 만 성공합니다. (간극 40~70%p)
  • 이는 모델이 정답을 알고 있음에도 강제 추출 시 실패함을 의미합니다.
• BAEE 의 성능:
  • 정확도 향상: 모든 모델에서 정확도가 1~5%p 향상되었습니다. 특히 'Think' 모드 모델에서는 최대 5.8%p (Math/Science) 및 13.6%p (Code) 의 향상을 기록했습니다. 이는 조기 종료로 인해 모델이 이미 정답을 찾은 후 다시 잘못된 방향으로 사고를 수정 (Overwriting) 하는 것을 방지했기 때문입니다.
  • 생성 길이 단축: 직렬 생성 토큰을 70~78% 줄였습니다.
  • 비용 효율성: 중간값 기준 API 호출 횟수는 9 회로, 기존 전체 생성 대비 효율적입니다.
• 코드 생성 (HumanEval) 의 특수성:
  • 코드 생성에서는 'Think'와 'NoThink' 모델 간의 간극이 거의 사라졌으며, BAEE 를 적용했을 때 정확도 향상 폭이 가장 컸습니다. 이는 알고리즘 설계는 일찍 결정되지만, 구현 과정에서 발생하는 실수를 BAEE 가 막아주기 때문입니다.

5. 의의 및 결론 (Significance)

• 구조적 통찰: 현재 CoT 모델들은 정답을 내부 상태에 일찍 인코딩하지만, 이를 외부로 표현하는 정책 (Generation Policy) 은 그보다 늦게 준비됩니다. 이는 능력 (Capability) 과 유도 (Elicitation) 간의 불일치를 시사합니다.
• 실용적 가치:
  • 기존 '강제 추출' 기반의 조기 종료 전략은 간극으로 인해 정확도를 급격히 떨어뜨립니다.
  • BAEE는 블랙박스 환경에서도 적용 가능하며, 정확도를 유지하거나 높이는 동시에 생성 비용을 대폭 절감할 수 있는 실용적인 솔루션입니다.
  • 특히 '과도한 사고 (Overthinking)'를 방지하여 모델이 초기에 찾은 정답을 유지하도록 돕는 메커니즘을 제공합니다.

요약하자면, 이 논문은 추론 모델이 정답을 알고 있음에도 불구하고 "말하기"를 망설이는 (또는 망치는) 구조적 문제를 발견하고, 이를 해결하기 위해 강제 추출 대신 자유 생성을 활용한 BAEE라는 효율적이고 정확한 조기 종료 전략을 제시했습니다. 이는 추론 모델의 효율성 최적화와 신뢰성 향상에 중요한 기여를 합니다.