기술 요약: 결정론적 지평선 (The Deterministic Horizon)

1. 문제 정의

본 논문은 긴 사고 사슬(Chain-of-Thought, CoT)이 반드시 정확도를 향상시킨다는 기존의 대규모 언어 모델(LLM) 추론 패러다임에 이의를 제기한다. 최근의 연구(예: Wu et al., 2026)는 긴 추론 과정에서 발생하는 성능 저하를 "단순성 편향(Simplicity Bias)"(학습을 통해 교정 가능한 짧은 출력을 선호하는 경향)의 탓으로 돌리지만, 본 논문은 **결정론적 상태 추적 작업(deterministic state-tracking tasks)**의 경우, 이러한 실패가 행동적 문제가 아닌 구조적 문제라고 주장한다.

결정론적 도메인(예: 소프트웨어 디버깅, 형식 검증, 순차적 계획)에서는 정확성이 이진적(binary)이다. 즉, 상태 추적에서의 단 한 번의 이탈도 전체 실패를 의미한다. 저자들은 최첨단 추론 모델들이 상태 공간 디코히어런스(State-Space Decoherence, 상태 공간 결맞음 해제) 현상을 보인다는 점을 관찰했다. 즉, 추론 깊이가 깊어질수록 누적된 오류로 인해 모델의 내부 상태가 실제 정답(ground truth)으로부터 완전히 벗어나게 된다. "대체로 맞으면 충분한" 개방형 생성과 달리, 이러한 작업은 정확한 추적을 요구하며, 이는 디코더 전용 어텐션 메커니즘의 근본적인 한계를 드러낸다.

2. 방법론 및 이론적 프레임워크

2.1 이론적 기여

저자들은 정보 이론과 어텐션 메커니즘에 기반한 이론적 프레임워크를 구축하였다:

• 어텐션 병목 정리 (Attention Bottleneck Theorem): 본 논문은 디코더 전용 트랜스포머의 상태 추적에 대한 정보 이론적 용량 한계를 도출한다. 이는 자기회귀적(autoregressive) 어텐션이 각 단계에서 고정된 용량의 채널을 통해 과거의 상태 정보를 압축해야 함을 시사한다. 용량은 다음과 같이 제한된다:
  $$|S_{track}| \leq c(\delta, \rho_{max}) \cdot 2^{H \cdot \log_2(L/H) \cdot d_h^{1/2}}$$
  여기서 $H$는 헤드 수, $L$은 컨텍스트 길이, $d_h$는 헤드 차원이다. 이는 모델 규모가 커짐에 따라 용량이 증가하지만, 정확한 상태 추적에 필요한 단계별 정보 흐름이 병목 현상을 만든다는 것을 의미한다.

• 컨텍스트 의존적 오류 모델 (Context-Dependent Error Model): 매 단계 일정한 오류율을 가정하는 기존 모델들과 달리, 저자들은 어텐션 엔트로피 분산으로 인해 깊이에 따라 증가하는 오류율 $\epsilon(d)$를 제안한다:
  $$\epsilon(d) = \epsilon_0 + \gamma \frac{d}{L_{eff}}$$
  여기서 $L_{eff}$는 "유효 디코히어런스 길이(effective decoherence length)"이다 (경험적 수치는 약 $10^2$ 단계로, 원시 컨텍스트 창 $L$보다 훨씬 작다). 이는 초지수적(super-exponential) 정확도 감소로 이어진다:
  $$P(\text{correct at depth } m) \leq \exp\left(-m\epsilon_0 - \frac{\gamma m(m+1)}{2L_{eff}}\right)$$

• 결정론적 지평선 (The Deterministic Horizon, $d^*$): 성공 확률이 목표 임계값 $\alpha$ 아래로 떨어지는 깊이를 구함으로써, 저자들은 "결정론적 지평선"을 정의한다. 주요 모델 제품군의 경우, $d^* \in [19, 31]$이다. 이 깊이를 넘어서면 순수 신경망 추론은 모델 규모와 관계없이 신뢰할 수 없게 된다.

• 미세 조정 상한선 (Fine-Tuning Upper Bound): 본 논문은 미세 조정이 이러한 구조적 천장을 극복할 수 없음을 증명한다. 만약 $d > d^*$라면, 미세 조정된 모델의 정확도는 다음의 상한을 갖는다:
  $$Acc_{fine-tune} \leq Acc_{baseline} + O\left(\frac{d^*}{d}\right)$$
  이는 저자들의 "디코히어런스" 가설을, 학습을 통해 성능 회복이 가능하다고 예측하는 "단순성 편향" 이론과 구별 짓는다.

2.2 실험 설계

본 연구는 12개의 모델(GPT-4o, Claude-4.5, o3, DeepSeek-R1 및 오픈 웨이트 Llama/Qwen 변형 포함)을 8개의 작업 도메인에서 평가한다:

• 합성(Synthetic): 순열 퍼즐, 유한 상태 오토마타(F FSA) 시뮬레이션, 산술 체인, 회로 추적, 코드 변수 추적.
• 실제 환경(Real-World): SWE-Bench (다중 파일 상태 추적), WebArena (세션 상태 탐색), SQL-Multi (다중 테이블 조인).

조건:

1. C1: 무제한 신경망 CoT.
2. C2: 깊이 제한 CoT (오라클 최적 길이).
3. C3: 도구 통합 추론 (BFS와 같은 정확한 솔버에 위임).
4. C4: 명시적 길이 권장 (더 긴 사슬을 유도하는 프롬프팅).
5. C5: 최적 길이 트레이스에 대한 미세 조정.

지표:

• 상태 공간 자카드 (State-Space Jaccard, SSJ): 능력 실패(허구적 상태로 표류하여 정밀도와 재현율이 모두 감소하는 경우)와 선호도 실패(정확한 경로를 중단하여 정밀도는 높게 유지되는 경우)를 구분하기 위해 정밀도(precision)와 재현율(recall)로 분해함.
• 어텐션 엔트로피 (Attention Entropy): 오픈 웨이트 모델에서 직접 측정하여 엔트로피 증가와 정확도 감소 사이의 상관관계를 측정함.

3. 주요 결과

3.1 도구 위임 vs. 신경망 추론

도구 통합 추론(C3)은 모든 모델과 도메인에서 신경망 CoT(C1)보다 일관되게 우수한 성능을 보인다.

• 정확도: 도구 위임은 **86–94%**의 정확도를 달성하는 반면, 신경망 CoT는 **24–42%**에서 정체된다.
• 효율성: 도구 위임은 무제한 CoT에 비해 정답당 비용 측면에서 4.2–4.7배의 개선을 보인다.
• 보편성: 성능 격차는 범용 모델, 추론 특화 모델, 오픈 웨이트 모델 전반에서 일관되게 나타나며, 이는 이것이 학습의 문제가 아닌 구조적 한계임을 시사한다.

3.2 선호도 조작의 실패

• 프롬프팅 (C4): 모델에게 "필요한 만큼 많은 단계를 밟으라"고 권장하는 것은 성능 향상이 2% 미만으로 미미하며, 이는 단순성 편향 가설에 반한다.
• 미세 조정 (C5): 최적 길이 트레이스에 대한 미세 조정은 단 **<5%**의 개선(특히 Llama-3.1-8B에서 3.2%)만을 가져왔으며, 이는 선호도 기반 이론이 예측한 >30%의 회복률에 훨씬 못 미친다. 이 이점은 결정론적 지평선($d^*$) 너머에서는 완전히 사라진다.

3.3 디코히어런스의 증거

• SSJ 분석: 깊이가 증가함에 따라 정밀도와 재현율이 동시에 감소하며, 이는 모델이 단순히 정확한 경로를 생략하는 것이 아니라 허구적인 상태 공간으로 표류하고 있음(능력 실패)을 확인시켜 준다.
• 어텐션 엔트로피: 오픈 웨이트 모델에서 어텐션 엔트로피와 정확도 사이에 강한 음의 상관관계($r \approx -0.74$)가 존재하며, 이는 어텐션 희석이 상태 디코히어런스를 유발한다는 기계적 가설을 입증한다.
• 교차 모델 상관관계: 서로 다른 조직의 모델들 간에 실패 패턴의 높은 상관관계($r = 0.81–0.91$)가 나타나며, 이는 공유된 구조적 제약을 나타낸다.

3.4 스케일링 법칙

결정론적 지평선은 아키텍처 파라미터에 따라 스케일링된다. 오픈 웨이트 모델에 대한 경험적 검증 결과, $d^* \propto \sqrt{d_h \cdot H}$ 관계를 보인다. 더 큰 모델(예: 70B)은 지평선을 $d^* \approx 28$까지 확장하는 반면, 작은 모델(8B)은 $d^* \approx 19–20$ 수준에 머문다.

4. 의의 및 주장

본 논문은 에이전트 시스템에서 순수 신경망 추론이 도구 기반 하이브리드 접근 방식으로 전환되어야 하는 원칙적인 경계를 제공한다고 주장한다.

• 구조적 한계: 주요 기여는 디코더 전용 트랜스포머가 상태 추적 용량에 대한 정보 이론적 한계에 직면해 있음을 식별한 것이다. 이는 학습의 결핍이 아니라 자기회귀적 어텐션의 근본적인 제약이다.
• 단순성 편향 거부: 본 결과는 긴 추론 실패가 단순히 짧은 출력을 선호하는 문제 때문이라는 견해를 반박한다. 모델에게 더 길게 추론하도록 강제하거나 미세 조정하더라도, 모델은 "상태 공간 디코코히어런스"로 인해 실패한다.
• 실무 가이드라인: 저자들은 다음과 같은 배포 가이드라인을 제안한다: 정확한 상태 추적이 결정론적 지평선($d^* \in [19, 31]$)을 초과하는 작업의 경우, 시스템은 **도구 위임(tool delegation)**을 기본값으로 설정해야 한다. 이는 코드 에이전트, 다단계 계획, 형식 검증 등에 적용된다.
• 비용 및 안전: 결정론적 지평선 $d^*$ 너머에서 확장된 신경망 추론에 의존하는 것은 비효과적일 뿐만 아니라 컴퓨팅 자원과 탄소 배출 측면에서도 낭비이다. 또한, 안전이 중요한 도메인에서 이 지평선 너머의 의사결정을 도구 검증 없이 수행하는 것은 안전하지 않다고 본 논문은 주장한다.

요약하자면, 본 논문은 확장된 추론이 얕은 결정론적 작업($d < d^*$)에는 유익하지만, 지평선을 넘어서면 초지수적으로 성능이 저하됨을 확립한다. 해결책은 더 나은 학습이나 프롬프팅이 아니라, 정확한 상태 추적을 처리하기 위해 외부 도구를 구조적으로 통합하는 것이다.