기술 요약: 복잡성 천장 벤치마크 (Complexity Ceiling Benchmark, CCB)

문제 정의

현재 대규모 언어 모델(LLM)을 위한 벤치마크들은 일반적으로 고정된 난이도의 과업에 대한 총체적 정확도를 보고한다. 이러한 접근 방식은 지식의 공백, 프롬프트 오독, 컨텍스트 윈도우 고갈, 또는 연속적인 단계 전반에 걸친 일관성의 누적된 상실과 같은 장기 추론(long-horizon reasoning)의 구체적인 실패 양상을 가린다. 총체적 지표는 모델이 실패했다는 사실은 알려주지만, 왜 실패했는지, 혹은 요구되는 추론 단계($N$)가 증가함에 따라 성능이 어떻게 저하되는지는 설명하지 못한다. 이러한 세밀함의 결여는 LLM을 에이전트로 배포하는 데 있어 한계를 만든다. 에이전트에게는 수많은 단계에 걸친 지속적인 일관성이 필수적이기 때문이다.

방법론

저자들은 의미론적 내용은 일정하게 유지하면서 추론 깊이를 주요 실험 변수로 취급하는 통제된 평가 프레임워크인 **복잡성 천장 벤치마크(CCB)**를 도입한다.

벤치마크 설계

CCB는 요구되는 단계의 수 $N$을 5에서 50까지 스윕(sweep)하며, 세 가지 구조적으로 구별되는 도메인을 평가한다:

1. D1 (근거 기반 공간 상태 추적): 이산적 변환(회전, 교체, 이동) 및 충돌 제약 조건이 적용되는 $3\times3$ 그리드(Alien Grid)를 다루는 과업이다. 오류는 결정론적으로 누적된다.
2. D2 (추상적 기호 포인터 조작): 순환 이동 및 모듈로 산술의 적용을 받으며, 할당 유일성 제약 조건 하에 서로 다른 숫자를 보유한 7개의 변수를 유지해야 하는 과ks이다.
3. D3 (이행적 관계 추론): 10명의 에이전트로 구성된 외교적 그래프에서 새로운 동맹/적대 관계의 엣지(edge)가 추가되는 상황을 다루며, 각 단계마다 이행적 폐쇄(transitive closure, $O(n^2)$ 관계)를 재계산해야 한다.

평가 파이프라인

• 모델: 5개의 프런티어 및 오픈 웨이트 모델(Claude 3.7, Gemini 2.0 Flash, DeepSeek, GPT-4o-mini, LLaMA-3.3-70B)이 6,000회의 시행($n=40$ per cell)을 통해 평가되었다.
• 파싱: 정규 표현식 기반의 엄격한 파서를 사용하여 출력을 서로 중복되지 않는 결과(정답, 추론 경로 이탈, 제약 조건 위반, 형식 실패, 잘림, API 오류)로 분류한다. 이는 'LLM-as-a-judge' 방식에 의존하는 것을 방지한다.
• 경로 수준 지표 (TFBC): 저자들은 최종 답변이 정답과 일치하더라도 중간 추론 과정이 특정 단계 $k^*$에서 표준 경로(canonical trace)로부터 벗어난 경우를 식별하기 위해 **Trace First Branch Correct (TFBC)**를 정의한다. 이는 "경로 충실도가 높은" 정답과 "운 좋게 맞춘" 정답을 구분한다.

기하적 감소 모델 (The Geometric Decay Model)

논문은 단계별 유지 능력을 다음과 같은 기하적 감소 함수로 모델링한다:
$$P(\text{correct} | N) = p_d^N$$
여기서 $p_d$는 이전 상태 $S_k$가 유지되었을 때 상태 전이 $S_k \to S_{k+1}$를 올바르게 계산할 확률이다. 파라미터 $p_d$는 각 (모델, 도메인) 쌍에 대해 최대 우도 추정법(MLE)을 통해 산출된다. 성공 임계값 $s$에 대한 유효 작업 지평(effective task horizon) $H_s$는 다음과 같이 유도된다: $H_s \approx \ln(s) / \ln(p_d)$.

참고: 저자들은 가정 1(단계별 독립 실패)이 낙관적인 경계임을 인정한다. 왜냐나 자기회귀적 오류는 양의 상관관계를 갖기 때문이다(즉, $k^*$에서의 오류는 이후의 모든 단계를 오염시킨다). 따라서 $p_d^N$은 지속적인 정확도에 대한 낙관적인 상한선 역할을 한다.

주요 결과

1. 도메인별 천장 (Domain-Specific Ceilings)

벤치마크는 도메인 간의 현저한 분리를 보여준다:

• D1 & D2 (공간 및 기호): 강력한 프런티어 모델들(Claude, Gemini, DeepSeek)은 높은 유지 확률($p_d \in [0.92, 0.99]$)을 유지한다. 예를 들어, Claude는 D2에서 $p_d=0.987$을 달성하여 $N=50$에서도 약 55%의 정확도를 유지한다. 비프런티어 모델(GPT-4o-mini, LLaMA)은 훨씬 일찍($N \approx 15$) 붕괴한다.
• D3 (이행적 논리): 모든 모델은 능력 계층과 관계없이 $N=5$를 지나면 붕괴한다. 가장 뛰어난 모델인 Claude조차 50% 성공 지평 $H_{0.5} \approx 4.7$ ($p_d=0.863$)에 불과하다. 이는 D3가 재귀적 상태 업데이트와 전역적 일관성을 처리하는 데 있어 건축적 제한으로 인한 질적으로 다른, 더 어려운 영역임을 시사한다.

2. 경로 이탈 단계 ($k^*$)

추론이 처음으로 경로를 벗어나는 평균 단계($k^*$)는 파라미터 수보다 도메인 내 정확도를 더 충실하게 예측하는 지표이다.

• D2에서, Claude는 전역적 일관성을 놓치기 전까지 약 17단계를 유지하는 반면, LLaMA는 첫 번째 기호 전이 단계에서 실패한다 ($k^* \approx 3.9$).
• D3에서는 모든 모델에서 $k^*$가 일률적으로 낮게 나타나며 ($2.88 - 4.30$), 이는 실패가 용량의 문제가 아니라 구조적인 문제임을 뒷받침한다.

3. "운 좋은 추측" 현상 (The "Lucky Guess" Phenomenon)

벤치마크 전반에 걸쳐, 정답 중 **14.5%**가 TFBC(경로는 이탈했으나 정답인 경우)였다.

• D2의 경우, 정답 대부분이 경로를 충실히 따랐다 (Claude의 경우 TFBC는 8%에 불과).
• D3의 경우, 정답은 운 좋게 맞춘 경우(top 모델 기준 56~62% TFBC)가 지배적이었다.
  이는 총체적 정확도가 추론의 질을 상당히 과장하고 있음을 나타내며, 특히 어려운 도메인에서 더욱 두드러진다.

4. 프롬프트 개입

• 장황함 (Verbosity): 상세한 상태 추적(믿음을 재진술하는 것)을 강제하는 것이 D3 성능을 개선하지 못했다 (McNemar $p=1.000$).
• 프롬프트 구조: 특정 위치 포맷팅(VAR B)이 작은 정확도 향상(N=15에서 20% 정확도)을 가져왔으나, 근본적으로 천장을 높이거나 더 긴 지평으로 확장시키지는 못했다.

의의 및 주장

본 논문은 모델의 장기적 추론 프로필을 각 과업군당 두 개의 해석 가능한 수치인 $p_d$(단계별 유지력)와 $k^*$(평균 일관성 깊이)로 환원한다고 주장한다.

1. 실패 체계의 진단: CCB는 세 가지 뚜렷한 실패 모드를 식별한다:
   • D1: 단계별 유지력의 병목 (포맷팅의 문제가 아님).
   • D2: 제약 조건 관리의 병목 (불법적인 재할당).
   • D3: 구조적 연쇄 붕괴 (이행적 폐쇄는 표준 자기회귀적 어텐션에 결여된 메커니즘을 요구함).
2. 현재 아키텍처의 한계: 다양한 크기의 모델에서 나타나는 D3에서의 일률적인 붕괴는 용량의 한계라기보다 아키텍처적 병목임을 시사한다. 저자들은 표준 어텐션 메커니즘이 시퀀스 계층을 평탄화하여, 이행적 폐쇄에 필요한 재귀적 스택 관리를 지원하지 못한다고 가정한다.
3. 배포 시 시사점: $p_d$ 지표를 통해 실무자들은 깊이별 층화 평가를 다시 수행하지 않고도, 기대 정확도가 선택한 임계값 아래로 떨어지는 지점을 추정할 수 있다.
4. 향후 방향: 논문은 D3의 천장을 높이기 위해서는 프로세스 감독 모델(process-supervised models), 재귀적 스캐폴드(recursive scaffolds), 그리고 명시적 그래프 상태를 가진 도구 증강 시스템(tool-augmented systems)을 평가하는 것이 필수적인 다음 단계라고 명시한다.

결론적으로 저자들은 CCB가 포맷팅, 상태 표류(state drift), 또는 이행적 추론을 처리하는 근본적인 아키텍처적 무능력 중 무엇 때문에 실패하는지를 구분함으로써, 차세대 메모리 증강 시스템을 위한 원칙적인 진단 도구를 제공한다고 밝힌다.