기술 요약: Think Fast: 프런티어 AI 모델의 No-CoT 작업 완료 시간 지평 추정

문제 정의

현재 프런티어 AI 모델을 위한 안전 모니터링 전략은 주로 사고 사슬(Chain-of-Thought, CoT) 추론 흔적을 검사하는 데 의존합니다. 이 전략의 가정은 만약 모델이 해로운 목표나 기만적인 전략에 대해 추론하고 있다면, 자연어 토큰을 통해 이 과정을 외부에 드러낼 것이라는 점입니다. 그러나 만약 모델이 명시적인 추론 토큰을 출력하지 않고도 정교한 잠재적 추론(latent reasoning)—내부적인 정교한 숙고를 수행하는 능력—을 수행할 수 있게 된다면, 이러한 모니터링 메커니즘은 무력화될 것입니다.

본 논문은 다음 두 가지 핵심 질문을 다룹니다:

1. Q1: 프런티어 모델은 CoT를 통해 외부로 드러내지 않고 얼마나 많은 추론을 잠재적으로 수행할 수 있는가?
2. Q2: 이러한 잠재적 추론 능력은 시간이 지남에 따라 어떻게 변화하고 있는가?

저자들은 이러한 "no-CoT" 능력을 정량화하지 않는다면, 모델이 내부적으로 기만적이거나 정렬되지 않은 행동을 할 위험을 안전 평가에서 크게 과소평가하게 될 것이라고 주장합니다.

방법론

벤치마크 세트 및 유도(Elicitation)

저자들은 수학, 코딩, 퍼즐, 인과관계, 마음 이론(theory-of-mind), 전략적 추론 등 다양한 도메인에 걸쳐 30,000개 이상의 질문을 포함하는 43개의 벤치마크를 구축했습니다. 이 벤치마크들은 UK AISI의 Inspect 프레임워크로 변환되었습니다.

• 태스크 클래스: 이 세트는 단답형 태스크, 생성형 태스크(자연어 추론 없이 코드/텍스트 생성), 그리고 다회차 에이전트 태스크(도구 호출만 수행)를 포함합니다.
• No-CoT 강제 적용: 잠재적 추론을 측정하기 위해, 저자들은 모델이 최종 답변 전에 추론 토큰을 출력하는 것을 엄격히 방지했습니다. 이를 위해 벤치마크별 프롬프트, 퓨샷(few-shot) 예시, 구조화된 출력 제약 조건을 사용했습니다. 만약 모델이 출력의 5% 이상에서 추론을 시도할 경우, 더 엄격한 제약을 적용했습니다.

지표: 시간 및 토큰 지평(Time and Token Horizons)

잠재적 추론 능력을 정량화하기 위해 저자들은 두 가지 주요 지표를 도입했습니다:

1. 50%-태스크 완료 시간 지평 (TH): 모델이 50%의 성공률로 해결하는 태스크를 완료하는 데 필요한 예상 인간 시간입니다. 이는 모델의 능력을 인간의 노력에 고정시킵니다.
2. 50% 추론 토큰 지평: 앵커 모델(특히 o3-mini)이 평가 대상 모델이 CoT 없이 50% 성공률로 해결하는 태스크를 해결하는 데 필요한 최소 추론 토큰 수입니다. 이는 모델에 기반한 독립적인 기준점을 제공합니다.

인간 해결 시간 추정

기존 데이터가 없는 벤치마크에 대한 인간의 해결 시간을 추정하는 데 상당한 방법론적 노력이 투입되었습니다.

• 데이터 수집: 기존 데이터가 없는 12개 벤치마크에 대해, 저자들은 17명의 모집된 전문가 참여자로부터 733개의 문제 시도를 수집했습니다.
• 보정(Calibration): 나머지 벤치마크의 해결 시간을 추정하기 위해 Claude Opus 4.7을 사용했으며, 이를 20개 벤치마크에서 얻은 실제 인간 데이터와 대조하여 보정했습니다. 이들은 조건부 가우시안 분포를 사용하여 추정치의 불확실성을 모델링하였고, 계층적 부트스트랩 리샘플링(hierarchical bootstrap resampling)을 통해 이 노이즈를 분석 과정에 전파했습니다.

통계적 분석

• 로지스틱 피팅(Logistic Fitting): 각 모델에 대해 인간의 해결 시간(또는 토큰 수)에 따른 성공률을 예측하는 로지스틱 곡선을 피팅하여 50% 임계값($h_{model}$)을 결정했습니다.
• 트렌드 모델링: 파레토 프런티어(출시 당시 SOTA)에 있는 모델들의 50% TH에 지수 트렌드를 피팅하여 잠재적 추론 능력의 배가 시간(doubling time)을 결정했습니다.
• 불확정성 전파: 벤치마크, 문제, 모델 실행 및 인간 시간 추정치를 리샘플링하는 계층적 부트스트랩 리샘플링을 사용하여 각 모델별 TH 및 전체 트렌드 배가 시간에 대한 95% 신뢰 구간을 생성했습니다.

주요 기여

1. 포괄적인 벤치마크 세트: 다양한 도메인에서 잠재적 추론을 평가하도록 설계된 43개 벤치마크(3만 개 이상의 질문)를 구성하였으며, 이를 Inspect 프레임워크 내에 구현했습니다.
2. 불확실성 모델링: 실제 해결 시간, 수집된 베이스라인, 보정된 모델 기반 추정치를 결结合하여 인간의 태스크 소요 시간 추정치의 불확실성을 모델링하고 전파하는 새로운 방법을 제시했습니다.
3. 추론 토큰 앵커: 앵커 모델(o3-mini)이 요구하는 최소 추론 토큰 수와 비교하여 잠재적 추론 능력을 정량화하는 방법을 통해, 인간 시간 추정에 의존하지 않는 독립적인 지표를 제공했습니다.
4. 경험적 트렌드: GPT-2부터 GPT-5.5까지 14개의 프런티어 모델에 대한 종단적 분석을 통해 no-CoT 능력의 성장률을 밝혀냈습니다.
5. 스케일링 분석: 50% TH와 파라미터 수, 레이어 수, 아키텍처 유형(Dense vs. MoE) 간의 상관관관계를 다루는 어블레이션 연구를 수행했습니다.

결과

잠재적 추론의 성장

• 배가 시간: no-CoT 50% 시간 지평은 지난 6년 동안 약 373일(95% CI: 167–691일)마다 두 배씩 증가해 왔습니다.
• 현재 상태: 최신 프런티어 모델(예: GPT-5.5)의 경우, 추정된 no-CoT TH는 3분을 초과하며, 이는 (o3-mini 앵커 기준) 약 1,500개의 추론 토큰에 해당합니다.
• 토큰 지평의 배가: 추론 토큰 지평은 437일(95% CI: 341–571일)마다 두 배씩 증가합니다. 시간 앵커와 토큰 앵커 사이의 배가 시간 차이는 문제의 난이도가 높아짐에 따라 토큰 수가 인간의 해결 시간보다 더 빠르게 스케일링되는 하위 선형(sub-linear) 멱법칙 관계 때문입니다.

전망

중앙값 트렌드를 외삽(extrapolation)하면 다음과 같습니다:

• 2028년까지 no-CoT TH는 7분을 초과할 수 있습니다.
• 2030년까지 no-CoT TH는 25분을 초과할 수 있습니다.
• 저자들은 이러한 전망이 상당한 불확실성을 내포하고 있음을 강조합니다(예: 2030년 전망치는 9분에서 615분 사이의 넓은 범위를 가짐).

CoT 능력과의 비교

no-CoT TH의 배가 시간(373일)은 Kwa 등이 보고한 CoT를 포함한 전체 기능적 에이전트 태스크의 배가 시간(182일)보다 약 두 배 느립니다. 이러한 격차는 GPT-4 출시 이후 눈에 띄게 나타났으며, 이는 CoT 능력은 빠르게 발전하는 반면, 명시적 추론과 잠재적 추론 사이의 간극은 벌어지고 있음을 시사합니다.

스케일링 법칙

• 50% TH를 두 배로 늘리기 위해서는 총 파라미터의 4.2배 증가 또는 레이어 수의 1.3배 증가가 필요합니다.
• 아키텍처 차이: Dense 모델은 MoE(Mixture-of-Experts) 모델(TH를 두 배로 만들기 위해 8.1배의 파라미터 증가 필요)에 비해 더 빠른 스케일링 관계(2.2배의 파라미터 증가로 TH 두 배 달성)를 보여줍니다. 이는 일부 독점 모델에서 관찰되는 느린 no-CoT 스케일링을 설명할 수 있습니다.

강건성(Robustness)

결과는 다음의 경우에도 강건하게 유지되었습니다:

• 트렌드 피팅에서 단일 모델을 제외할 때
• 실제 인간 해결 시간만을 사용하는 벤치마크를 사용할 때 (노이즈는 증가함)
• 긴 형태의 생성 및 다회차 에이전트 태스크를 포함할 때 (배가 시간이 약 319일로 약간 감소함)
• 인간 시간 추정을 위한 다른 노이즈 모델을 사용할 때

의의 및 주장

본 논문은 프런티어 모델들이 자신의 추론을 외부에 드러내지 않고도 수 분간의 인간 노력이 필요한 태스크를 수행할 수 있는 능력을 갖추었다고 주장합니다. 이러한 능력은 2019년 이후 매년 약 두 배씩 예측 가능한 방식으로 성장해 왔습니다.

저자들은 이러한 트렌드가 AI 안전에 중요한 함의를 갖는다고 주장합니다:

1. 모니터링의 한계: CoT 모니터링은 추론이 출력물에 나타날 때만 효과적입니다. 잠재적 추론을 위한 "헤드룸(headroom)"이 빠르게 성장하고 있다는 사실은, 모델이 탐지되지 않은 채 내부적으로 복잡하고 잠재적으로 정렬되지 않은 추론을 수행할 수 있음을 시사합니다.
2. 행동 촉구: 프런티어 개발자들은 모델이 발전함에 따라 잠재적 추론 능력(no-CoT TH)을 명시적으로 추적해야 합니다. 저자들은 이러한 능력을 측정하는 것이 상대적으로 저렴하며 많은 추론 연산량을 필요로 하지 않는다는 점을 언급합니다.
3. 불확실성 감소: 미래 모델의 TH에 대한 불확실성을 줄이는 것은 그 자체로 안전 우선순위입니다.

결론적으로, 현재의 모델들이 반드시 추론을 CoT로부터 "우회(routing)"시키고 있는 것은 아니지만, 그렇게 할 수 있는 능력은 예측 가능하게 성장하고 있으며, 이는 잠재적 숙고를 고려한 새로운 평가 및 모니터링 전략이 필요함을 시사합니다.