기술 요약: BRIDGE – 모델 성능으로부터 인간의 작업 완료 시간 예측

문제 정의

AI 시스템의 실제 역량을 평가하는 것은 일반적으로 벤치마크 점수와 집계된 지표에 의존합니다. 그러나 이러한 점수는 실제 작업 난이도나 실질적인 노력의 척도로서 해석하기 어렵습니다. 점수의 향상은 짧고 일상적인 사례에서의 이득을 반영할 수 있는 반면, 더 길고 다단계인 작업은 변화가 없을 수 있으며, 유사한 점수 변화라도 실제적인 능력의 변화 측면에서는 매우 다른 의미를 가질 수 있습니다.

METR(Kwa et al., 2026)에서 제안한 유력한 대안은 AI 에이전트가 성공하는 데 필요한 "인간의 작업 완료 시간(human task completion time)"을 기준으로 역량을 측정하는 것입니다. 이는 인간이 이해하기 쉬운 척도를 제공하지만, 비용이 많이 들고 노이즈가 많으며 확장이 어려운 인간의 주석(annotation)에 의존합니다. 새로운 벤치마크가 등장함에 따라, 각 벤치마크를 고정하기 위해 맞춤형 인간 연구에 의존하는 방식은 벤치마크 중심의 평가와 인간 중심의 난이도 개념 사이의 간극을 넓히는 문제를 야기합니다. 핵심 과제는 다음과 같습니다: 새로운 인간 연구를 수행하지 않고도 새로운 벤치마크에 대한 인간의 작업 완료 시간을 예측할 수 있는가?

방법론: BRIDGE 프레임워크

저자들은 BRIDGE(Benchmark Response Inferred Difficulty Grounded in Elapsed human time)를 제안합니다. 이는 모델 성능으로부터 추론된 잠재적 작업 난이도를 인간의 작업 완료 시간과 정렬시키는 통합된 사이코메트릭(psychometric) 프레임워크입니다.

1. 문항 반응 이론 (IRT) 모델링

이 프레임워크는 다음을 공동으로 추정하기 위해 2모수 로지스틱(2PL) IRT 모델을 활용합니다:

• 잠재적 작업 난이도 ($b_i$): 개별 작업의 난이도를 특징짓는 파라미터.
• 모델 역량 ($\theta_j$): 개별 모델의 능력을 특징짓는 파라미터.
• 변별도 ($a_i$): 다양한 역량을 가진 모델들 사이에서 작업을 얼마나 잘 구별해내는지 측정하는 파라미터.

모델 $j$가 작업 $i$를 성공적으로 완료할 확률은 다음과 같이 모델링됩니다:
$$P(y_{i,j} = 1 | \theta_j, a_i, b_i) = \sigma(a_i(\theta_j - b_i))$$
여기서 $\sigma$는 로지스틱 함수입니다. 이 모델은 여러 벤치마크에 걸친 이진 성공/실패 결과에 대해 계층적 사전 분포를 가진 마르코프 연쇄 몬테카를로(MCMC)를 사용하여 적합됩니다.

2. 인간 시간에 대한 앵커링 (Anchoring)

IRT는 통일된 잠재 척도를 제공하지만, 그 파라미터들은 본질적으로 척도 불변적(scale-invariant)이며 내재적인 의미론적 의미를 결여하고 있습니다. BRIDGE는 앵커링을 통해 잠재적 난이도 척도를 인간의 작업 완료 시간에 연결함으로써 이 문제를 해결합니다.

• 교정 (Calibration): 인간의 작업 완료 시간이 알려진 작업 데이터셋(특히 METR 데이터)을 사용하여, IRT로 추론된 잠재적 난이도($b_i$)와 인간 작업 시간($h_i$)의 로그값 사이의 선형 관계를 적합시킵니다:
  $$\log(h_i) = \text{slope} \times b_i + \text{intercept}$$
• 예측 (Prediction): 일단 교정되면, 이 로그-선형 매핑을 통해 (인간의 주석 없이) 오직 IRT로 추론된 잠재적 난이도만을 기반으로 새로운 벤치마크의 인간 작업 완료 시간을 예측할 수 있습니다.

3. 예측 지평 (Forecasting Horizon)

이 프레임워크는 특정 릴리스 윈도우에서 가장 높은 성능을 보이는 모델을 식별함으로써 프런티어 모델 역량의 진화를 추적합니다. 모델의 추정 능력($\theta_{max}$)을 난이도 척도($b = \theta_{max}$ at 50% success)에 매핑함으로써, 시스템은 "작업 길이 지평(task-length horizon)"—즉, 모델이 특정 확률로 완료할 수 있는 작업의 지속 시간—을 예측합니다.

주요 기여

1. 통합 사이코메트릭 프레임워크: BRIDGE는 IRT 잠재 난이도를 인간의 작업 완료 시간에 교정함으로써 모델 성능 지표와 인간이 이해할 수 있는 시간 단위 사이의 간극을 메웁니다.
2. 로그-선형 정렬: 논문은 잠재적 작업 난이도가 인간의 작업 완료 시간의 로그값과 선형적으로 변화한다는 강력한 경험적 발견($R^2 = 0.81$ on METR data)을 입증합니다. 이를 통해 모델 성능만으로 인간의 작업 시간을 추론할 수 있습니다.
3. 확장 가능한 예측: 이 프레임워크는 새로운 인간 연구를 요구하지 않고도 프런티어 모델의 역량을 인간의 작업 길이 관점에서 예측할 수 있게 합니다.
4. 강건성 (Robustness): 이 방법은 모델-작업 커버리지의 희소성(sparsity)에 대해 강건함을 보이며, 관찰된 항목의 최대 70%가 제거되더라도 난이도 추정치에서 높은 상관관계를 유지합니다.

실험 결과

저자들은 SWE-bench Verified, MLE-bench, GDPval, Cybench와 같은 여러 OOD(out-of-distribution) 벤치마크에서 BRIDGE를 평가했습니다.

• 시간 예측 정확도:
  • SWE-bench Verified에서 BRIDGE의 예측 시간 버킷은 로짓 성공률 휴리스틱이나 LLM 기반 추정치(Gemini 3 Pro, GPT-5.2)보다 인간의 주석과 훨씬 더 잘 일치했습니다. BRIDGE는 가중 매크로 F1 점수 0.284를 달성했으며, 이는 로짓 베이스라인의 0.198 및 GPT-5.2의 0.048보다 높았습니다.
  • Cybench에서 BRIDGE는 인간의 첫 해결 시간(first-solve times)에 대해 0.45의 $R^2$를 달성했으며, 92.3%의 작업이 0.5×–2× 허용 범위 내에 있었습니다. 반면, 로짓 베이스라인은 지속 시간을 체계적으로 과소평가했고, LLM 추정치는 일관되게 과대평가했습니다.
• 예측 트렌드:
  • 모델 성능 로그만을 사용하여, BRIDGE는 "50% 작업 완료 시간 지평"(50% 확률로 해결 가능한 작업의 길이)이 기하급적으로 성장하고 있음을 예측합니다.
  • 배가 시간(doubling time)은 약 6개월입니다.
  • 최신 프런티어 모델(예: Claude 4.5 Opus, GPT-5) 기준으로, 50% 성공 지평은 벤치마크에 따라 약 1.4~2.5시간의 인간 노력으로 추정됩니다.
  • 더 엄격한 80% 성공 임계값에서는 지평이 약 40분으로 축소되지만, 배가 시간은 약 6개월로 일정하게 유지됩니다.

의의 및 주장

본 논문은 BRIDGE가 AI의 진보를 평가하고 예측하기 위한 확장 가능하고, 신뢰할 수 있으며, 인간에 근거한 방법을 제공한다고 주장합니다.

• 인간 연구로부터의 독립성: 인간 중심의 작업 난이도가 모델 중심의 데이터로부터 추론될 수 있음을 보여줌으로써, 실질적인 AI 발전 추적을 위한 비용과 마찰을 줄입니다.
• 확장 법칙(Scaling Laws)의 검증: 이 결과는 작업 길이 지평의 기하급급적 성장에 관한 METR의 연구 결과를 독립적으로 재현하고 뒷받침하며, 모델 성능을 인간 시간의 대리 지표로 사용하는 것을 검증합니다.
• 해석 가능성: 추상적인 벤치마크 점수를 "인간의 노력 시간"으로 변환함으로써, BRIDGE는 AI 시스템이 실제로 무엇을 할 수 있는지, 그리고 실질적인 역량이 얼마나 빠르게 개선되고 있는지 이해하는 데 더 실행 가능한 지표를 제공합니다.

저자들은 IRT가 본질적으로 척도 불변적이지만, 이를 인간의 시간에 앵커링함으로써 AI 벤치마크를 위한 "로제타 스톤(Rosetta stone)"을 생성하여, 다양한 진화하는 작업 분포 전반에서 인간과 모델 간의 난이도 추정을 전달할 수 있다고 결론짓습니다.