기술 요약: 두 가지 AI 지표의 괴리: 이것이 모든 차이를 만들 것인가?

문제 제기

AI 개발이 연산량(compute) 측면에서 기하급수적으로 확장됨에 따라, 거버넌스와 경제학 측면에서 중요한 질문이 제기된다. 즉, 프런티어 모델(거대한, 기하급수적으로 증가하는 연산 예산을 가진 모델)의 역량이 '미크(meek)' 모델(공유된 하드웨어 및 알고리즘 효율성 이득을 누리면서도 고정되거나 느리게 성장하는 연산 예산을 가진 모델)의 역량을 영구적으로 앞지를 것인가?

기존의 실증 문헌은 상충하는 답변을 제시한다. 일부 연구는 성능 격차가 벌어져 역량의 과점적 집중으로 이어질 것이라고 시사한다. 반면, Gundlach 등(2025b)을 포함한 다른 연구들은 그 격차가 줄어들어 미크 모델이 결국 "세상을 물려받게 될 것"이라고 주장한다. 본 논문은 이러한 상충하는 결론들이 반드시 모순되는 것이 아니라, AI 역량을 측정하기 위해 선택된 특정 **성능 지표(performance metrics)**로 인한 결과물이라고 상정한다. 핵심 문제는, 겉보기에 유사한 역량을 측정하더라도 서로 다른 지표들이 연산량에 대해 서로 다른 함수 형태를 가짐으로써 근본적으로 다른 장기적 수렴 특성을 나타낸다는 점이다.

방법론

저자들은 유효 연산량의 기하급수적 스케일링 하에서 발생하는 수학적 동작을 기준으로 성능 지표를 분류하는 이론적 프레임워크를 채택한다.

1. 정의:

   • 일반 성능 지표 (Normal Performance Metric): 훈련 연산량을 성능으로 매핑하는 미분 가능하고 약단조 증가하는 함수.
   • 미크 지표 (Meek Metric): 프런티어 모델(지수적 투자 성장)과 미크 모델(상수 투자 성장, 그러나 공유된 효율성 이득을 누림) 사이의 성능 격차가 시간이 무한대로 흐름에 따라 0으로 수렴하는 지표.
   • 마이티 지표 (Mighty Metric): 성능 격차가 0으로 수 convergence하지 않는(상수로 유지되거나 발산하는) 지표.

2. 분석 접근법:
   검증 손실(validation loss)에 관한 Gundlach 등(2025b)의 논의를 일반화한다. 저자들은 유효 연산량 $C$가 $t \to \infty$일 때, 차이 $P(C_{frontier}) - P(C_{meek})$의 극한을 분석한다. 저자들은 지표의 성장률과 유계성(boundedness)을 바탕으로 해당 지표가 미크인지 마이티인지를 결정하는 엄밀한 수학적 조건을 도출한다.

3. 분류 체계:
   저자들은 지표를 분류하기 위한 의사결정 트리(그림 1)를 구축한다:

   • 만약 지표가 **유계(bounded)**라면(상한선이 존재한다면), 이는 항상 **미크(meek)**이다.
   • 만약 지표가 **무한(unbounded)**하다면, $\log \log C$보다 느리게 성장할 경우($\lim_{C \to \infty} \frac{P(C)}{\log \log C} = 0$) **미크(meek)**이다. 그렇지 않으면 **마이티(mighty)**이다.

주요 기여

1. 지표의 이론적 분류: 본 논문은 미크 지표(격차가 좁혀지는 경우)와 마이티 지표(격차가 지속되는 경우)를 구분하는 최초의 엄밀한 수학적 조건을 제공한다. 또한 유계성이 미크 성질의 충분 조건임을 입증한다.
2. 일반적인 벤치마크의 재해 해석: 저자들은 많은 표준 지표들이 특정 해석 하에서만 "미크"하며, 동일한 근저의 역량을 나타내는 밀접하게 관련된 변환값들은 "마이티"하다는 것을 보여준다.
   • 예시: 벤치마크 정확도(0-100%)는 유계이므로 미크하다. 그러나 근저의 오차율 $\epsilon$이나 신뢰도의 "nines(9의 개수)"($\log(1/\epsilon)$)는 무한하며 마이티하다.
   • 예시: 게임의 승률은 유계(미크)이지만, 근저의 브래들리-테리(Bradley-Terry) 강도인 ELO는 무한(마이티)하다.
3. 추론 스케일링으로의 확장: 이 프레임워크를 추론 시 연산량 예산으로 확장하여, 추론 스케일링 하에서도 벤치마크 정확도는 미크하게 유지되지만, 그에 대응하는 "nines의 행진(error reduction)"은 마이티하다는 것을 보여준다.
4. 정책적 관련성: 특정 도메인에 적합한(apt) 지표를 결정하는 것은 효과적인 정책 수립의 전제 조건임을 주장한다. 유계 지표와 무계 지표는 연산 통제 및 규제에 대해 상반된 정책적 대응을 시사한다.

주요 결과

• 유계 지표의 수렴: 모든 유계 지표(예: 분류 정확도, pass@k, 검증 손실)에 대해, 프런티어 모델과 미크 모델 간의 성능 격차는 결국 사라질 것이다. 장기적으로 미크 모델은 이러한 척도에서 프런티어 모델과 구별할 수 없는 성능을 달성하게 된다.
• 무계 지표의 발산: $\log \log C$보다 빠르게 성장하는 무계 지표(예: ELO 강도, 과업 지평 길이, 오차율의 자릿수)의 경우, 격차는 지속되거나 확대된다. 프런티어 모델은 영구적인 우위를 유지할 것이다.
• 효용 함수에 대한 민감도: 미크 지표와 마이티 지표 사이의 선택은 종종 사용자의 효용 함수에 달려 있다.
  • 사용자가 고정된 임계치 내에서 과업이 완료되는지 여부(유계 효용)를 중시한다면, 미크 모델로 충분하다.
  • 사용자가 성능이 얼마나 더 나은지(예: 오차율을 몇 자릿수 줄이는지, 과업 지평을 얼마나 확장하는지)를 중시한다면, 역량은 무계하며 프런티어 모델이 지배한다.
• 위치적 지표(Positional Metrics): 저자들은 "승자 독식" 시나리오(위치적 지표)에서, 근저의 역량이 유계라 할지라도 미세한 차이로 인해 보상은 항상 프런티어 모델에게 돌아갈 수 있으며, 이는 "미크"한 수렴에도 불구하고 경제적 보상 측면에서는 "마이티"한 결과를 초래한다고 언급한다.

의의 및 주장

본 논문은 AI 역량이 집중될 것인지 혹은 확산될 것인지에 대한 논쟁은 흔히 무엇이 물리적으로 일어나는가에 대한 논쟁이 아니라, 어떤 지표가 사용되고 있는가에 대한 논쟁이라고 주장한다.

• 거버넌스를 위하여: 만약 관련 사회적 역량이 유계 지표(예: "모델이 기능적인 스크립트를 작성할 수 있는가?")로 측정된다면, 규제는 이러한 역량이 많은 행위자(미크 모델)에게 확산될 가능성을 고려해야 한다. 만약 역량이 무계 지표(예: "새로운 단백질을 얼마나 효율적으로 합성할 수 있는가?")로 측정된다면, 역량은 막대한 연산 예산을 가진 부유한 행위자들에게 집중될 가능성이 높다.
• 정책을 위하여: 연산 통제(수출 제한)는 미크 지표로 측정되는 역량에 대해서는 영구적인 천장이 아니라 지연책으로 작용할 수 있다(미크 모델이 공유 하드웨어/알고리즘 발전을 통해 결국 따라잡을 것이기 때문). 그러나 마이티 지표에 대해서는 이러한 통제가 지속적인 격차를 유지할 수 있다.
• 안전성을 위하여: 본 논문은 위험한 역량들이 종종 "임계치(threshold)"의 성격을 띤다는 점을 강조한다. 만약 역량이 유계(미크)라면, 임계치는 프런티어 랩뿐만 아니라 많은 행위자에 의해 결국 넘어서게 될 것이다. 반대로, 위험의 정도(예: 착취 속도)가 무계하게 스케일링된다면, 그 위험은 집중된 상태로 남을 것이다.

저자들은 분석가와 정책 입안자들이 단일 지표로부터 수렴 또는 발산을 성급하게 읽어내서는 안 된다고 결론짓는다. 대신, 해당 도메인의 효용 함수를 명확히 정의하여 관련 지표가 미크한지 혹은 마이티한지를 판단해야 하며, 이 구분이 AI의 미래가 집중의 미래일지 확산의 미래일지를 결정하기 때문이다.