💻 computer science

Human vs Machine Mathematical Difficulty on Project Euler: An Experimental Analysis

이 논문은 26개의 AI 모델이 50개의 프로젝트 오일러 문제에 대해 시도한 3,840건의 사례를 분석하여, 기계의 노력이 인간의 난이도에 따라 하위 선형적으로 확장된다는 점(더 나쁜 확장을 예측하는 가설에 반함)을 입증하는 한편, 성공 확률은 지수적 감소 모델을 따르며, 궁극적으로 최첨단 성능의 지평에 대해 75일의 배가 시간을 추정한다.

원저자: David Holmes, Johannes Schmitt

게시일 2026-06-23

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: David Holmes, Johannes Schmitt

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

개요: 시간과 복잡성을 향한 경주

Project Euler를 수학 문제들을 위한 거대한 공공 체육관이라고 상상해 보세요. 사람(그리고 이제는 AI까지)들이 이 퍼즐을 풀기 위해 등록합니다. 체육관은 가장 빠른 인간의 기록을 위해 스톱워치를 켜두고, 정답을 찾는 데 정확히 얼마나 걸렸는지 기록합니다.

이 논문의 저자들은 단순한 질문에 답하고자 했습니다: 수학 문제가 어려워짐에 따라, AI 시스템은 인간보다 더 빠른 속도로 성능이 저하되는가?

수학자 티모시 가워스(Timothy Gowers)가 제안한 한 가지 이론이 있었습니다. AI가 금방 지쳐버리는 단거리 스프린터와 같을 것이라는 가설이었죠. 그 아이디어는 이렇습니다: "AI는 쉬운 단거리 달리기에는 빠르지만, 경주가 길어지고 힘들어질수록 AI의 노력은 폭발적으로 증가하며 결국 인간에게 뒤처질 것이다."

저자들은 50개의 최근 수학 문제와 26개의 서로 다른 AI 모델 데이터를 사용하여 이 이론을 테스트했습니다. 결과는 다음과 같습니다.

1. "노력" 테스트: AI는 더 빨리 지치는가?

이론: 저자들은 인간이 어려운 문제를 푸는 데 1시간을 보낼 때마다, AI는 훨씬 더 많은 시간(컴퓨터 연산 능력, 즉 생성된 '토큰'이나 단어 수로 측정됨)을 써야 할 것이라고 생각했습니다. 문제가 어려워질수록 AI의 노력이 급증할 것이라 예상했습니다.

비유: 인간과 로봇이 산을 오르고 있다고 상상해 보세요.

예상: 로봇은 산 아래에서는 훌륭하지만, 경사가 가팔라질수록 로봇은 인간이 한 걸음 내디딜 때 100걸음을 걸어야 합니다.
실제: 저자들은 그 반대의 결과를 발견했습니다. 가장 강력한 AI 모델들의 경우, 산이 가팔라질수록 로봇은 인간에 비해 오히려 더 효율적이었습니다.
- 만약 인간이 어려운 문제를 푸는 데 1시간이 걸린다면, AI는 2시간 분량의 컴퓨터 작업을 할 수도 있습니다.
- 하지만 인간이 10시간이 걸린다면, AI는 15시간 정도의 컴퓨터 작업만 하면 될 수도 있습니다.
- 결과: 그 격차는 벌어지지 않았고, 오히려 줄어들었습니다. AI는 이 특정 문제들에 대해 인간보다 더 잘 적응(scale)했습니다. 저자들은 이를 $b < 1$ 이라고 부르는데, 이는 기본적으로 "AI가 우리가 예상했던 것보다 더 빠르게 난이도를 처리하는 능력이 향상되고 있음"을 의미합니다.

왜 그럴까요? 저자들은 이 수학 문제들에 많은 "코딩" 또는 "구현" 단계가 포함되어 있다고 추측합니다. 인간은 코드를 입력하고 디버깅하는 데 많은 시간을 쓰지만, AI는 타이핑과 디버깅에 매우 빠릅니다. 따라서 AI가 "생각"하는 부분에서는 느릴지라도, "수행"하는 부분에서의 초고속 능력 덕분에 전체적인 시간이 매우 효율적으로 보이게 됩니다.

2. "신뢰성" 테스트: AI는 그냥 포기해 버리는가?

이론: AI가 효율적일 수는 있지만, 문제가 어려워지면 단순히 혼란에 빠져 실패할 수도 있습니다. 저자들은 성공 확률이 예측 가능한 방식으로 떨어지는지 테스트했습니다.

비유: 어두운 숲속을 걷고 있다고 상상해 보세요.

이론: 발걸음을 옮길 때마다 넘어질 확률이 일정하게 존재합니다. 경로가 길어질수록(문제가 어려워질수록) 넘어질 가능성이 높아집니다.
실제: 데이터는 이 모델에 완벽하게 부합했습니다. AI의 성공률은 매끄럽고 예측 가능한 곡선을 그리며 떨어졌습니다.
- 문제가 인간에게 1시간 걸리는 문제라면, AI는 90%의 확률로 성공할 수 있습니다.
- 문제가 인간에게 4시간 걸리는 문제라면, AI의 성공률은 약 50%로 떨어집니다.
- 결과: AI는 "에너지가 고갈되거나" "잘못된 방향으로 탐색해서" 실패하는 것이 아닙니다. AI는 장기간의 작업에 있어 신뢰성이 떨어지는 것입니다. 마치 달리기는 빠르지만, 경주가 길어지면 계속 자기 신발 끈에 걸려 넘어지는 러너와 같습니다.

3. "지평선(Horizon)" 테스트: AI는 얼마나 오래 버틸 수 있는가?

저자들은 "50% 지평선"( $h_{50}$ )을 계산했습니다. 이는 AI가 문제를 해결할 확률이 50/50이 되는 지점입니다.

발견: 이 연구에서 가장 뛰어난 AI 모델들은 인간의 시간이 대략 2.5~4.3시간 정도 걸리는 지점에서 50% 성공률에 도달했습니다.
비유: AI를 손전등이라고 생각해 보세요. 잠시 동안은 밝게 빛나지만, 인간이 문제를 풀기 위해 10시간을 걸어야 한다면, AI의 빛(올바른 궤도를 유지하는 능력)은 4시간째에 이미 깜빡이며 꺼져버립니다.
추세: 저자들은 이 "손전등"이 얼마나 빨리 밝아지고 있는지 추적했습니다. 그 결과, 최고의 AI는 약 75일마다 능력이 두 배로 향상되는 속도로 그 "지구력"을 높이고 있음을 발견했습니다.

4. "에이전트(Agent)"의 반전: AI에게 팀을 주다

논문은 또한 "에이전트형(Agentic)" 모델도 살펴보았습니다. 이들은 단순히 한 번 답하는 것이 아니라, 문제를 분해하고, 다시 시도하고, 자신의 작업을 검토할 수 있는 도구(마치 계산기와 연습장을 사용하는 인간처럼)를 가진 AI입니다.

결과: 이러한 "AI 팀"은 일반적인 AI(인간 시간 기준 0.3시간에서 50% 지점)보다 더 긴 시간(인간 시간 기준 최대 1.7시간)이 걸리는 문제들도 해결할 수 있었습니다.
주의점: 하지만 이러한 도구를 사용하더라도, 최상위 인간들이 10시간 이상 걸려 푸는 아주 어려운 문제들은 여전히 해결하지 못했습니다. 그저 "지구력의 한계"를 조금 더 밀어냈을 뿐입니다.

요약: 이것이 의미하는 바는 무엇인가?

이 논문은 AI가 단순히 어려워지는 문제 앞에서 "연료가 떨어져서" 비효율적으로 변할 것이라는 기존의 공포가 이 특정 수학 퍼즐들에 대해서는 사실이 아님을 결론짓습니다.

효율성: AI는 문제가 어려워질수록 이러한 과업에서 인간보다 오히려 더 효율적입니다.
진짜 문제: 병목 현상은 효율성이 아니라 신뢰성입니다. AI는 작업을 수행할 수는 있지만, 작업이 너무 길어지면 길을 잃거나 실수를 범하는 경향이 있습니다.
한계: 현재 최고의 AI는 인간이 약 4시간 정도 걸리는 문제를 안정적으로 처리할 수 있습니다. 그보다 더 어려운 문제는 AI가 짐작하거나 실패하기 시작합니다.

요약하자면: AI는 지치는 것이 아니라, 단지 주의가 산만해지는 것입니다. AI는 매우 뛰어나고 빠른 일꾼이지만, 성공하기 위해서는 매우 짧고 집중적인 과업이 필요합니다. 만약 길고 복적인 프로젝트를 맡긴다면, AI는 마무리를 하기 전에 아마도 자기 신발 끈에 걸려 넘어질 것입니다.

기술 요약: Project Euler에서의 인간 대 기계 수학적 난이도

문제 정의
본 논문은 프런티어 AI 시스템의 노력과 성공 확률이 계산 수학 문제에서 인간의 난이도에 따라 어떻게 스케일링되는지 조사한다. 증명 탐색 알고리즘의 스케일링에 관한 티모시 가우어스(Timothy Gowers)의 제안에서 착안하여, 저자들은 AI 시스템이 작업 난이도가 높아짐에 따라 인간보다 더 나쁘게 스케일링되는지를 확인하고자 한다. 구체적으로, 그들은 기계가 단순한 작업에서는 더 빠를 수 있지만, 문제의 복잡성(증명 길이 또는 해결 궤적으로 측정됨)이 증가함에 따라 기계의 기대 실행 시간이 인간보다 훨씬 더 급격하게 증가할 것이라는 가설을 테스트한다. 이 연구는 인간의 해결 시간이 공개적으로 기록된 플랫폼인 Project Euler와 50개의 최신 문제(943–992) 및 26개의 모델 구성에 걸친 광범한 AI 시도 데이터를 제공하는 MathArena 벤치마크를 활용한다.

방법론
저자들은 "인간 난이도"( $t_{human}$ )를 각 문제에 대해 기록된 가장 빠른 5개 인간 해결 시간의 기하 평균으로 정의하며, 이는 강력한 인간의 연속 작업 시간을 나타내는 대리 지표로 사용된다. "기계 노력"( $t_{machine}$ )은 벽시계 시간(wall-clock time)이 아니라, 성공적인 답변을 얻기 위해 생성된 총 토큰 수로 정의되며, 이는 모든 시도에 걸친 총 토큰 수를 성공 횟수로 나눈 값이다.

본 연구는 세 가지 별도의 분석 프레임워크를 채택한다:

가설 T (시간 스케일링 모델): 멱법칙 관계 $t_{machine} = a \cdot t_{human}^b$ 를 테스트한다. 지수 $b$ 는 스케일링 동작을 나타낸다: $b > 1$ 은 기계가 인간보다 더 나쁘게 스케일링됨(난이도에 따라 노력이 초선형적으로 증가)을 의미하며, $b < 1$ 은 기계가 더 잘 스케일링됨을 의미한다. 실패 사례에 의한 편향을 피하기 위해 실증적 성공률이 50% 이상인 모델-문제 쌍에 대해 적합(fit)을 수행한다.
가설 P (지수적 성공 모델): 성공 확률( $p_{success}$ )이 인간의 작업 시간과 함께 지수적으로 감소하는지 테스트한다: $p_{success} = p_{model}^{t_{task}}$ . 이는 $\log p_{success}$ 와 $t_{human}$ 사이의 선형 관계로 모델링되며, $(0, 1)$ 을 통과하도록 제약된다. 데이터는 적합을 위해 분위수 빈(quantile bin)으로 집계된다.
METR 스타일의 호라이즌(Horizons): 성공 확률에 대한 로지스틱 곡선을 적합시켜 특정 역량 호라이즌인 $h_{50}$ (성공률 50%에서의 인간 시간)과 $h_{80}$ (성공률 80%에서의 인간 시간)을 추출한다. 이 접근 방식은 METR의 작업 길이 벤치마크[KWB+25]에서 채택되었다.

데이터셋은 26개의 모델 구성(하나의 비대표적 구성을 제외한 25개가 최종 적합에 포함됨)에 걸친 3,840개의 시도로 구성된다. 통계적 불확실성은 적합된 파라미터에 대한 90% 신뢰 구간을 생성하기 위해 비모수 부트스트랩 리샘플링(1,000개 샘플)을 사용하여 정량화된다.

주요 결과

스케일링 예측의 역전 (가설 T): 기계가 어려운 문제에서 인간보다 뒤처질 것( $b > 1$ )이라는 초기 예측과 달리, 본 연구는 사용 가능한 적합을 보이는 25개 모델 중 20개 모델에서 $b < 1$ 임을 발견했다. 여기에는 가장 강력한 고커버리지 베이스 모델인 Claude Opus 4.6 ( $b=0.722$ ), GPT-5.4 (xhigh) ( $b=0.644$ ), Gemini 3.1 Pro Preview ( $b=0.467$ )가 포함된다. 이 상위 모델들의 90% 부트스트랩 신뢰 구간은 모두 1 미만에 위치한다. 이는 이러한 운영화 내에서, 성공적인 답변당 토큰 비용이 인간의 난이도에 따라 *하위 선형적(sub-linearly)*으로 증가함을 시사한다. 즉, 문제가 어려워질수록 기계의 상대적 효율성이 개선된다는 것을 의미하며, 이는 모델이 적절히 신뢰할 수 있는 문제들에 대해 그러하다.
성공의 지수적 감소 (가설 P): 데이터는 지수적 감소 모델에 대한 중간 정도의 경험적 지지를 보여준다. 잘 커버된 22개 구성에 대한 중앙값 빈 레벨 $R^2$ 는 0.92이며, 많은 상위 모델들이 0.95를 초과한다. 적합된 반감기(성공 확률이 50%로 떨어지는 인간 시간)는 Gemini 2.5 Pro의 0.12시간부터 GPT-5.4 xhigh의 4.07시간까지 다양하다.
역량 호라이즌: 가장 강력한 베이스 모델 구성은 약 2.5에서 4.3시간의 인간 작업 시간 사이에서 50% 성공 호라이즌( $h_{50}$ )에 도달한다. 에이전틱 래퍼(예: GPT-5 Euler Agent, Grok 4 Fast Euler Agent)는 베이스 모델보다 실질적으로 더 큰 호라이즌을 보여주지만, 이러한 비교는 관찰적 수준이다.
발전 궤적: 데이터셋의 약 345일 기간 동안 최첨단(SOTA) 베이스 모델들의 로그-선형 적합은 $h_{50}$ 호라이즌이 약 75일마다 두 배로 증가함을 시사하며, 이는 0.09시간에서 4.28시간으로 증가했다.

의의 및 주장
본 논문은 자신의 결과가 어려운 문제에서 AI 시스템이 급격히 증가하는 탐색 비용으로 인해 인간보다 뒤처질 것이라고 예측한 가우어스의 프레임워크로부터 도출된 특정 "탐색 효율성" 서사에 도전한다고 주장한다. 대신, 결과는 Project Euler에서 프런티어 모델들이 난이도가 높아짐에 따라 성공당 토큰 비용 측면에서 인간 솔버보다 더 잘 스케일링됨을 나타낸다.

그러나 저자들은 그 함의에 대해 주의를 기울인다. 그들은 스케일링이 유리하긴 하지만, 이러한 시스템의 절대적인 신뢰도는 여전히 제한적이라는 점을 언급한다. 모델들은 인간의 작업 시간 기준으로 단 몇 시간에 불과한 지점에서 50% 성공 임계치에 도달하며, 이는 인간이 단일 문제에 적용할 수 있는 지속적인 노력에 훨씬 못 미친다. 저자들은 Project Euler에서의 유리한 스케일링과 연구 수준의 수학에서 보이는 가시적인 가속화 사이의 불일치에 대해 다섯 가지 추측적 설명을 제시한다:

구현 vs 사고: Project Euler 문제는 구현(코딩)에 무게를 두고 있으며, LLM은 이를 인간보다 빠르게 처리하므로 잠재적으로 느린 수학적 추론을 가릴 수 있다.
장기 궤적 저하: 누적된 오류나 "컨텍스트 부패(context rot)"로 인해 시간이 지남에 따라 성공 확률이 감소하며, 이는 일관된 추론의 호라이즌을 제한한다.
도구 구축의 한계: LLM은 표준 도구를 사용하는 데는 뛰어나지만, 연구에 필요한 새로운 수학적 프레임워크를 발명하는 능력은 부족할 수 있다.
스캐폴딩(Scaffolding) 격차: 현재의 아키텍처는 연구에 필요한 지속적인 메모리와 장기적 워크플로우가 결여되어 있다.
과잉 사고(Overthinking): 모델이 쉬운 문제에서도 지속적인 토큰 오버헤드(자기 점검 등)를 발생시켜 스케일링 기울기를 인위적으로 완만하게 만들 수 있다.

본 논문은 세 가지 분석(스케일링, 감소, 호라이즌)이 일관된 그림을 제공한다고 결론짓는다: 이 벤치마크에서 이러한 시스템의 제한 요인은 탐색 효율성(노력의 하위 선형적 스케일링)보다는 신뢰성(성공의 지수적 감소)이다. 이 결과는 AI 발전의 보편적 법칙이 아니라, 특정 벤치마크에 대한 현재 역량의 기술적 요약으로 제시된다.