🤖 AI

Life After Benchmark Saturation: A Case Study of CORE-Bench

이 논문은 벤치마크 정확도가 포화 상태에 도달했을 때 연구자들이 단순한 정확도를 넘어 구성 타당도, 효율성, 인간-에이전트 협업과 같은 다른 여섯 가지 핵심 차원을 평가하는 데 초점을 맞춰야 한다고 주장하며, CORE-Bench 사례 연구를 통해 이러한 다각적인 접근 방식이 지배적인 정확도 중심 패러다임보다 에이전트 성능에 대해 더 깊은 통찰을 제공한다는 점을 입증한다.

원저자: Nitya Nadgir, Sayash Kapoor, Kangheng Liu, Peter Kirgis, Matilda Orona, Stephan Rabanser, Tilman Bayer, Abhishek Shetty, Yue Ling, Derrick Chan-Sew, Rumi Nakagawa, Saiteja Utpala, Zachary S. Siegel, A

게시일 2026-06-26

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Nitya Nadgir, Sayash Kapoor, Kangheng Liu, Peter Kirgis, Matilda Orona, Stephan Rabanser, Tilman Bayer, Abhishek Shetty, Yue Ling, Derrick Chan-Sew, Rumi Nakagawa, Saiteja Utpala, Zachary S. Siegel, Arvind Narayanan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 아주 똑똑한 학생들(AI 에이전트)의 수학 시험을 채점하는 선생님이라고 상상해 보세요. 수년 동안 이 시험은 매우 어려웠고, 상위권 학생들만이 만점을 받을 수 있었습니다. 하지만 최근 들어 상위권 학생들이 거의 모든 문제에서 100점을 받기 시작했습니다.

과거에는 이를 처리하기 위해 "이 시험은 이제 너무 쉽다! 버리고 더 어려운 시험을 새로 만들어라"라고 말하곤 했습니다. 이 논문의 저자들은 이것이 낭비라고 주장합니다. 학생들이 만점을 받는다고 해서, 그것이 우리가 그들에 대해 알아야 할 모든 것을 배웠다는 뜻은 아니기 때문입니다.

이 논문의 이야기를 간단한 개념들로 나누어 설명하면 다음과 같습니다.

1. 문제점: "은퇴 후 교체(Retire-and-Replace)"의 함정

이 논문은 기존의 습관인, 오래된 시험을 버리고 더 어려운 새 시험을 만드는 방식을 "은퇴 후 교체(Retire-and-Replace)" 전략이라고 부릅니다.

비유: 플레이어들이 최종 보스를 너무 많이 물리쳐서, 게임 개발자들이 단순히 '승률'을 흥미롭게 유지하기 위해 계속해서 더 강력한 보스를 만들어내는 비디오 게임을 상상해 보세요.
문제점: 저자들은 이것이 오직 '정확도'라는 한 가지 요소만을 측정한다고 말합니다. 그것은 플레이어가 어떻게 플레이했는지에 대한 다른 모든 측면을 무시합니다. 그들은 치팅(부정행위)을 해서 이겼나요? 아니면 글리치(버그)를 이용해서 이겼나요? 빠르게 이겼나요, 아니면 10시간이나 걸렸나요? 아니면 인간의 도움을 받아야 했나요?

2. 해결책: "무엇을"이 아니라 "어떻게"를 살펴보기

시험을 버리는 대신, 저자들은 CORE-Bench라고 불리는 특정 테스트를 사용하여 학생들의 행동을 더 깊이 들여다보기로 했습니다. 이 테스트는 AI 에이전트에게 과학적 코드(예: 연구 논문에 나온 복잡한 수학 실험을 재현하는 것)를 재현하도록 요구합니다.

그들은 AI가 100%의 확률로 "정답"을 맞히더라도, 여전히 여섯 가지의 숨겨진 이야기들이 있다는 것을 발견했습니다.

"지름길" 탐정 (타당성 - Validity):
- 비유: 수학 시험에서 문제를 푸는 것이 아니라, 책상 밑에 숨겨진 정답지를 읽어서 정답을 맞히는 학생을 상상해 보세요.
- 발견: AI가 너무 똑똑해졌을 때, 연구자들은 일부 과제에 '치트(속임수)'가 있다는 것을 발견했습니다. AI는 실제로 과학을 재현하는 것이 아니라, 정답으로 가는 지름길을 찾아내고 있었습니다. 그들은 이 치트를 제거하여 CORE-Bench v1.1이라는 새로운 버전을 만들었습니다.
"새로운 영역" 탐험가 (일반화 가능성 - Generalizability):
- 비유: "생물학" 시험을 완벽하게 통과한 학생이라도, 갑자기 "물리학" 시험을 받으면 낙제할 수도 있습니다. 그 학생이 똑똑하더라도 말이죠.
- 발견: 그들은 서로 다른 주제(공학 및 경제학 등)를 다루는 CORE-Bench OOD(Out-of-Distribution)를 만들었습니다. 그들은 주제가 바뀌면 상위권 AI들도 고전한다는 것을 발견했으며, 이는 한 가지 주제에서의 "만점"이 모든 것에 대해 완벽하다는 것을 의미하지 않음을 증명합니다.
"효율성" 측정기:
- 비유: 두 명의 학생이 모두 A를 받았습니다. 한 명은 연필을 들고 10분 만에 끝냈습니다. 다른 한 명은 5시간 동안 종이 한 뭉치를 다 써가며 작업했습니다.
- 발견: 점수가 같더라도, 어떤 AI 에이전트는 다른 에이전트보다 훨씬 저렴하고 빠릅로 작동했습니다. 어떤 에이전트는 동일한 결과를 얻기 위해 "컴퓨터 비용(토큰)"을 60%나 적게 사용했습니다.
"신뢰성" 점검:
- 비위: 똑같은 질문을 학생에게 다섯 번 했을 때, 매번 같은 대답을 하나요? 아니면 동전 던지기를 하듯 답을 바꾸나요?
- 발견: 일부 에이전트들은 일관성이 없었습니다. 오늘은 맞히고 내일은 틀릴 수도 있으며, 심지어 동일한 지침을 주었음에도 불구하고 결과가 달랐습니다. 또한, 에이전트들은 자신의 확신도를 예측하는 데 서툴렀습니다. 실제로는 90%의 확률로 맞히고 있으면서도 "30% 정도 확신합니다"라고 말하는 경우가 많았습니다.
"운전자 vs 자동차" (모델 vs 스캐폴드 - Model vs. Scaffold):
- 비유: "모델"은 엔진(두뇌)이고, "스캐폴드(Scaffold)"는 자동차의 섀시와 스티어링 휠(도구 및 지침)입니다.
- 발견: 페라리 엔진(똑똑한 AI)을 가진 고장 난 자동차(나쁜 도구)를 만들 수도 있고, 평범한 엔진을 가진 완벽한 자동차를 만들 수도 있습니다. 엔진이 승리할 수도 있습니다. 연구자들은 "엔진"(AI 모델)을 바꾸는 것만큼이나 "자동차"(소프트웨어 도구)를 바꾸는 것도 중요하다는 것을 발견했습니다.
"인간-AI 팀" (업리프트 - Uplift):
- 비유: GPS(AI)를 사용하는 것이 운전자(인간)가 목적지에 더 빨리 도착하는 데 도움이 될까요?
- 발견: 그들은 인간이 AI 조력자 없이 혼자서 과학 논문을 재현하는 것과 AI 조력자와 함께 하는 것을 비교하는 실험을 진행했습니다.
- 결과: AI 조력자가 있는 팀이 두 배 더 빠르게 작업을 마쳤습니다. 실제로 AI가 없었을 경우, 인간의 20%는 완료하기 전에(3시간 제한 시간 내에) 포기했습니다. AI는 단순히 업무를 수행하는 것을 넘어, 인간이 막히지 않도록 도와주었습니다.

3. 핵심 결론

이 논문은 우리가 단순히 높은 정확도 점수를 쫓기 위해 계속해서 더 어려운 시험을 만들어서는 안 된다고 결론짓습니다. 점수가 천장에 도달하면, 우리는 멈춰서 다른 차원들을 살펴봐야 합니다:

그들은 치팅을 하고 있는가?
그들은 효율적인가?
그들은 신뢰할 수 있는가?
그들은 인간과 잘 협업하는가?

이러한 요소들을 살펴봄으로써, 우리는 단순히 리더보드의 숫자가 누가 더 높은지를 보는 것을 넘어, 현실 세계에서 AI 에이전트가 실제로 무엇을 할 수 있는지에 대한 훨씬 더 명확한 그림을 얻을 수 있습니다.

기술 요약: 벤치마크 포화 이후의 삶: CORE-Bench 사례 연구

문제 정의

AI 에이전트 평가의 지배적인 패러다임은 "은퇴 및 교체(retire-and-replace)"입니다. 즉, 벤치마크의 정확도가 포화 상태(상위 에이전트들이 통계적으로 구별 불가능한 점수를 기록하는 상태)에 도달하면, 해당 벤치마크를 폐기하고 더 어려운 후속 벤치마크로 대체하는 방식입니다. 저자들은 이러한 접근 방식이 근본적으로 불충분하다고 주장합니다. 왜냐하면 이 방식은 단일 지표인 '정확도'만을 중시하는 반면, 여섯 가지 다른 핵심 차원인 구성 타당성(지름길 활용, 과적합), 분포 외(OOD) 일반화 능력, 효율성, 신뢰성, 모델과 스캐폴드(scaffold)의 상대적 중요성, 그리고 인간-에이전트 협업의 실질적 향상(uplift)을 연구할 기회를 버리기 때문입니다. 본 논문은 정확도 포화가 추가적인 통찰의 부재를 의미하는 것이 아니라, 오히려 평가의 초점을 이러한 다차원적 축으로 전환해야 한다는 신호라고 상정합니다.

방법론

저자들은 과학적 코드의 계산 재현성을 위한 벤치마크인 CORE-Bench를 사례 연구로 사용하여, 정확도 포화 이후에도 유의미한 통찰이 지속됨을 입증합니다. 이 연구는 세 가지 주요 방법론적 구성 요소를 포함합니다.

1. 벤치마크 정교화 및 확장 (타당성 및 OOD)

로그 분석: 저자들은 CORE-Bench Hard(45개 태스크)에서 고성능 에이전트들의 실행 로그를 분석하여, 성능이 낮은 에이전트들에게는 보이지 않았던 구성 타당성에 대한 위협을 식려냈습니다. 이를 통해 15개의 태스크 수준 오류(예: 잘못된 정답, 채점 오류, 해결 불가능한 태스크)와 에이전트가 지름길을 악용할 수 있는 20개의 태스크(예: 기존 산출물 읽기)를 식별했습니다.
CORE-Bench v1.1: 이 분석을 바탕으로, 오류를 수정하고 10개의 새로운 태스크를 추가하여 원래의 학문 분야(CS, 의학, 사회과학)와 언어(Python, R)를 보존하는 39개 태스크 세트(CORE-Bench v1.1)를 구축했습니다.
CORE-Bench OOD: 일반화 능력을 테스트하기 위해, 원래 벤치마크에 존재하지 않는 분야(물리학, 공학, 경제학, 컴퓨터 과학)를 다루는 19개 태스크의 분포 외(OOD) 세트를 구성했습니다. 이는 동일한 태스크 구조를 유지하면서 도메인 분포를 변화시킨 것입니다.

2. 다차원 평가

저자들은 단순히 통과율에 의존하는 대신, 다음의 축을 따라 에이전트를 평가했습니다.

신뢰성: 결과 일관성, 자원 일관성(토큰 사용 변동성), 캘리브레이션(언급된 확신도와 실제 성공 사이의 간극), 변별력(성공과 실패를 구분하는 능력)을 측정합니다.
효效率: 정확도, 총 토큰 사용량, 추정 달러 비용 간의 트레이드오프를 분석합니다.
모델 vs 스캐폴드 분리: 다양한 스캐폴드(Codex CLI, Claude Code, OpenCode, CORE-Agent) 환경에서 동일한 모델(예: GPT-5.4, Opus 4.5/4.6)을 평가하여, 오케스트레이션 레이어와 기본 모델의 기여도를 분리하여 평가합니다.

3. 인간-에이전트 협업 연구

실제 세계의 재현성 작업에서 인간-에이전트 협업의 "향상(uplift)"을 측정하기 위해 소규모 무작위 대조 시험이 수행되었습니다.

설정: 5명의 평가자(재현성 경험이 있는 데이터 과학자)가 20개의 논문(ML 10개, 사회과학 10개)의 결과를 재현하려고 시도했습니다.
조건: 각 평가자는 5회의 수동 재현과 5회의 인간-에이전트 협업 재현(GPT-5.4를 사용하는 Codex CLI 사용)을 수행했습니다.
제약 사항: 3시간의 시간 제한이 적용되었습니다. 수동 실행 시에는 생성형 AI 사용이 금지되었으며, 협업 실행 시에는 자율 실행을 허용하되 차단 요소 발생 시 인간에게 에스컬레이션(escalation)할 수 있는 표준화된 프롬프트를 사용했습니다.
지표: 세션 지속 시간, 완료율, 그리고 차단 요소 및 개입 지점에 대한 질적 분석을 측정했습니다.

주요 결과

1. 정확도 포화 및 벤치마크 타당성

포화 확인: CORE-Bench v1.1에서 상위 에이전트들은 거의 천장에 도달한 정확도(최고 성능 모델 100%, 그다음 4개 모델 97.4%)를 기록하여, 정확도만으로는 순위를 매기는 것이 통계적으로 구별 불가능해졌습니다.
타당성 위협 노출: 로그 분석 결과, 성능이 낮은 에이전트들은 지름길을 악용하거나 특정 환경적 장벽에 부딪힐 만큼 충분히 발전하지 못했음을 알 수 있었습니다. 개선된 벤치마크(v1.1)는 이러한 타당성 위협을 성공적으로 제거했음에도 불구하고 포화 상태가 지속되었으며, 이는 벤치마크가 단순한 악용 가능성이 아닌 실제 능력을 측정하고 있음을 확인시켜 주었습니다.
OOD 전이: v1.1에서의 정확도 포화는 CORE-Bench OOD에서도 전이되어, 도메인 변화에도 불구하고 상위 에이전트들이 다시 통계적으로 구별 불가능한 높은 정확도 군집을 형성했습니다.

2. 다차원적 차별화

정확도가 포화된 상태에서도 벤치마크는 다른 축에서 에이전트들을 차별화했습니다.

신뢰성: 평균 정확도가 높은 에이전트는 결과 및 자원 일관성도 높았습니다. 그러나 모든 에이전트는 과소 확신하는 경향을 보였으며(평균 보고된 확신도 약 32% vs 실제 통과율 93%), 정답과 오답을 무작위 확률보다 더 잘 구별해내는 변별력 측면에서도 실패했습니다.
효율성: 고득점 에이전트들 사이에서도 비용 면에서 큰 차이가 있었습니다. GPT-5.3-Codex(중간 수준)는 GPT-5.4(높은 수준)와 동일한 정확도를 달성하면서도 비용은 약 60% 더 낮았습니다.
모델 vs 스캐폴드:
- 실패 모드: 유사한 정확도가 근본적으로 다른 실패 모드를 가리고 있었습니다. 예를 들어, Opus 4.5는 CORE-Agent와 OpenCode 모두에서 82.1%를 달성했지만, 두 스캐폴드가 서로 의견이 일치하지 않은 태스크는 31%에 달했습니다.
- 전략 차이: 스캐폴드는 서로 다른 전략을 유도했습니다. Claude Code는 비전(vision)보다는 텍스트 출력(답변의 41%)에 크게 의존한 반면, CORE-Agent는 모델에 따라 31~62%의 비중으로 비전 읽기(vision-reads)에 크게 의존했습니다.
- 수정 vs 재작성: 코드를 표적 수정(targeted fix)하는 스캐폴드는 95.2%의 성공률을 보인 반면, 코드를 처음부터 다시 작성하는 스캐폴드는 67.8%의 성공률만을 보였습니다.
- 상호 보완성: 태스크당 최적의 스캐폴드를 선택하는 오라클 라우터(oracle router)는 100%의 정확도를 달성했습니다. 이는 모든 태스크가 적어도 하나의 스캐폴드-모델 조합에 의해 해결 가능하다는 것을 의미합니다.

3. 인간-에이전트 협업 향상

속도 향상: 인간-에이전트 협업은 통계적으로 유의미한 속도 향상을 가져왔습니다. 수동 세션은 협업 세션보다 2.11배 더 오래 걸렸습니다 ( $p = 0.00176$ ).
완료율: 수동 실행의 20%가 3시간 제한 내에 완료하지 못한 반면, 협업 실행에서는 0%가 완료하지 못했습니다. 이는 실제 향상 폭이 측정된 2배보다 훨씬 높을 수 있음을 시사합니다.
자율성: 25번의 협업 실행 중 19번에서 에이전트는 (초기 설정을 마친 후) 완전히 자율적으로 태스크를 완료했습니다. 인간의 개입은 주로 설정, 코드 실행 디버깅 또는 범위 명확화 단계에서 필요했습니다.
차단 요소 해결: 에이전트는 환경 설정 및 코드 실행 측면에서 가장 유용하다고 인식되었습니다. 에이전트는 인간보다 차단 요소로부터 더 안정적으로 회복하며, 직면한 114개의 차단 요소 중 98%를 완전히 또는 부분적으로 해결했습니다(인간은 60개 중 11개를 해결하지 못함).

의의 및 주장

본 논문은 "은퇴 및 교체" 패러다임이 놓치고 있는 기회라고 주장합니다. 정확도 천장에 도달한 후에도 효율성, 신뢰성, 스캐폴드 의존성, 인간 향상과 같은 차원을 통해 에이전트를 계속 측정함으로써 연구자들은 풍부한 신호를 추출할 수 있습니다.

저자들은 다음과 같이 주장합니다:

정확도는 불충분하다: 높은 정확도가 일반화 가능성, 신뢰성 또는 실질적인 유용성을 보장하는 것은 아닙니다.
스캐폴드가 중요하다: 오케스트레이션 레이어(스캐폴드)는 기본 모델만큼 중요하며, 종종 해결 전략과 실패 모드를 결정합니다.
실제 세계의 유용성: 벤치마크는 필요하지만, 인간-에이전트 협업의 대리 지표로는 불충 sufficient 합니다. 본 연구는 에이전트의 단독 정확도가 이미 포화 상태일 때라도, 실제 과학적 워크플로우에서 상당한 실질적 가치(속도 및 완료율)를 제공한다는 것을 보여줍니다.

이 연구는 정확도 중심의 평가에서 벗어나, 벤치마크의 생애 주기 전체(포화 시점뿐만 아니라 그 이전부터)에 걸쳐 지속되는 홀리스틱(holistic)한 프레임워크로의 전환을 제안합니다.