OJBench: A Competition Level Code Benchmark For Large Language Models

이 논문은 NOI 와 ICPC 의 232 개 문제를 포함하는 새로운 벤치마크 'OJBench'를 제안하여, 최신 LLM 들조차도 고난이도 경쟁 수준의 코드 추론 작업에서는 여전히 심각한 한계를 겪고 있음을 37 개 모델 평가를 통해 입증했습니다.

핵심

이 논문은 **"LLM(거대 언어 모델) 이 코딩 실력 대회에서 얼마나 잘하는지 측정하는 새로운 시험지, 'OJBench'"**을 소개합니다.

기존의 시험지들이 너무 쉬워서 최상위권 AI 들의 실력을 제대로 가려내지 못하자, 연구팀이 **"진짜 프로 코딩 대회 (NOI, ICPC) 문제"**를 모아 훨씬 더 어렵고 엄격한 시험지를 만들었습니다.

이 내용을 일반인이 이해하기 쉽게 세 가지 핵심 비유로 설명해 드릴게요.

---

1. 왜 새로운 시험지가 필요했을까? (과거 vs 현재)

비유: "초등학교 수학 문제 vs 국제 수학 올림피아드"

• 기존의 시험 (LiveCodeBench 등): 마치 "초등학교 3 학년 수준의 수학 문제"를 풀게 하는 것과 비슷합니다. 최근 AI 들은 이 정도 문제는 거의 100 점 만점을 맞을 정도로 잘 풉니다. 하지만 이걸로 AI 가 진짜로 얼마나 똑똑한지, 한계가 어디인지 알 수 없습니다.
• 새로운 시험 (OJBench): 연구팀은 "전 세계 최고의 천재 코딩 대회 (NOI, ICPC) 에서 실제로 출제된 난이도 높은 문제" 232 개를 모았습니다. 이는 마치 일반인이나 대학생에게 "수학 올림피아드 최상위권 문제"를 풀게 하는 것과 같습니다.
• 결과: 최신 AI 모델들 (OpenAI 의 o4-mini, 구글의 Gemini 등) 도 이 시험에서는 아주 고전했습니다. 많은 AI 가 "난이도 높은 문제" 앞에서 막히거나, 아예 풀지 못했습니다.

2. 어떤 발견이 있었을까? (AI 의 실력 분석)

이 시험지를 통해 AI 들의 실력을 분석한 결과, 몇 가지 흥미로운 사실이 드러났습니다.

• 추론 능력 (Reasoning) 이 핵심: 단순히 코드를 많이 외운 AI(일반 코딩 모델) 보다는, **문제를 논리적으로 추론하는 훈련을 받은 AI(추론 모델)**가 훨씬 잘 풀었습니다. 하지만 그래도 최상위 난이도 문제는 여전히 어렵습니다.
• 언어의 차이 (파이썬 vs C++):
  • 대부분의 AI 는 파이썬으로 코딩하는 것을 더 잘합니다.
  • 하지만 **진짜 코딩 대회 (OJBench) 에서는 C++(CPP)**로 코딩했을 때 점수가 더 높았습니다.
  • 이유: C++ 는 파이썬보다 속도가 훨씬 빠르고 효율적입니다. 어려운 문제를 풀 때는 "정답"뿐만 아니라 "시간 내에 해결하는 것"도 중요하기 때문입니다. 마치 달리기 대회에서 가벼운 신발 (C++) 을 신었을 때 더 잘 달리는 것과 같습니다.
• 실수 수정 능력 (Refinement):
  • AI 가 처음에 틀린 코드를 짜면, 컴퓨터가 "에러 메시지"를 알려줍니다. AI 는 이 메시지를 보고 코드를 고칠 수 있습니다.
  • 재미있는 점: AI 는 문법 오류 (컴파일 에러) 를 고치는 건 잘하지만, 알고리즘이 너무 느려서 시간 초과 (TLE) 가 나는 문제를 고치는 건 매우 어려워했습니다. 이는 AI 가 "더 효율적인 해결책"을 스스로 설계하는 데는 아직 한계가 있다는 뜻입니다.

3. 이 연구의 의미는 무엇일까?

이 논문은 **"AI 가 코딩을 잘한다고 해서, 모든 문제를 다 푼다는 뜻은 아니다"**라고 경고합니다.

• 현재 상황: AI 는 쉬운 문제나 중급 문제는 잘 풀지만, 진짜 어려운 경쟁 수준 (Competition Level) 의 문제에서는 여전히 인간 전문가들에게 밀립니다.
• 미래 방향: 앞으로 더 똑똑한 AI 를 만들려면, 단순히 코드를 많이 읽게 하는 것뿐만 아니라, 복잡한 문제를 논리적으로 추론하고, 효율적인 알고리즘을 설계하는 능력을 키워야 합니다.

요약

"OJBench 는 AI 들에게 '코딩의 최강자'가 되기 위한 '최고난도 시험'을 치르게 한 것입니다. 결과는? 최신 AI 들도 고전했지만, 이 시험을 통해 AI 의 진짜 한계와 앞으로 발전해야 할 방향을 정확히 파악할 수 있게 되었습니다."

이처럼 OJBench 는 AI 의 코딩 실력을 가늠하는 새로운 **기준점 (Benchmark)**이 될 것입니다.

기술 요약

OJBench: 대규모 언어 모델을 위한 경쟁 수준 (Competition Level) 코드 벤치마크

1. 문제 제기 (Problem Statement)

• 현황: 최근 대형 언어 모델 (LLM) 은 수학 및 코드 추론 능력에서 괄목할 만한 진전을 보였습니다. 특히 OpenAI-o1, DeepSeek-R1, Qwen3 등 추론 중심 (Reasoning-oriented) 모델들이 등장하며 복잡한 문제 해결 능력이 향상되었습니다.
• 한계: 기존 코드 벤치마크 (LiveCodeBench, HumanEval 등) 는 주로 인터뷰 수준의 문제나 기본 알고리즘에 초점을 맞추고 있어, 최상위권 모델들의 능력을 차별화하거나 한계를 파악하기에 부족합니다.
• 필요성: 수학 분야에는 Omni-Math, AIME 등 경쟁 수준의 벤치마크가 존재하지만, 코드 분야에는 실제 알고리즘 경시대회 (NOI, ICPC) 수준의 난이도를 가진 벤치마크가 부재합니다. 이는 모델의 진정한 추론 능력을 평가하고 향후 발전을 이끄는 데 걸림돌이 되고 있습니다.

2. 방법론 (Methodology)

2.1 데이터 수집 및 구성 (Data Collection)

• 소스: 기존 벤치마크와의 중복을 최소화하고 난이도를 높이기 위해 **중국 전국 정보올림피아드 (NOI)**와 **국제 대학생 프로그래밍 경시대회 (ICPC)**의 실제 문제들을 수집했습니다.
• 규모: 총 232 개의 문제를 구성하며, NOI(159 개) 와 ICPC(73 개) 문제를 포함합니다.
• 필터링 과정:
  1. 정답 제출 코드를 사용하여 테스트 케이스를 검증하고, 판정 (Judge) 을 통과하지 못한 데이터는 제거.
  2. 특수 판정 프로그램 (Special Judge) 이 필요하여 자동화된 평가가 어려운 문제는 제외.
  3. NOI 문제의 경우 GPT-4o 를 활용한 영어 번역 후 수동 검증을 거쳐 원문의 의미와 형식을 유지.
• 난이도 분류:
  • NOI: 참가자들의 투표 기반 난이도 점수 (0~7) 를 활용하여 Easy(2-3), Medium(4-5), Hard(6-7) 로 분류.
  • ICPC: 공식 난이도 부재로 인해 실제 대회 데이터 (제출 수, 통과 수, 참여 팀 수 등) 를 기반으로 점수 공식을 적용하여 난이도 분류.

2.2 평가 방법 (Evaluation Method)

• 테스트 케이스 기반 판정: 모델이 생성한 코드가 모든 테스트 케이스를 통과해야만 정답으로 간주합니다. 소수의 테스트 케이스만 사용할 경우 발생할 수 있는 허위 긍정 (False Positive) 결과를 방지하기 위해 엄격한 평가를 수행합니다.
• 이중 언어 지원: 기존 벤치마크가 주로 Python 에 의존하는 것과 달리, Python 과 C++ 두 가지 언어로 평가를 수행합니다. 이는 경쟁 프로그래밍에서 시간 복잡도 제약이 엄격하여 C++ 이 선호되는 현실을 반영한 것입니다.
• 지표: Pass@n (n 개의 시도 중 하나라도 정답이면 통과) 을 사용하며, 37 개의 모델에 대해 Pass@1 및 Pass@8 을 측정했습니다.

3. 주요 기여 (Key Contributions)

1. OJBench 도입: 인간이 참여한 최상위 알고리즘 대회 (NOI, ICPC) 의 232 개 문제를 기반으로 한 경쟁 수준 코드 벤치마크를 최초로 제시했습니다.
2. 포괄적 평가: 오픈소스 및 클로즈드소스, 추론 중심 및 비추론 중심 모델을 포함한 총 37 개의 모델을 평가하여 현재 모델들의 복잡한 코드 추론 한계를 규명했습니다.
3. 심층 분석: 프로그래밍 언어 (Python vs C++) 에 따른 성능 차이, 실행 환경 피드백을 통한 오류 수정 (Refinement) 효과, 그리고 모델이 실패하는 문제 유형에 대한 사례 분석을 통해 향후 코드 LLM 개발 방향성을 제시했습니다.

4. 실험 결과 (Results)

4.1 전반적 성능

• 클로즈드소스 vs 오픈소스: 전반적으로 클로즈드소스 모델이 오픈소스 모델보다 우세합니다.
• 추론 모델의 우위: 추론 중심 모델 (DeepSeek-R1, Qwen3-235B-A22B, o4-mini 등) 이 비추론 모델보다 압도적으로 높은 성능을 보였습니다. 이는 대규모 강화학습 (RL) 및 증류 (Distillation) 기법이 추론 능력 향상에 핵심임을 시사합니다.
• 최상위 모델의 한계: 최첨단 모델인 o4-mini와 Gemini-2.5-pro-exp조차 Hard 난이도 문제에서 10% 미만의 통과율을 기록하며, 경쟁 수준 문제 해결에 여전히 큰 어려움을 겪고 있음을 보여줍니다.
  • 예시: o4-mini 의 Hard 문제 통과율은 5.77% (Python), 5.77% (C++) 수준입니다.

4.2 프로그래밍 언어별 비교 (Python vs C++)

• 추론 모델: o4-mini, o1-20241217, Gemini-2.5-pro-exp 등 최상위 추론 모델은 C++ 사용 시 Python 보다 성능이 유의미하게 향상되었습니다. 이는 C++ 의 높은 실행 효율성이 시간 제한이 엄격한 경쟁 문제에 적합하기 때문입니다.
• 예외: DeepSeek-R1 에서 증류된 Qwen 시리즈 모델은 훈련 데이터의 특성상 Python 성능이 C++ 보다 높게 나타났습니다.

4.3 오류 수정 (Refinement) 효과

• 모델은 실행 환경으로부터의 피드백 (Compile Error, Time Limit Exceeded 등) 을 활용하여 오류를 수정하고 성능을 점진적으로 향상시킬 수 있습니다.
• **컴파일 오류 (CE)**는 세부 사항 누락으로 인한 경우가 많아 수정이 용이하지만, 시간 초과 (TLE) 오류는 효율적인 알고리즘 설계가 필요하여 모델이 이를 해결하는 데 여전히 어려움을 겪는 것으로 나타났습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 벤치마크의 엄격성: OJBench 는 기존 LiveCodeBench 보다 훨씬 어려운 난이도를 가지며, 최상위 모델들의 성능을 명확하게 차별화합니다.
• 향후 방향 제시:
  1. 단순한 코드 생성을 넘어, 복잡한 알고리즘 설계 및 효율성 최적화 능력이 필요함을 강조합니다.
  2. 경쟁 프로그래밍 환경에서는 C++ 사용이 필수적일 수 있음을 시사합니다.
  3. 모델이 TLE(시간 초과) 와 같은 복잡한 추론 오류를 해결하기 위해서는 더 발전된 알고리즘 사고 능력이 필요함을 보여줍니다.
• 결론: OJBench 는 현재 LLM 의 코드 추론 능력의 한계를 드러내는 동시에, 향후 더 강력한 코드 LLM 을 개발하기 위한 중요한 기준점과 지침을 제공합니다.