FrontierScience: Evaluating AI's Ability to Perform Expert-Level Scientific Tasks

기술 요약: FrontierScience

문제 정의

언어 모델이 과학적 추론 분야에서 급격히 발전함에 따라, 기존의 벤치마크들이 포화 상태에 이르고 있습니다. GPQA 및 MMLU와 같은 기존 평가 방식은 다지선다형 형식을 사용하거나 지식 검색 작업에 의존하는 경우가 많아, 전문가 수준의 과학적 추론이 가진 복잡성을 온전히 포착하지 못합니다. 또한, 현재의 많은 데이터셋은 기존 문제를 포함하고 있어, 진정한 추론 능력을 측정하는 것인지 아니면 단순 암기 능력을 측정하는 것인지에 대한 데이터 오염(contamination) 우려를 제기합니다. 따라서 어렵고, 검증 가능하며, 독창적이고, 제약된 문제 해결과 개방형 연구 과제 모두를 대표할 수 있는 차세대 벤치마크가 절실히 필요합니다.

방법론

벤치마크 구축

저자들은 물리학, 화학, 생물학을 아우르는 수백 개의 질문으로 구성된 FrontierScience 벤치마크를 소개합니다. 이 데이터셋은 두 가지 뚜렷한 트랙으로 나뉩니다:

1. FrontierScience-Olympiad (올림피아드):

   • 내용: 500개 이상의 초기 후보군에서 추출된 160개의 오픈 소스 골드 세트로 구성되며, 국제 과학 올림피아드(예: IPhO, IChO, IBO)의 도전을 모사하도록 설계되었습니다.
   • 제작: 총 108개의 올림피아드 메달을 보유한 42명의 전직 국제 메달리스트 및 국가대표 코치들이 문제를 출제하고 검증했습니다.
   • 형식: 정밀한 해답(물리학/화학의 경우 수치 또는 대수식, 생물학의 경우 퍼지 문자열 매칭)을 요구하는 단답형 형식입니다.
   • 독창성: 모든 문제는 참신하며, 데이터 오염을 방지하기 위해 기존 아이디어로부터 재맥락화되었고, 제작 단계에서 현재의 내부 모델들이 풀 수 없음을 검증받았습니다.

2. FrontierScience-Research (연구):

   • 내용: 실제 박사 과정 수준의 연구에서 마주치는 하위 문제들을 나타내는 60개의 골드 세트(200개 이상의 초기 후보군 중 추출)로 구성됩니다.
   • 제작: 세계적으로 인정받는 기관의 전문가(박사 과정생, 포스트닥터, 교수) 45명이 출제 및 검증하였습니다.
   • 형식: 판단력과 추론을 요구하는 개방형 과제로, 인간 전문가가 완료하는 데 약 3~5시간이 소요될 것으로 추정됩니다.
   • 평가 아키텍처: Olympiad 세트와 달리, Research 과제는 세밀한 루브릭 기반 시스템을 사용하여 평가됩니다. 각 질문에는 독립적이고 객관적으로 평가 가능한 항목(예: "방정식 X를 작성함")을 포함한 10점 만점의 루브릭이 포함됩니다. 10점 만점에 7점을 획득하면 성공적인 솔루션으로 간주됩니다.
   • 검증: 인간 평가자 없이 평가를 확장하기 위해, 저자들은 "판단 모델"(높은 추론 노력을 기울인 GPT-5)을 사용하여 모델의 출력을 루브릭에 따라 채점합니다.

데이터 파이프라인

구축 프로세스는 생성(Creation), 검토(Review), 해결(Resolution), 수정(Revision)의 4단계로 진행됩니다.

• 검토(Review): 전문가들이 서로의 과제를 독립적으로 검토합니다. Research 세트의 경우, 각 문제는 최소 2회의 독립적인 검토와 1회의 메타 검토를 거칩니다.
• 선택(Selection): 내부 모델이 정답을 맞히거나(Olympiad) 높은 점수를 받는(Research) 질문들은 난이도를 보장하기 위해 폐기되거나 대폭 수정됩니다.
• 골드 세트(Gold Set): 최종 메타 검토를 통해 데이터셋을 오픈 소스 골드 세트로 필터링하며, 나머지는 잠재적인 데이터 오염을 추적하기 위해 별도로 보관됩니다.

주요 기여

1. 이중 트랙 벤치마크: 제약된 정밀 문제 해결(Olympiad)과 개방형 연구 스타일의 추론(Research)을 동시에 평가하는 벤치마크를 도입했습니다.
2. 전문가 작성의 독창성: 데이터 오염 위험을 최소ize하기 위해 주제 전문가(메달리스트 및 박사급 과학자)가 직접 만든 완전히 새로운 문제들로 구성되어 높은 수준의 난이도, 독창성 및 사실성을 보장합니다.
3. 연구를 위한 루브릭 기반 평가: 상세한 10점 만점 루브릭을 사용하여 개방형 과학 과제를 평가하는 새로운 아키텍처를 제시합니다. 이를 통해 최종 정답의 정확성뿐만 아니라 중간 추론 단계와 실패 분석까지 평가할 수 있습니다.
4. 포괄적인 도메인 커버리지: 양자 전기 역학부터 합성 유기 화학, 발생 생물학, 신경 과학에 이르기까지 광범위한 세부 분야를 아우릅니다.

결과

여러 프런티어 모델(GPT-4o, o3, o4-mini, GPT-5, GPT-5.1, GPT-5.2, Claude Opus 4.5, Gemini 3 Pro, Grok 4 포함)에 대한 초기 평가 결과는 다음과 같습니다:

• 최고 성능 모델: GPT-5.2가 가장 높은 종합 점수를 기록했습니다:
  • Olympiad 세트: 77%
  • Research 세트: 25%
• 비교 성능:
  • Gemini 3 Pro는 Olympiad 세트에서 76%를 기록하여 GPT-5.2와 유사한 성능을 보였습니다.
  • GPT-5는 Research 세트에서 GPT-5.2와 동일한 점수(25%)를 기록했으며, GPT-5.1보다 높은 성능을 보였습니다.
• 주제별 분포: 모델들은 일반적으로 Olympiad 세트에서는 화학에서 가장 좋은 성적을 보였으며, 물리, 생물 순으로 나타났습니다. Research 세트에서는 화학에서 가장 높은 성능을 보였고, 그 뒤를 생물과 물리가 이었습니다.
• 추론 노력(Reasoning Effort): 추론 노력(테스트 타임 토큰)을 높일수록 GPT-5.2의 성능이 크게 향상되었습니다. Olympiad 점수는 67.5%에서 77.1%로, Research 점수는 18%에서 25%로 상승했습니다. 반대로, o3 모델은 높은 추론 노력에서 중간 정도의 노력일 때보다 Research 세트에서 약간 낮은 성능을 보였습니다.
• 실패 모드: 트랜스크립트 분석 결과, 모델들은 주로 추론/논리 오류, 니치(niche)한 개념에 대한 오해, 계산 오류, 그리고 사실 관계의 부정확함에서 어려움을 겪는 것으로 나타났습니다.

의의 및 한계

본 논문은 FrontierScience가 기존 벤치마크보다 전문가 수준의 과학적 추론에 대한 모델의 강점과 약점을 더 진단적인 관점에서 제공한다고 주장합니다. 이는 프런티어 AI 시스템이 자기 완결적이고 제약된 문제(Olympiad 수준)를 해결하는 데는 상당한 진전을 이루었으나, 개방형 연구 스타일의 작업(Research 수준)에서는 여전히 갈 길이 멀다는 것을 보여주며, 향후 개선을 위한 상당한 여지가 남아 있음을 입증합니다.

저자들은 다음과 같은 몇 가지 한계점을 명시적으로 인정합니다:

• 제약된 문제 해결: (문장이 끊김)