NatureBench: Can Coding Agents Match the Published SOTA of Nature-Family Papers?

기술 요약: NatureBench

문제 정의

AI 코딩 에이전트가 출판된 코드를 재현하는 수준을 넘어 자율적인 과학 연구를 수행하는 단계로 진화함에 따라, 심각한 평가의 공백이 발생했습니다. 기존의 과학적 에이전트 벤치마크는 두 가지 주요 한계점을 가집니다:

1. 재현 대 발견 (Reproduction vs. Discovery): 기존의 논문 기반 벤치마크(예: PaperBench, CORE-Bench)는 주로 에이전트가 출판된 방법을 재현하는 능력을 테스트합니다. 이들은 에이전트가 실제 과학적 문제에 대해 경쟁력 있거나 더 우수한 방법을 독립적으로 발견할 수 있는지에 대한 답을 제시하지 못합니다.
2. 환경 파편화 (Environment Fragmentation): 엔지니어링 최적화 벤치마크(예: MLE-bench, PostTrainBench)는 종종 자연과학의 도메인 추론 및 특화된 도구와는 거리가 먼 Kaggle 스타일의 과업이나 사후 학습 목표에 의존합니다. 또한, 이들은 환경 파편화 문제를 겪고 있어 독립적인 검증과 재현 가능한 실행이 취약합니다.

따라서 엔지니어링 대리 지표(proxies)가 아닌, 자연과학에서 추출된 실제 과학적 문제에 대해 에이전트가 발표된 최신 기술(SOTA)을 능가하는 방법을 고안할 수 있는지를 테스트하는, 도전적이면서도 양방향적인 벤치마크가 필요합니다.

방법론: NatureGym 및 NatureBench

저자들은 NatureBench를 소개합니다. 이는 NatureGym을 기반으로 구축된 교차 학문적 벤치마크로, Nature 패밀리 저널의 피어 리뷰 논문에서 추출된 90개의 과업으로 구성되어 있으며, 논문을 재현 가능한 컨테이너화된 과업 패키지로 변환하도록 설계된 자동화 파이프라인입니다.

1. NatureGym 파이프라인

NatureGym은 3단계의 리뷰 게이트 파이프라인을 통해 논문을 표준화된 과업 패키지로 변환함으로써 환경 파편화 문제를 해결합니다:

• 1단계: 논문 필터링: 3단계 캐스케이드 필터를 통해 논문의 과업 추출 가능성(ML 과업을 생성해야 함), 평가 자동화 가능성(결정론적이고 자동화된 지표가 있어야 함), 데이터 완전성(공개적으로 접근 가능하며 50GB 미만이어야 함)을 평가합니다. 적대적 리뷰 단계는 위양성(false positives)을 타겟팅합니다.
• 2단계: 데이터셋 획득 및 검증: 파이프라인은 데이터를 다운로드하고 엄격한 **정보 방화벽(information firewall)**을 구축합니다. 이는 과업 정의(입력)와 소스 논문의 핵심 알고리즘(출력/방법)을 분리합니다. 과업 정의에 필요한 파일(예: 원시 입력, 공유 데이터 준비)만 유지하며, 원래 알고리즘에 특화된 파일은 제외됩니다.
• 3단계: 과업 패키지 구축: 최종 패키지는 과업 브리프, 데이터셋, 숨겨진 정답(ground truth)이 포함된 홀드아웃 테스트 세트, 그리고 자동화된 평가기를 포함합니다. 소스 방법론은 완전히 제거되어, 에이전트가 재현이 아닌 해결책을 발견하도록 강제합니다.

2. 벤치마크 구성

• 출처: Nature Machine Intelligence, Nature Methods, Nature Biomedical Engineering을 포함한 10개의 Nature 패밀리 저널(2022–2025)에서 유래된 90개의 과업.
• 도메인: 6개의 과학적 과업 도메인: 세포 오믹스(Cellular Omics, 31개), 단백질 생물학(Protein Biology, 16개), 생물의학 모델링(Biomedical Modeling, 14개), 물리 모델링(Physical Modeling, 13개), 분자 설계(Molecular Design, 11개), 관계적 추론(Relational Reasoning, 5개).
• 평가 프로토콜: 에이전트는 격리된 Docker 컨테이너 내에서 4시간의 벽시계 시간(wall-clock) 예산과 제한된 접근 권한(웹 검색 불가) 하에 작동합니다. 에이전트는 논문에 보고된 SOTA와 비교하여 점수가 매겨지는 반복적인 솔리션을 제출합니다.
• 지표: 주요 지표는 **SOTA 정규화 상대 격차 ($g$)**입니다:
  $$g_i = \text{dir}_i \cdot \frac{m_i - m_{\text{sota}}}{|m_{\text{sota}}|}$$
  여기서 $m_i$는 에이전트의 점수이고 $m_{\text{sota}}$는 논문에 보고된 SOTA입니다. $g > 0.1$은 SOTA를 능가함을 나타내며, $g \ge 0$은 SOTA와 일치함을 나타냅니다.

3. 실험 설정

10개의 프런티어 에이전트 구성이 웹 검색이 비활성화된 엄격한 프로토콜 하에 평가되었습니다. 여기에는 세 가지 하네스(harness)의 모델들이 포함됩니다:

• Claude Code: Claude Opus 4.6, 4.7, Kimi K2.6, MiniMax-M2.7, DeepSeek-V4-Pro, GLM-5.1, Qwen 3.7 Max와 결합됨.
• Codex CLI: GPT-5.4 및 GPT-5.5와 결합됨.
• Gemini CLI: Gemini 3.5 Flash와 결합됨.

주요 결과

1. 성능 vs. 발표된 SOTA

가장 강력한 에이전트조차 실제 과학적 문제에서 발표된 SOTA를 능가하는 데 어려움을 겪습니다:

• SOTA 능가 ($g > 0.1$): 최고 성능 모델인 Claude Opus 4.7은 과업의 **17.8%**에서만 SOTA를 능가했습니다. 차순위인 Gemini 3.5 Flash와 GPT-5.5는 각각 15.6%와 14.4%를 달성했습니다. 가장 약한 모델(MiniMax-M2.7)은 1.1%에 그쳤습니다.
• SOTA 일치 ($g \ge 0$): 가장 우수한 에이전트는 **47.8%**의 과업에서 SOTA와 일치하거나 이를 초과했습니다. 나머지 에이전트들은 13.3%에서 37.8% 사이의 범위를 보였습니다.
• 유효성: Claude Opus 에이전트들은 100%의 완료 및 점수율과 제로(0)의 무효(지름길) 제출을 기록하며 가장 높은 무결성을 입증했습니다.

2. 성공 및 실패 메커니즘 분석

• 성공 경로: 에이전트가 성공할 때, 주로 방법론적 번역(methodological translation)(45.5%)을 통해 이루어집니다. 즉, 복잡한 과학적 과업을 익숙한 지도 학습 예측 문제로 변환하는 방식입니다. 순수한 과학적 발명이나 도메인 추론 기반의 대안은 성공의 10% 미만을 차지했습니다.
• 실패 모드: 실패는 잘못된 방법 선택(45.1%)과 불충분한 컴퓨팅 예산/시간(24.4%)에 의해 지배됩니다. 과업을 오해하거나 잘못된 형식의 출력을 생성하는 경우는 무시할 만한 수준입니다.
• 도메인 난이도: 도메인 간에 일관된 난이도 구배가 존재합니다. 관계적 추론과 단백질 생물학이 가장 쉬우며, 생물의학 모델링과 분자 설계가 가장 어렵습니다. 학제 간 과업(여러 도메인을 결합한 경우)은 단일 학문 과업보다 일관되게 SOTA와의 격차가 컸습니다.

의의 및 주장

본 논문은 NatureBench가 논문 기반 과업, 진정한 과학적 도메인, 그리고 발견 지향적 평가(SOTA 능가)를 단일 프레임워크로 결합한 최초의 벤치마크라고 주장합니다.

• 재현을 넘어: 결과는 현재의 AI 코딩 에이전트가 엔지니어링 최적화와 알려진 패턴의 재현에는 능숙하지만, 문헌에 기술된 인간 저자의 방법론을 지속적으로 능가하는 진정한 과학적 발견은 아직 불가능함을 시사합니다.
• "번역" 병목 현상: 지배적인 성공 메커니즘은 과학적 문제를 표준 ML 파이프라인으로 번역하는 것이며, 이는 에이전트가 현재 "AI-for-Science" 가속기이지 "AI-native" 문제 해결사가 아님을 나타냅니다. 이들은 알려진 ML 도구를 적용하는 데는 뛰어나지만, 새로운 과학적 발견에 필요한 방법론적 선택에는 어려움을 겪습니다.
• 벤치마크 유효성: 저자들은 정보 방화벽과 SOTA 정규화 지표를 포함한 벤치마크 설계가, 기존 벤치마크의 파편화 및 신뢰성 문제를 해결하며 자율적 과학 연구를 평가하기 위한 신뢰할 수 있고 재현 가능하며 표준화된 방법을 제공한다고 주장합니다.

저자들은 차세대 과학적 발견 에이전트를 위한 훈련 데이터로 이 기질들을 전환하는 연구를 촉진하기 위해 벤치마크, NatureGym 파이프라인, 그리고 공개 리더보드를 배포합니다.