기술 요약: SCICODEPILE

문제 정의

대규모 언어 모델(LLM)이 범용 코드 생성에서는 숙련도를 보여주었으나, 과학적 코드 생성(scientific code generation) 능력을 다루는 데 있어서는 여전히 불충분하게 평가되고 있습니다. 기존의 자원들은 두 가지 주요한 한계점을 가집니다:

1. 규모 및 도메인 커버리지: 현재의 벤치마크(예: SciCode, MatTools)는 대규모 학습을 하기에는 너무 작거나 과학적 도메인의 다양성이 부족합니다. 반대로, ChemPile과 같은 대규모 데이터셋은 화학 중심적이며 노이즈가 많은 키워드 기반 필터링에 의존하는 경우가 많습니다.
2. 평가의 엄밀성: 기존 벤치마크들은 실행 가능한 검증(executable verification) 기능이 결여된 경우가 많습니다. 이들은 단순한 텍텍스트 유사도 지표(예: BLEU)에 의존하며 기능적 정확성을 포착하지 못하므로, 신뢰할 수 있는 과학 소프트웨어에 필요한 복잡한 수치 논리, 도메인 특화 시맨틱스, 그리고 프로젝트 수준의 의존성을 제대로 반영하지 못합니다.

결과적으로, 현재의 LLM과 실행 가능한 과학적 코드를 생성하는 능력 사이의 간극은 아직 완전히 이해되지 않았습니다.

방법론

저자들은 SCICODEPILE을 제시합니다. 이는 128GB 규모의 과학적 코드 코퍼스와 실행 가능한 벤치마크로 구성된 종합적인 프레임워크입니다. 구축 파이프라인은 밀접하게 결합된 세 가지 구성 요소로 이루어져 있습니다:

1. 저장소 큐레이션 (구성 요소 1)

단순한 키워드 필터링 대신, 저자들은 검색 후 필터링(retrieve-then-filter) 파이프라인을 채택했습니다:

• 어휘 확장: 5가지 주요 과학 도메인(화학, 생명 과학, 제약, 수치 해석, AI 기반 모델링)에 걸친 198개의 시드 키워드에서 시작하여, LLM을 통해 동의어, 약어, 하위 주제를 포함한 213개의 쿼리로 확장했습니다.
• 검색 및 필터링: 파이프라인은 GitHub를 쿼리하여 약 130만 개의 후보를 검색합니다. 그 후 보수적인 휴리스틱을 적용합니다: 별점이 10개 미만인 저장소를 제외하고, 문서 전용 프로젝트를 제거하며, LLM(Qwen3-32B)을 사용하여 README가 단순한 키워드 언급이 아닌 실제 계산 구현을 설명하는지 확인합니다.
• 결과: 큐레이션된 37,737개의 고품질 저장소 풀을 확보했습니다.

2. 다중 입도 데이터 정렬 (구성 요소 2)

큐레이션된 저장소들은 서로 다른 학습 및 평가 요구를 지원하기 위해 네 가지 상호 보완적인 데이터 형식으로 변환됩니다:

• F1 (Raw Code Files): Python, C/C++, Fortran, Julia 등을 포함하는 중복 제거된 125GB의 코드(326만 개 파일)로, 지속적 사전 학습(continued pretraining)에 적합합니다.
• F2 (README Summary): 저장소의 의도, 의존성 및 I/O 관례에 대한 구조화된 요약으로, 프로젝트 수준의 근거를 제공합니다.
• F3 (Function Instruction): 실제 코드와 자연어 설명을 쌍으로 하는 50만 개의 함수 수준 인스턴스입니다. 이는 증거 기반 프롬프트를 사용하여 생성되었으며, 과학적 관련성에 대해 도메인 특화 모델(NatureLM)에 의해 검증되었습니다.
• F4 (Problem–Solution Pairs): F3 스니펫에서 유도된 2만 개의 지시문-솔루션 쌍으로, 실제 코드에 기반하면서도 학습 신호의 다양성을 높이도록 설계되었습니다.

3. 실행 가능한 벤치마크 구축 (구성 요소 3)

기능적 검증의 부재를 해결하기 위해, 저자들은 200개의 태스크로 구성된 벤치마크를 구축합니다:

• 태스크 정의: F3에서 유도되었으며, 자연어 과학 요구사항을 실행 가능한 Python 코드로 번역하는 것을 요구합니다.
• 테스트 합성: 각 태스크에 대해, LLM(GPT-5.3-Codex)이 최소 실행 환경과 테스트 하네스(test harness)를 자동으로 합성합니다. 외부 의존성은 샌드박스 호환성을 보장하기 위해 경량 스텁(stub)으로 대체됩니다.
• 검증: 모델이 생성한 코드가 샌드박스 환경 내의 모든 테스트 어설션(assertion)을 통과하는지 여부로 모델을 평가합니다. 참조 구현이 모든 테스트를 통과하는 인스턴스만 유지합니다.

주요 기여

1. SCICODEPILE 코퍼스: 현재까지 가장 큰 규모의 과학적 코드 코퍼스(128GB, 37,737개 저장소)로, 저장소 수준의 문서와 함수 수준의 증거 및 태스크 수준의 정식화를 명시적으로 연결하도록 구성되었습니다.
2. 실행 가능한 벤치마크: 샌드박스 실행과 자동화된 테스트 하네스를 갖춘 200개 태스크 벤치마크를 통해, 텍스트 유사도를 넘어 기능적 검증을 가능하게 합니다.
3. 체계적 경험적 평가: 15개의 다양한 LLM(오픈 소스 및 폐쇄형 소스)을 대상으로 세 가지 작업(접두사-접미사 완성, 중간 채우기, 지시 이행 실행 가능 생성)에 대한 포괄적인 연구를 수행했습니다.
4. 학습 유용성 검증: F1을 통한 지속적 사전 학습과 F3/F4를 통한 지시 튜닝이 과학적 작업에서의 모델 성능을 유의미하게 향상시킨다는 실험적 증거를 제시합니다.

실험 결과

평가는 현재 모델들에게 과학적 코드 생성이 여전히 큰 도전 과제임을 보여줍니다:

• 코드 완성 (PTS & FIM): 가장 성능이 좋은 모델(Qwen2.5-Coder-7B-Instruct)조차 CodeBLEU 점수가 접두사(prefix)의 경우 38.13, 중간 채우기(fill-in-the-middle)의 경우 38.37에 불과했습니다. 이는 모델들이 불완전한 문맥으로부터 프로젝트 수준의 관례와 도메인 특화 로직을 추론하는 데 어려움을 겪고 있음을 나타냅니다.

• 실행 가능한 생성: 기능적 정확성이 요구될 때 성능이 급격히 떨어집니다. 가장 강력한 모델인 GPT-5.4-mini는 실행 가능한 벤치마크에서 단 12.30%의 Pass@1을 달s성했습니다. StarCoder2와 같은 특화된 코드 모델을 포함한 대부분의 다른 모델들은 0%에 가까운 점수를 기록했습니다.

• 실패 패턴:

  • *지시 튜닝된 모델(Instruction-tuned models)*은 일반적인 보일러플레이트 코드를 생성하거나 조기에 중단되는 경향이 있으며, 파일 수준의 일관성을 놓칩니다.
  • 베이스 코드 모델(Base code models)(예: StarCoder2)은 자연어 지시를 따르라는 요청을 받았을 때 구문 오류로 인해 자주 실패합니다.
  • *고급 모델(Advanced models)*은 구문적으로는 유효하지만, 누락된 필드, 잘못된 로직 또는 런타임 에러로 인해 실행에 실패하는 코드를 생성하는 경우가 많습니다.

• 학습 효과:

  • GPT-2 (124M)를 F1로 지속적 사전 학습했을 때 CodeBLEU가 2.84배 향상되었습니다.
  • Qwen2.5-Coder-0.5B를 F3/F4로 지시 튜닝했을 때 실행 가능한 벤치마크의 Pass@1이 1.90%에서 **9.10%(4.79배)**로 향상되었습니다.

의의 및 주장

본 논문은 SCICODEPILE이 과학적 코드 생성을 체계적으로 발전시키기 위한 필수적인 인프라를 제공한다고 주장합니다. 대규모 도메인 집중형 코퍼스와 엄격한 실행 가능 검증을 결합함으로써, 이 연구는 다음을 달성합니다:

• 간극의 정량화: 현재의 모델들이 신뢰할 수 있는 과학적 코드 생성기로부터 얼마나 멀리 떨어져 있는지 입증하며, 복잡한 과학 도메인에서 구문적 유효성과 기능적 정확성 사이의 간극을 메우는 것이 얼마나 어려운지를 보여줍니다.
• 미래 연구 지원: 도메인 특수성이 결여된 일반 코딩 벤치마크를 넘어, 과학적 작업에 대해 모델을 훈련하고 평가할 수 있는 표준화된 자원을 제공합니다.
• 학습 신호 검증: 경량 튜닝 실험에서 나타난 상당한 성능 향상을 통해, 본 코퍼스가 효과적인 학습 신호를 제공함을 확인합니다.

저자들은 미래의 과학적 코드 모델이 올바른 구현을 생성하기 위해 저장소 컨텍스트와 외부 의존성을 더 잘 활용해야 한다고 결론지으며, SCICODEPILE이 신뢰할 수 있는 과학 소프트웨어 개발을 위한 AI 어시스턴트로 나아가는 기초적인 단계 역할을 한다고 강조합니다.