1. 문제 제기 (Problem)

대형 언어 모델 (LLM) 이 과학적 보조 도구로 활용되고 있지만, 실증 데이터 (empirical data) 에 기반한 추론 능력을 평가하는 데에는 여전히 큰 어려움이 존재합니다. 기존의 벤치마크는 다음과 같은 한계를 가지고 있습니다.

• 편향성 (Bias): 출판된 연구는 긍정적이고 '정리된' 결과에 치중되어 있어 (Publication Bias), 데이터가 부족하여 결론을 내릴 수 없는 경우 (Unanswerable) 를 평가하기 어렵습니다. 또한, 기존 지식에 의존하는 모델의 선입견 (Known-knowledge bias) 이 새로운 결론을 가릴 수 있습니다.
• 노이즈 및 불명확성: 인간이 직접 라벨을 달면 오기 (Label Noise) 와 모호한 정답 (Ground Truth) 이 발생할 수 있습니다.
• 확장성 및 비용: 대규모 과학 코퍼스를 저장하고 배포하는 것은 비용이 많이 들고 법적 제약이 따릅니다.
• 평가의 부재: 데이터가 불충분할 때 "답할 수 없다"고 판단하는 능력 (Abstention) 과 도구 (Tool) 를 활용한 분석 능력을 통제된 환경에서 평가할 수 있는 도구가 부족합니다.

2. 방법론 (Methodology)

저자들은 InfiniteScienceGym을 제안합니다. 이는 무한한 규모의 과학적 데이터 저장소와 검증 가능한 질문 - 답변 (QA) 태스크를 생성하는 프로시저럴 (Procedural) 생성 벤치마크입니다.

핵심 구성 요소

1. 시뮬레이터 (Simulator):

   • 무작위 시드 (Seed) 를 입력받아 결정론적으로 (Deterministically) 과학 연구 저장소를 생성합니다.
   • 생성 과정:
     1. 과학적 문맥: 계층적 분류 체계 (Field, Domain, Subdomain) 에서 무작위로 샘플링.
     2. 프로젝트 명세: LLM 을 사용하여 가설, 변수, 실험 설계 등을 포함한 프로젝트 설명과 초록 생성.
     3. 디렉토리 구조: 프로젝트 명세를 기반으로 실제 연구소와 유사한 파일 시스템 구조 (폴더, 파일명) 생성.
     4. 파일 내용: 독립 변수와 종속 변수를 정의하고, LLM 이 생성한 함수와 확률 분포를 기반으로 실제 표본 데이터 (Tabular Data) 를 생성.
   • 이 과정은 저장소 #1 이 시드 1 로 항상 동일하게 재생성되도록 설계되어 재현성이 보장됩니다.

2. QA 생성기 (QA Generator):

   • 시뮬레이션의 내부 과정에 대한 **특권적 접근 (Privileged Access)**을 가집니다.
   • 답할 수 있는 질문 (Answerable): 저장소 데이터로 정답을 계산할 수 있는 질문.
   • 답할 수 없는 질문 (Unanswerable): 변수 누락, 정의 모호성, 통계적 힘 부족 등으로 인해 정답을 구할 수 없는 질문을 구조적으로 보장하여 생성합니다.

3. 패러프레이즈 모듈 (Paraphrase Module):

   • 템플릿 형태의 질문을 자연스러운 연구자 질문으로 변환하여, 표면적 형태 (Surface-form) 변화에 대한 견고성을 평가합니다.

평가 환경

• 모델은 저장소 내용을 탐색하고, 분석이 필요할 때 코드 인터프리터 (Python) 및 파일 읽기 도구를 사용할 수 있는 에이전트 설정으로 평가됩니다.
• 평가 대상: GPT-5.4, Claude Opus 4.6 등 독점 모델과 GPT-OSS 20B, Gemma 3 27B, Qwen3 4B 등 오픈 가중치 모델.

3. 주요 기여 (Key Contributions)

1. InfiniteScienceGym 도입: 저장소 기반 과학적 탐구와 검증 가능한 QA (답할 수 없는 질문 포함) 를 결합한 프로시저럴 벤치마크 제안.
2. 실용적인 생성 파이프라인: 대규모 정적 데이터셋을 저장하지 않고도, 시드 기반으로 무한히 재생성 가능한 재현성 있는 데이터와 정답 쌍을 생성하는 방법론 제시.
3. 포괄적인 평가 결과: 독점 및 오픈 모델 모두를 평가하여, 답할 수 없는 질문에 대한 식별 실패가 주요 약점임을 규명. 또한, 토큰 사용량이 아닌 **도구 상호작용 (Tool Interaction)**의 효율성이 성능을 결정함을 발견.
4. 실제 데이터 벤치마크의 보완제: 출판된 데이터셋만으로는 평가하기 어려운 통제된 맹점 (Blind spots) 과 실패 모드를 포착하는 새로운 평가 프레임워크 제공.

4. 실험 결과 (Results)

• 전반적 성능: 평가된 모든 모델의 전체 정확도는 45% 미만 (최고 모델 GPT-5.4 기준 44.8%) 으로 매우 낮았습니다. 독점 모델이 오픈 모델보다 약 6.4%p 더 우수했으나, 여전히 과학적 추론에는 한계가 있음을 보여줍니다.
• 답할 수 없는 질문 식별 (Abstention):
  • 모든 모델이 데이터가 부족할 때 "답할 수 없다"고 판단하는 데 실패했습니다.
  • 오픈 모델은 특히 **높은 정밀도 (Precision) 와 낮은 재현율 (Recall)**을 보이며, 답할 수 없는 질문에도 무조건 답을 시도하는 경향이 강했습니다.
• 전략 분석 (Tool Use vs. Token Usage):
  • 토큰 사용량: 성능과 양의 상관관계가 없었습니다. 오히려 성능이 낮은 모델은 방대한 데이터를 컨텍스트 윈도우에 로드하려다 토큰을 낭비했습니다.
  • 도구 사용: 정확도는 도구 호출 횟수 (Tool Calls) 와 강한 양의 상관관계를 보였습니다. 우수한 모델 (예: GPT-5.4) 은 파일을 직접 로드하지 않고 코드 인터프리터를 통해 프로그래밍적으로 데이터를 분석하여 효율적으로 정답을 도출했습니다.
• 질문 유형별 성능: 메타데이터 확인은 잘 수행했으나, 디렉토리 탐색, 조건부 필터링, 단변량/이변량 통계 계산이 포함된 복잡한 질문에서는 성능이 급격히 떨어졌습니다.

5. 의의 및 결론 (Significance)

• 통제된 평가 환경: InfiniteScienceGym 은 실제 과학 데이터의 복잡성을 모방하면서도, 정답과 답할 수 없는 경우를 완벽하게 통제할 수 있어 모델의 추론 능력과 불확실성 처리 능력을 정밀하게 측정할 수 있습니다.
• 에이전트 행동의 중요성: 과학적 보조 도구로서 LLM 의 성공은 단순히 많은 토큰을 소비하거나 지식을 암기하는 것이 아니라, 적절한 도구를 선택적으로 사용하여 데이터를 프로그래밍적으로 처리하는 능력에 달려 있음을 시사합니다.
• 향후 연구 방향: 이 벤치마크는 실제 데이터 기반 평가의 보완재로, 모델이 가상의 데이터 환경에서 어떻게 반응하는지, 특히 "알지 못함"을 인정하는 능력과 도구 활용 전략을 검증하는 데 필수적입니다.

요약하자면, InfiniteScienceGym 은 과학적 데이터 기반 추론을 평가하기 위한 새로운 패러다임을 제시하며, 현재 LLM 들이 데이터 부족 상황을 인식하고 도구를 효과적으로 활용하는 능력에서 여전히 미흡함을 드러냈습니다.