D3-Gym: Constructing Real-World Verifiable Environments for Data-Driven Discovery

"Data-Driven Discovery 를 위한 실세계 검증 가능 환경 구축: D3-Gym" 논문에 대한 상세 기술 요약입니다.

1. 문제 제기

과학적 추론을 위한 대규모 언어 모델 (LLM) 의 발전에도 불구하고, **데이터 기반 발견 (DDD)**에서의 진전은 적합한 인프라 부재로 인해 저해받고 있습니다. 구체적으로 다음과 같은 문제가 있습니다:

• 검증 가능 환경의 부재: 소프트웨어 공학에서는 리포지토리에 단위 테스트가 존재하는 것과 달리, 과학 리포지토리에는 사전에 정의된 평가 스크립트가 거의 포함되어 있지 않습니다.
• 도메인 특화 복잡성: 과학적 산출물 (예: 분자 시뮬레이션, 지리 공간 지도) 은 보편적 기준으로는 검증될 수 없습니다. 정확성은 도메인 특화 논리, 지표, 그리고 물리적 타당성에 의존합니다.
• 확장성 병목 현상: 평가 스크립트가 포함된 실행 가능한 환경을 구축하는 작업은 현재 상당한 수동 노력이 필요하여, 오픈 가중치 모델을 위한 대규모 학습 데이터셋 생성을 방해하고 있습니다.

2. 방법론: D3-Gym 구축 파이프라인

저자들은 과학적 작업을 위한 검증 가능 환경을 갖춘 최초의 자동 구축 데이터셋인 D3-Gym을 제안합니다. 구축 워크플로우는 네 단계로 구성됩니다:

A. 작업 전처리

1. 수집: AutoSDT를 사용하여 GitHub 리포지토리를 크롤링하여 데이터 기반 워크플로우를 구현하는 코드를 추출하고, 이를 자연어 지시문과 짝짓습니다.
2. 필터링 및 미리보기 생성:
   • 합성 데이터를 사용하는 작업은 폐기하고, 원래 리포지토리에 존재하는 실제 데이터 파일을 기반으로 작동하는 작업만 유지합니다.
   • LLM 에이전트를 사용하여 하류 평가에 정보를 제공하기 위해 데이터 스키마를 노출하는 구조화된 발췌문인 데이터셋 미리보기를 생성합니다.
3. 실행 및 검증:
   • 격리된 환경에서 참조 솔루션을 실행합니다.
   • 요청된 모든 산출물이 생성되었으며 비퇴화적 (의미 있는 내용, 오류 없음) 인지 확인하기 위해 멀티모달 LLM-as-Judge(GPT-5.2) 를 활용합니다.

B. 자동 평가 스크립트 생성 (핵심 기여)

평가 스크립트 부재를 해결하기 위해 저자들은 2 단계 "계획 후 코딩 (Planning-then-Coding)" 접근법을 사용합니다:

1. 계획 단계: LLM(Claude Sonnet 4.5) 이 작업 지시문, 데이터셋 미리보기, 검증된 참조 산출물을 분석하여 상세한 평가 계획을 생성합니다. 이 계획은 다음을 명시합니다:
   • 검사할 아티팩트.
   • 과학적으로 적절한 지표 (예: 불균형 데이터용 F1 점수, 회귀 분석용 RMSE).
   • 수용 기준 (임계값, 허용 오차, 도메인에서 정당화된 범위).
2. 코딩 단계: 동일한 LLM 이 해당 계획을 실행 가능한 Python 평가 스크립트(은색 스크립트, Silver Script) 로 변환합니다.

C. 검증

자동 생성된 "은색 스크립트"의 품질은 박사 과정 학생들이 수동으로 주석한 50 개 작업의 골드 스탠다드 세트를 기준으로 검증됩니다. 지표에는 통과/실패 일치도 및 지표 선택, 임계값, 대상 아티팩트에 대한 정렬이 포함됩니다.

3. 주요 기여

• D3-Gym 데이터셋: 네 가지 학문 분야에 걸친 239 개 고유 과학 리포지토리에서 수집된 565 개의 검증 가능 환경 모음:
  • 계산 화학
  • 생정보학
  • 지리 정보 과학 (GIS)
  • 심리학 및 인지 신경과학
• 종합적 작업 구조: 각 인스턴스에는 실행 가능한 환경 (사전 설치된 종속성), 입력 데이터 미리보기, 작업 지시문, 참조 솔루션, 자동 평가 스크립트가 포함됩니다.
• 자동 검증 파이프라인: 인간의 개입 없이 도메인 특화 평가 논리를 종합하는 새로운 워크플로우로, 인간 전문가와 높은 정합성을 달성합니다.
• ScienceAgentBench-검증: 원래 벤치마크의 모호함과 오류를 수정하기 위해 기존 ScienceAgentBench 를 수동으로 수정한 버전입니다.

4. 실험 결과

A. 평가 스크립트 품질

• 일치도: 생성된 스크립트는 인간이 주석한 골드 스크립트와 통과/실패 판정에서 87.5% 일치도를 달성합니다.
• 논리 정렬: 평가 논리 정렬에서 높은 점수 (5.0 만점 중 4.00) 를 받아 스크립트가 과학적으로 타당한 지표와 임계값을 사용함을 확인했습니다.
• 절제 실험: "계획" 단계를 제거하면 재현율 (recall) 이 3.4% 로 급격히 감소하여, 고수준 과학적 추론과 코드 생성을 분리하는 것이 중요함을 입증했습니다.

B. 모델 학습 성능

저자들은 D3-Gym 에서 샘플링된 궤적을 사용하여 **거부 샘플링 미세 조정 (RFT)**으로 오픈 가중치 Qwen3 모델을 학습시켰습니다.

• 성능 향상: D3-Gym 을 통한 학습은 모든 모델 크기에서 일관된 개선을 가져왔습니다.
  • Qwen3-32B: ScienceAgentBench 에서 성공률 (SR@3) 이 7.8 포인트 절대 향상되었습니다 (19.6% 에서 27.4% 로).
  • Qwen3-14B: SR@3 가 5.9 포인트 향상되었습니다.
• 확장성: D3-Gym 으로 학습된 더 작은 모델 (예: 32B) 은 학습되지 않은 더 큰 모델 (예: Qwen3-80B 및 Qwen3-235B) 을 능가했으며, OpenAI o1-preview 및 Claude Sonnet 4.5와 같은 강력한 독점 모델과의 격차를 좁혔습니다.
• 자기 개선: 더 큰 규모에서 자신의 성공적인 궤적으로 학습된 모델 (RFT-Self) 은 교사 궤적으로 학습된 모델 (RFT-Distill) 보다 더 잘 수행되어, 온-정책 데이터가 더 효과적임을 시사합니다.

C. 오류 분석

학습은 특정 오류 유형을 현저히 감소시켰습니다:

• 데이터 스키마 오류: 44.7% 감소.
• 데이터 유형/형태 오류: 60.4% 감소.
• 시각화 오류: 15.0% 감소.
• 참고: 모델이 실행 가능한 코드를 더 많이 생성함에 따라 논리/알고리즘 오류가 약간 증가했는데, 이는 실패 모드가 "코드 충돌"에서 "의미론적으로 부정확한 논리"로 전환된 것이며, 이는 향후 정제를 위한 더 해결 가능한 문제입니다.

5. 의의

• 격차 해소: D3-Gym 은 검증 가능한 피드백을 갖춘 실세계 과학 작업에 LLM 을 학습시키기 위한 최초의 확장 가능 자동 인프라를 제공하며, 이는 과거 수동 큐레이션에 국한되었던 능력을 가능하게 합니다.
• 과학적 AI 의 민주화: 고품질 검증 가능 학습 데이터를 통해 오픈 가중치 모델이 독점 시스템의 성능에 근접할 수 있게 함으로써 과학 발견 도구의 진입 장벽을 낮춥니다.
• 방법론적 발전: 평가 스크립트 생성을 위한 "계획 후 코딩" 접근법은 단위 테스트가 존재하지 않는 다른 복잡한 도메인 특화 분야에서 검증 가능 환경을 구축하기 위한 청사진을 제공합니다.
• 자원 가용성: 데이터셋, 구축 워크플로우, 학습된 모델은 오픈 소스로 공개되어 에이전트 과학 발견 분야의 재현성과 추가 연구를 장려합니다.

결론: D3-Gym 은 자동 구축된 검증 가능 환경이 과학적 데이터 기반 발견에서 LLM 의 능력을 향상시키는 강력한 촉매제임을 보여주며, 오픈 가중치 모델을 복잡한 과학 워크플로우를 위한 경쟁력 있는 에이전트로 효과적으로 전환합니다.