기술 요약: CODEDISTILLER

문제 제기

자동 과학 발견 (ASD) 시스템은 과학적 통찰력을 도출하기 위해 코드 기반 실험을 생성하고 실행하는 것을 목표로 합니다. 그러나 현재 시스템은 중요한 한계에 직면해 있습니다: 코드 생성을 위해 파라미터 지식(모델 학습 중 획득한 정보) 에 크게 의존한다는 점입니다. 이는 모델의 학습 데이터에 명시적으로 존재하지 않는 매우 구체적인 방법, 측정, 또는 프로토콜이 필요한 실험 수행 능력을 제한합니다. 결과적으로 기존 접근 방식은 소수의 수동으로 제작된 실험 예제를 변형하거나 제한된 품질과 범위로 작동하도록 강요받습니다. 과학 저장소에서 이용 가능한 방대하고 비정형화된 코드를 에이전트가 신뢰할 수 있게 사용할 수 있는 검증된 기능적 예제로 변환할 수 있는 확장 가능한 방법이 부족합니다.

방법론: CODEDISTILLER

저자들은 대규모 과학 GitHub 저장소 컬렉션을 도메인별 작동 코드 예제 라이브러리로 자동으로 증류하는 시스템인 CODEDISTILLER를 소개합니다. 워크플로우는 두 가지 주요 단계로 구성됩니다:

1. 관련 파일 분류

저장소에는 종종 수백 개의 중첩된 파일이 포함되어 있으므로, 시스템은 먼저 정적 정보 수집을 수행하여 저장소의 핵심 기능과 관련된 파일을 식별합니다.

• 프로세스: LLM 이 개별 파일을 스캔하여 코arse-grained 유형 (코드, 문서, 스크립트, 데이터, 기타) 과 더 세분화된 카테고리 (예: 진입점, 지침, 기존 예제) 로 분류합니다.
• 점수 매기기: 각 파일은 관련성 점수 (1~5) 와 컴퓨팅 요구 사항 (예: GPU 필요 여부) 또는 중요한 구성 지침에 대한 메타데이터가 할당됩니다.
• 목표: 컨텍스트 창을 필터링하여 코드 생성 모델에게 작업과 가장 관련성이 높은 파일만 제공하여 성공 확률을 높이는 것입니다.

2. 코드 생성 및 반복적 디버깅

가장 높은 순위를 받은 파일과 저장소의 핵심 목적을 사용하여 시스템은 작동하는 예제를 생성하고 디버깅합니다.

• 생성: 기본 LLM 이 네 가지 구성 요소를 생성합니다: (1) 실행 가능한 Python 코드, (2) 라이브러리 요구 사항, (3) Conda 환경 설정이 포함된 Bash 런스크립트, (4) 메타데이터 (설명, 리소스 요구 사항, 포함/제외 기준).
• 실행 및 계측: 코드는 Ubuntu 클라우드 컨테이너에서 실행됩니다. 시스템은 타임스탬프가 찍힌 로그, JSON 결과, 그리고 원본 STDOUT/STDERR을 포함한 출력을 캡처합니다.
• LLM-as-a-Judge 루프: LLM 이 실행 로그를 평가하여 코드가 올바르게 작동했는지 판단합니다. 문제가 감지되면 시스템은 로그를 반성하고 코드를 수정합니다. 이 루프는 성공하거나 일반적으로 8 회 반복이라는 한도에 도달할 때까지 반복됩니다.
• 출력: 성공적인 예제는 하류 ASD 에이전트에 적합한 자체 완결형 즉시 사용 가능한 스크립트입니다.

주요 기여

1. CODEDISTILLER 시스템: 자동 과학 발견 시스템을 위한 디버깅된 작동 예제로 전문 과학 GitHub 저장소를 자동으로 변환하는 새로운 파이프라인.
2. 재료 과학 평가: 250 개의 재료 과학 저장소에 대한 경험적 평가로, 모델의 능력과 비용에 따라 기본 모델이 저장소의 26% 에서 74% 사이를 성공적으로 증류할 수 있음을 입증.
3. 하류 영향: CODEDISTILLER 로 생성된 라이브러리로 CodeScientist 에이전트를 보강하면 일반 도메인 코드 예제에만 의존하는 에이전트보다 더 정확하고 완전하며 과학적으로 타당한 실험이 수행된다는 증거.
4. 평가 지표 분석: "LLM-as-a-Judge"와 도메인 전문가 평가 간의 일치에 대한 상세한 특성화. 하류 A/B 테스트에서는 중간 정도의 일치를 보였으나 증류 작업 자체에서는 일치가 변동적임을 발견.

결과

증류 성능

시스템은 GPT-OSS-120B, GPT-5, Claude Sonnet 4.5라는 세 가지 기본 모델을 사용하여 평가되었습니다.

• 성공률: 자동 지표 (LLM-as-a-Judge) 는 GPT-OSS 의 61.6% 에서 Claude 의 75.6% 까지 성공률을 보였습니다. 그러나 도메인 전문가에 의한 수동 평가는 자동 지표가 성공률을 크게 과대평가했음을 드러냈습니다.
  • GPT-OSS-120B: 보고된 성공률 61.6%; 전문가 검증된 정확한 기능은 **25.9%**에 불과했습니다.
  • GPT-5: 보고된 성공률 70.4%; 전문가 검증된 수치는 **69.0%**였습니다.
  • Claude Sonnet 4.5: 보고된 성공률 75.6%; 전문가 검증된 수치는 **74.1%**였습니다.
• 비용 대비 성능: 성능이 더 높은 모델은 훨씬 더 높은 비용을 발생시켰습니다. Claude 를 사용한 성공적인 예제의 평균 비용은 GPT-OSS 보다 19 배 더 높았습니다.
• 실행 시간: 성공적인 예제는 평균 1321 분이 소요되었으며, 1.92.4 회의 디버깅 반복이 필요했습니다. 실패한 시도는 비용이 많이 들었으며, 종종 8 회 반복 한계에 도달했습니다.

하류 평가 (A/B 테스트)

저자들은 CODEDISTILLER 예제가 50 개의 재료 과학 발견 작업에서 CodeScientist 에이전트의 성능을 향상시켰는지 테스트했습니다.

• 선호도: 일반 예제 (기저선 에이전트) 대 CODEDISTILLER 라이브러리 (보강 에이전트) 를 비교하는 A/B 테스트에서 정확성, 완전성, 과학적 타당성 측면에서 보강 시스템이 50% 이상의 경우에서 선호되었습니다.
• 질적 개선: 보강 에이전트는 더 나은 데이터 기반 (합성 데이터 대비 실제 데이터셋 사용), 더 물리적으로 정확한 모델링 (일반적 잠재력 대비 도메인별 잠재력 사용), 그리고 더 정통적인 솔루션 (수동 구현 대비 확립된 라이브러리 사용) 을 가진 솔루션을 생성했습니다.
• 지표 일치: 하류 작업에 대한 도메인 전문가와 LLM-as-a-Judge 평가 간의 코헨 카파 (Cohen's Kappa) 는 0.62 에서 0.77 사이 (중간 정도의 일치) 였습니다. 정확성은 가장 강한 일치 (0.77) 를 보였으며, 완전성은 가장 약한 일치 (0.62) 를 보였습니다.

중요성 및 주장

이 논문은 CODEDISTILLER 가 자동 과학 발견에서 수동 코드 큐레이션의 병목 현상을 효과적으로 해결한다고 주장합니다. 비정형화된 저장소 코드를 검증된 예제로 자동으로 변환함으로써, 이 시스템은 ASD 에이전트가 수동 개입 없이 파라미터 지식을 넘어 그 능력을 확장할 수 있게 합니다.

저자들은 LLM-as-a-Judge 지표가 평가 확장에 유용하지만, 특히 저비용 모델의 경우 인간 전문가에 비해 성능을 크게 과대평가할 수 있음을 강조합니다. 그러나 하류 결과는 이러한 한계가 있음에도 불구하고 자동으로 증류된 라이브러리를 통합하는 것이 에이전트가 생성한 실험의 과학적 품질을 크게 향상시킨다는 것을 시사합니다. 이 연구는 CODEDISTILLER 를 범용 에이전트의 대체품이 아니라, 신뢰성과 도메인 특이성을 강화하기 위해 광범위한 발견 워크플로우에 통합될 수 있는 전문 도구 또는 전처리 단계로 위치시킵니다.