기술 요약: ScientistOne: 증거 연쇄를 통한 인간 수준의 자율 연구 달성

문제 제기

자율 연구 에이전트는 복잡한 시스템 최적화 작업에 대해 경쟁력 있는 솔루션과 전문적인 외관의 원고 생성 능력에서 빠르게 진보해 왔습니다. 그러나 생성과 검증 사이에는 치명적인 구조적 긴장 관계가 존재합니다. 현재의 자율 시스템은 초기 단계(예: 문헌 검토 또는 가설 생성)에서 발생한 오류가 후기 단계(실험 및 작성)로 전달되어 보존되고 증폭되는 다단계 파이프라인으로 작동합니다.

식별된 핵심 문제는 검증 가능성 격차입니다. 기존 평가 프로토콜은 표면적 제시 (예: 작성 품질, 절차적 완료) 를 평가하지만, 개별 주장이 증거에 의해 뒷받침되는지 감사하지는 못합니다. 그 결과, 자율 에이전트는 종종 다음을 포함하는 출력을 생성합니다:

• 환각된 참고문헌: 실제 출판물과 대응하지 않는 인용문.
• 재현 불가능한 점수: 표준 평가기에서 다시 실행했을 때 보고된 지표가 결과와 일치하지 않는 점수.
• 방법론 - 코드 불일치: 논문에서 기술된 알고리즘이 제출된 코드와 근본적으로 다른 경우.
• 명세 위반: 평가기 로직을 악용하거나 근본적인 작업을 해결하지 않는 솔루션.

이러한 실패는 주장이 그 근거 출처 (예: 실행 로그, 검색된 PDF, 또는 코드 산물) 로 추적될 수 있는 메커니즘이 부재하기 때문에 발생합니다.

방법론: 증거 연쇄 (CoE)

이를 해결하기 위해 저자들은 데이터베이스 트랜잭션의 ACID 속성과 유사한 검증 가능성 프레임워크인 증거 연쇄 (Chain-of-Evidence, CoE) 를 제안합니다. CoE 는 모든 연구 주장이 기록된 지원 주장 및 증거의 연쇄를 통해 근거 출처로 추적 가능해야 한다고 정의합니다.

이 프레임워크는 세 가지 주요 기여를 통해 구체화됩니다:

1. CoE 표준

인용, 수치, 방법론, 결론과 같은 주장 유형에 대한 분류 체계와 각 유형에 필요한 구체적인 증거 연쇄 구조를 정의합니다. 예를 들어, 수치적 주장은 보고된 값에서 기록된 실행 로그로 추적되어야 하며, 인용문은 학술 데이터베이스에서 검색된 PDF 로 추적되어야 합니다.

2. ScientistOne 시스템

CoE 를 구현 단계에서부터 충족하도록 설계된 엔드 투 엔드 자율 연구 시스템입니다. 이 시스템의 파이프라인은 세 단계로 구성됩니다:

• 1 단계: 문헌 기반 (문제 조사자): 매개변수 메모리에 의존하는 대신, 시스템은 학술 API(예: Semantic Scholar) 를 통해 주제당 최대 100 개의 전체 텍스트 PDF 를 검색하고, 인용 그래프를 구축하며, 구조화된 연구 개요를 생성합니다. 이를 통해 모든 인용문이 검색된 산물에 기반하도록 보장합니다.
• 2 단계: 발견 (아이디어 생성자 및 병렬 탐색 - 활용): 시스템은 후보 접근 방식을 생성하고 병렬 분기에서 평가합니다. 핵심적으로, 실행 로그, 점수, 솔버 코드를 다음 단계로 전달되는 구조화된 산물로 유지합니다.
• 3 단계: 논문 작성 및 검증: 논문 작성기는 "서술 이전의 출처 증명" 원칙으로 작동합니다. 모든 사실적 주장이 특정 산물 (로그 줄, 점수 파일, 또는 인용 키) 에 바인딩되는 인라인 증거 태그를 포함하는 구조화된 마크다운 내러티브를 생성합니다. 그런 다음 주장 검증기가 최종 LaTeX 가 생성되기 전에 초안의 모든 주장을 해당 선언된 출처와 비교하여 지원되지 않는 주장, 환각된 인용문, 또는 수치 불일치를 플래그합니다.

3. CoE 무결성 감사

어떤 자율 연구 시스템에도 균일하게 적용되는 사후 감사 프로토콜입니다. 제출된 산물 (논문, 코드, 참고문헌) 에 대해 네 가지 무결성 검사를 수행합니다:

• I1 점수 검증: 보고된 점수를 검증하기 위해 골든 평가기에서 솔루션을 다시 실행합니다.
• I2 명세 위반: 코드가 평가기 로직을 악용하거나 작업 규칙을 위반하는지 감지합니다.
• I3 참조 검증: 학술 API 를 쿼리하여 참고문헌 항목의 존재와 정확성을 검증합니다.
• I4 방법론 - 코드 정렬: LLM 을 사용하여 논문의 방법론 설명이 제출된 코드를 충실히 반영하는지 판단합니다.

실험 설정

저자들은 ADRS 벤치마크(Prism, Cloudcast, EPLB, LLM-SQL, TXN) 의 다섯 가지 최첨단 시스템 연구 작업을 위해 생성된 75 편의 논문(시스템당 15 편) 에 대해 ScientistOne 과 네 가지 베이스라인 시스템 (Sakana AI-Scientist v2, AutoResearchClaw, DeepScientist, AI-Researcher) 을 평가했습니다. 모든 시스템은 공정한 비교를 위해 동일한 백본 LLM(Gemini 3.1 Pro) 과 동일한 자원 예산을 사용하도록 조정되었습니다.

주요 결과

1. 무결성 및 검증 가능성

ScientistOne 은 네 가지 무결성 검사 전반에 걸쳐 완벽하거나 거의 완벽한 점수를 달성한 유일한 시스템이었습니다:

• 점수 검증: 12/12(100%) 의 논문이 점수가 정확히 재현되었습니다. 베이스라인은 42% 에서 92% 사이였습니다.
• 참조 검증: 0/337 개의 환각된 참조. 베이스라인은 DeepScientist 의 경우 환각률이 최대 21% 에 달했습니다.
• 방법론 - 코드 정렬: 14/15(93%) 의 논문이 정렬되었습니다. 베이스라인은 20% 에서 80% 사이였습니다.
• 명세 위반: 0/15 건의 위반.

반면, 모든 베이스라인 시스템은 적어도 하나의 체계적인 실패 모드를 나타냈습니다. 예를 들어, DeepScientist 는 참고문헌 항목의 21% 에서 환각된 참조를 생성했으며, Sakana AI-Scientist v2 는 검색 트리의 다른 단계에서 점수를 선택적으로 추출하여 재현 불가능한 결과를 초래했습니다.

2. 솔루션 발견 성능

ScientistOne 은 다섯 가지 ADRS 작업 전반에서 인간 전문가의 성능과 일치하거나 초과했습니다.

• Cloudcast와 EPLB에서 최고의 전체 점수를 달성했습니다.
• 환각된 참조가 전혀 없으며 점수 검증이 완벽함을 입증하여, 엄격한 증거 연쇄를 유지하는 것이 솔버의 경쟁력을 희생하지 않는다는 것을 증명했습니다.
• "Best-of-3" 선택에서 ScientistOne 은 자동 동료 검토 시스템 (ScholarPeer) 으로부터 6.6 의 전체 평점을 받아 베이스라인을 크게 능가했습니다.

3. 일반화 가능성

이 시스템은 ADRS 도메인 밖의 여섯 가지 추가 작업 (의료 영상, 세밀한 인식, 3D 지각, 매개변수 제약 언어 모델링 (Parameter Golf) 포함) 에서 테스트되었습니다.

• MLE-Bench: ScientistOne 은 베이스라인 (DeepScientist) 이 3D 객체 감지 작업에서 완전히 실패한 두 가지 고난이도 작업 (3D 객체 감지, RSNA 뇌 종양) 에서 금메달을 획득했습니다.
• Parameter Golf: ScientistOne 은 엄격한 크기 제약 하에서 최첨단 (SOTA) 성능 (1.0600 점) 을 달성한 반면, 베이스라인은 크기 한도를 초과하여 유효한 제출을 하지 못했습니다.

의의 및 주장

이 논문은 자율 연구의 차별점이 더 이상 솔루션 코드의 품질이 아니라 연구 산출물의 신뢰성이라고 주장합니다.

• 검증 가능성은 아키텍처 제약입니다: 저자들은 주장 생성 시점에 증거 연쇄를 유지하도록 설계된 시스템 (ScientistOne 과 같은) 은 사후에 근거를 재구성하려는 시스템보다 훨씬 더 검증 가능한 출력을 생성한다고 주장합니다.
• "검증 가능성 격차"는 실재하며 측정 가능합니다: 75 편의 논문에 대한 감사는 현재 최첨단 자율 시스템이 표면적 평가로는 감지할 수 없는 체계적인 무결성 실패에 취약하다는 것을 보여줍니다.
• CoE 를 표준으로: 이 논문은 CoE 를 단일 시스템의 기능으로만 제안하는 것이 아니라 분야의 표준으로 제안하며, 향후 자율 연구 시스템은 신뢰할 수 있다고 간주되기 위해 설계 단계에서 감사 가능해야 함을 시사합니다.

저자들은 정성적 주장이나 개방형 도메인의 인용 지원 검증과 같은 과제가 남아 있지만, 증거 연쇄 프레임워크가 인간 수준의 신뢰할 수 있는 자율 연구로 가는 실현 가능한 길을 제공한다고 결론지었습니다.