Toward Autonomous Long-Horizon Engineering for ML Research

1. 문제 정의 (Problem Definition)

기존의 AI 연구 자동화 시스템은 아이디어 생성, 문헌 분석, 실험 수행 등 연구 과정의 특정 단계를 지원하거나 자동화하는 데 성공했습니다. 그러나 ML 연구 엔지니어링 (Machine Learning Research Engineering) 의 전체 주기를 자율적으로 수행하는 것은 여전히 큰 도전 과제입니다.

• 장기 지평 (Long-Horizon) 의 어려움: 연구 과제는 수시간에서 수일에 걸쳐 진행되며, 작업 이해, 환경 설정, 구현, 실험, 디버깅 등 여러 단계를 거쳐야 합니다.
• 주요 장애 요인:
  • 미세한 명세 (Underspecification): 연구 논문은 완전한 청사진이 아니며, 중요한 구현 세부 사항이 누락되거나 암시되어 있어 에이전트가 이를 추론해야 합니다.
  • 시스템 설정 부담: 알고리즘 구현 외에도 환경 구성, 데이터셋/모델 다운로드 및 통합 등 막대한 설정 작업이 필요합니다.
  • 지연된 피드백 (Delayed Feedback): 실험 결과가 나오기까지 시간이 걸리며, 실패 원인이 해석, 구현, 데이터 처리, 인프라 중 어디에 있는지 파악하기 어렵습니다.
  • 상태 연속성 (State Continuity): 여러 단계를 거치며 생성된 코드, 로그, 실험 결과, 분석 자료 등 '두꺼운 상태 (Thick State)'가 다음 단계의 의사결정에 일관되게 이어져야 합니다. 기존 대화형 (Conversational) 방식은 이 상태 정보를 손실 (Lossy) 하여 장기적인 일관성을 유지하기 어렵습니다.

2. 제안 방법론: AiScientist

저자들은 AiScientist를 제안하며, 장기적인 성능 향상을 위해서는 구조화된 오케스트레이션 (Orchestration) 과 지속 가능한 상태 연속성 (Durable State Continuity) 이 결합되어야 한다고 주장합니다.

핵심 설계 원칙: 얇은 제어, 두꺼운 상태 (Thin Control over Thick State)

• 얇은 제어 (Thin Control): 상위 오케스트레이터 (Orchestrator) 는 전체 프로젝트의 모든 세부 사항을 기억하는 대신, 단계별 요약과 작업 공간 맵 (Workspace Map) 만을 기반으로 경량화된 지시와 계획을 수립합니다.
• 두꺼운 상태 (Thick State): 프로젝트의 진화하는 상태 (분석, 계획, 코드, 실험 기록 등) 는 대화형 컨텍스트가 아닌 지속 가능한 아티팩트 (Durable Artifacts) 로 외부화되어 저장됩니다.

주요 구성 요소

1. File-as-Bus 프로토콜 (상태 지속성):

   • 에이전트 간의 상태 전달을 대화 (Conversation) 가 아닌 공유 작업 공간 (Shared Workspace) 의 파일을 통해 수행합니다.
   • 작업 공간은 paper_analysis/ (논문 분석), submission/ (실행 가능한 코드), agent/ (계획 및 실행 로그) 등으로 구조화되어 있습니다.
   • 에이전트는 대화 기록을 의존하지 않고, 필요한 시점에 작업 공간의 파일 (아티팩트) 을 읽어서 작업을 재개하고, 결과를 다시 파일에 기록합니다. 이는 상태의 손실을 방지하고 추적 가능성을 높입니다.

2. 계층적 오케스트레이션 (Hierarchical Orchestration):

   • Tier-0 오케스트레이터: 단계별 계획 수립, 작업 우선순위 결정, 전문 에이전트 할당을 담당합니다.
   • Tier-1 전문 에이전트 (Specialists):
     • 논문 이해 (Paper Comprehension): 논문에서 구현 세부 사항 추출.
     • 우선순위 결정 (Prioritization): 실행 계획 수립.
     • 구현 (Implementation): 코드 작성 및 환경 설정.
     • 실험 (Experimentation): 실행, 진단, 결과 기록.
   • Agent-as-Tool: 전문 에이전트들은 오케스트레이터에게 일반 도구 (Shell, 파일 읽기 등) 와 동일한 인터페이스로 노출되어, 오케스트레이터가 필요할 때만 선택적으로 호출됩니다.
   • Tier-2 서브에이전트: 특정 하위 작업 (구조 추출, 알고리즘 분석 등) 을 위해 전문 에이전트 내에서 동적으로 생성됩니다.

3. 증거 기반 연구 - 엔지니어링 루프:

   • 일회성 파이프라인이 아닌, 실행 가능한 증거 (실패 로그, 메트릭, 디버깅 정보) 에 기반한 반복적 루프를 따릅니다.
   • 초기에는 실행 가능한 스캐폴드 (Scaffold) 를 구축하고, 이후 실험 결과를 바탕으로 디버깅, 하이퍼파라미터 조정, 점진적 개선을 반복합니다.

3. 주요 기여 (Key Contributions)

1. AiScientist 시스템 개발: 연구 명세 해석부터 실행 가능한 시스템 구축, 실험 및 반복적 개선까지 ML 연구 엔지니어링의 전체 루프를 지원하는 자율 시스템.
2. 아티팩트 기반 조정 설계 (Artifact-Mediated Coordination): 계층적 오케스트레이션과 권한이 분리된 공유 작업 공간 (File-as-Bus) 을 결합하여, 상태 연속성을 유지하면서도 오케스트레이터의 제어 부담을 줄이는 설계.
3. 실증적 검증: PaperBench 와 MLE-Bench Lite 벤치마크를 통해 기존 최강의 베이스라인 대비 유의미한 성능 향상을 입증하고, 장기 지평 ML 연구 엔지니어링에서 '지속 가능한 상태 연속성'의 중요성을 규명.

4. 실험 결과 (Results)

두 가지 보완적인 벤치마크에서 AiScientist 는 뛰어난 성능을 보였습니다.

• PaperBench (논문 재현):

  • 성능: Gemini-3-Flash 기반 시나리오에서 최강 베이스라인 대비 10.54 점 향상, GLM-5 기반 시나리오에서 11.15 점 향상.
  • 인간 기준 대비: 기존 최상위 ML 박사 과정 학생들의 48 시간 작업 대비 41% 점수에 비해, AiScientist 는 33.73 점을 기록하여 격차를 크게 좁혔습니다.
  • 비용 효율성: IterativeAgent 대비 훨씬 낮은 비용 (약 50% 절감) 으로 더 높은 점수를 달성했습니다.

• MLE-Bench Lite (경쟁형 ML 태스크):

  • 성능: Any Medal% (메달 획득률) 에서 **81.82%**를 기록하여, 최강 베이스라인 대비 11.37 점 향상.
  • 리더보드 비교: 공식 리더보드에 등재된 다른 자율 에이전트들 (최대 77.27%) 보다 높은 성능을 보였습니다.

• Ablation Study (메커니즘 분석):

  • File-as-Bus 제거 시: PaperBench 점수가 6.41 점 감소, MLE-Bench Lite 메달 획득률이 31.82 점 급감. 이는 장기 작업에서 상태 연속성이 핵심 병목임을 입증했습니다.
  • 단순 에이전트 조직 비교: 계층적 구조가 없는 단순 에이전트보다 성능이 월등히 우수하여, 단순한 상호작용 증가만으로는 해결되지 않으며 계층적 오케스트레이션이 필수적임을 보였습니다.

5. 의의 및 결론 (Significance)

이 논문은 자율적 AI 연구의 다음 단계인 '장기 지평 ML 연구 엔지니어링' 의 핵심 과제를 명확히 정의하고 해결책을 제시했습니다.

• 시스템 관점의 전환: 복잡한 연구 과제는 단순히 에이전트의 '국소적 추론 (Local Reasoning)' 능력만으로 해결되는 문제가 아니라, 지속 가능한 프로젝트 상태 (Durable Project State) 를 어떻게 조정 (Coordinate) 하느냐는 시스템 설계 문제임을 강조합니다.
• 파일 기반 협업의 중요성: 대화형 컨텍스트의 한계를 극복하기 위해, 파일 시스템을 '버스 (Bus)'로 활용하여 에이전트 간 상태 전달을 안정화하는 File-as-Bus 패턴이 장기 작업 성공의 열쇠임을 입증했습니다.
• 실용적 영향: 이 연구는 AI 가 단순한 보조 도구를 넘어, 인간 연구자와 동등하거나 그 이상의 수준으로 독립적인 연구 사이클 (구현 - 실험 - 디버깅 - 개선) 을 수행할 수 있는 가능성을 보여주며, 과학적 발견의 속도를 가속화할 수 있는 기반을 마련했습니다.