기술 요약: 자동화된 AI 연구를 위한 MARS(반성적 탐색을 갖춘 모듈형 에이전트)

1. 문제 제기

AI 연구의 자동화는 복잡한 머신러닝 엔지니어링 (MLE) 작업의 실행에서 치명적인 병목 현상에 직면해 있습니다. 정답이 이진법적이며 검증 비용이 계산적으로 저렴한 일반 소프트웨어 엔지니어링과 달리, MLE 는 확률적이며 자원을 많이 소모하는 endeavor 입니다. 이는 다음과 같이 정의된 환경을 탐색해야 함을 요구합니다:

• 계산적으로 비용이 많이 드는 평가: 모델 학습과 데이터 처리는 막대한 자원을 소비하므로 "시행착오"는 비용이 많이 듭니다.
• 불투명한 성능 귀속: 실험이 더 나은 결과를 낳았을 때, 구체적인 인과 요인 (크레딧 할당) 을 격리하는 것은 어렵습니다.
• 아키텍처의 복잡성: 연구 저장소는 데이터 로딩, 모델 아키텍처, 학습 루프 간의 원활한 상호작용을 필요로 합니다.

현재의 대규모 언어 모델 (LLM) 에이전트들은 이 영역에서 어려움을 겪습니다. 이들은 일반적으로 실행 비용을 무시하는 단일화 된 스크립트를 생성하며, 엄격한 엔지니어링에 필요한 모듈성을 결여하고, 크레딧 할당 문제를 해결하지 못해 과거의 시도들로부터 효과적으로 학습하지 못합니다.

2. 방법론: MARS 프레임워크

MARS(반성적 탐색을 갖춘 모듈형 에이전트) 는 연구 과정을 최적의 소프트웨어 저장소에 대한 탐색으로 재정의합니다. 이는 자율적 과학적 발견의 특정 제약 조건을 해결하도록 설계된 세 가지 핵심 기둥 위에 구축됩니다:

A. 예산 인지 계획 (자원 인지 MCTS)

평가의 높은 비용을 해결하기 위해 MARS 는 비용 제약이 있는 몬테카를로 트리 탐색 (MCTS) 을 사용합니다. 단순히 작업 성능만을 최적화하는 표준 탐색 알고리즘과 달리, MARS 는 효율성 유도 보상 함수를 탐색 트리에 직접 통합합니다.

• 메커니즘: 보상 함수 $R(v)$는 성능 향상분 ($G(v)$) 과 실행 지연 시간 ($t(v)$) 을 균형 있게 고려하며, 시간 예산을 초과하거나 계산적으로 비효율적인 솔루션에 페널티를 부과합니다.
• 액션 공간: 탐색 트리는 세 가지 연산자를 활용합니다:
  1. 초안 작성 (Drafting): 처음부터 새로운 솔루션을 생성합니다.
  2. 개선 (Improvement): 목적을 극대화하기 위해 유효한 노드를 수정합니다.
  3. 디버깅 (Debugging): 실패한 노드의 런타임 오류를 해결합니다.
• 결과: 이를 통해 에이전트는 동등한 성능을 보이는 4 시간 실행보다 1 시간 학습 실행과 같은 효율적인 솔루션을 우선시하여 고정된 예산 내에서 발견률을 최적화할 수 있습니다.

B. 모듈식 구축

MARS 는 취약한 단일화 된 스크립팅을 구조화된 저장소 수준의 소프트웨어 아키텍처로 대체합니다.

• 파이프라인: 이는 전문화된 에이전트들을 포함하는 "디자인 - 분해 - 구현" 워크플로우를 사용합니다:
  1. 아이디어 생성: 포괄적인 자연어 계획을 구체화합니다.
  2. 모듈 분해: 계획을 논리적이고 독립적인 기능 모듈로 파싱합니다.
  3. 컴포넌트 구현: 모듈들을 순차적으로 구현하고 검증합니다.
• Diff 기반 정제: 코드 수정은 표준화된 diff 형식으로 구조화되어 원자적 (atomic) 인 다중 파일 업데이트를 가능하게 합니다. 이 접근 방식은 토큰 한계를 우회하고, 컨텍스트 노이즈를 줄이며, 코드 캐싱/재사용을 가능하게 하며, 디버깅을 특정 파일로 국한함으로써 테스트 가능성을 크게 향상시킵니다.

C. 비교 반성적 기억

크레딧 할당 문제를 해결하기 위해 MARS 는 탐색 과정에서 고신호 인과 통찰력을 추출하는 비교 반성적 기억 메커니즘을 도입합니다.

• 교훈 증류: 단순히 로그를 요약하는 대신, 시스템은 현재 솔루션과 가장 잘 알려진 솔루션 간의 비교 분석을 수행합니다. 이는 성능 변화를 주도하는 구체적인 알고리즘적 변경 사항을 격리합니다.
• 교훈 유형:
  • 솔루션 개선 교훈: 유효한 솔루션에서 도출되어 인과적 변경 사항과 일반화된 규칙을 식별합니다.
  • 디버깅 교훈: 실패한 실행에서 도출되어 실패 논리를 설명하고 유사한 오류를 예방하기 위한 지침을 제공합니다.
• 활용: 에이전트는 가장 최근의 교훈들을 기억에 보관하고, 이를 새로운 솔루션에 적용할 때 명시적으로 인용하여 가지 간 (cross-branch) 통찰력 이전을 용이하게 합니다.

3. 주요 기여

1. 프레임워크 소개: 예산 인지 MCTS, 모듈식 구현 파이프라인, 비교 반성적 기억을 결합하여 자율적 AI 연구를 위해 명시적으로 최적화된 프레임워크인 MARS 의 제안.
2. 최첨단 성능: MLE-Bench벤치마크에 대한 광범위한 평가는 MARS 가 비교 가능한 설정 하에서 오픈소스 프레임워크들 사이에서 최첨단 성능을 달성하며, 글로벌 리더보드 리더들과 경쟁력을 유지함을 보여줍니다.
3. 질적 "아하!" 순간: 시스템은 활용된 교훈의 63% 가 가지 간 이전에서 비롯된 질적 도약을 보여주며, 이는 에이전트가 서로 다른 탐색 경로에 걸쳐 통찰력을 효과적으로 일반화할 수 있음을 입증합니다.
4. 오픈 릴리스: 저자들은 향후 연구를 촉진하기 위해 프롬프트, 생성된 코드, 궤적을 공개합니다.

4. 실험 결과

평가 는 NLP, 컴퓨터 비전, 표 형식 데이터를 아우르는 75 개의 까다로운 Kaggle 대회로 구성된 MLE-Bench에서 수행되었습니다.

• 성능 지표: 통제된 평가에서 보고된 모든 에이전트 중 MARS 는 가장 높은 **금메달 획득률 (31.1%)**을 달성했습니다.
• 경쟁력:
  • Gemini-3-Pro-Preview를 사용하여 MARS 는 **어떤 메달 획득률 56.0%**와 **중앙값 초과율 65.8%**를 달성했습니다.
  • 확장된 변형인 MARS+(2 배 H100 GPU 활용) 는 **어떤 메달 획득률 62.7%**와 **금메달 획득률 33.8%**를 달성하여 ML-Master 2.0 과 같은 강력한 경쟁자들을 능가했습니다.
• 절대 실험 (Ablation Studies):
  • 모듈식 분해: 이 구성 요소를 제거하면 성공률이 크게 저하되어 컨텍스트 노이즈 감소와 테스트 가능성 향상에 대한 그 역할을 입증했습니다.
  • 기억 메커니즘: 기억을 완전히 제거하면 성능이 급격히 떨어졌습니다. 단순한 경험적 분석에 비해 비교 증류는 인과 요인을 격리하는 데 필수적인 것으로 나타났습니다.
  • 예산 인지 MCTS: 제안된 탐색 전략은 Vanilla MCTS 와 Greedy Search 를 일관되게 능가하여 실행 시간을 페널티로 부과하는 것이 최적 솔루션의 발견을 개선함을 확인시켰습니다.
• 비용 효율성: 4 시간 버전의 MARS 는 24 시간 기준보다 훨씬 적은 비용 ($9.6) 으로 더 높은 어떤 메달 획득률 (28.4%) 을 달성하여, 성능 향상이 단순히 증가된 자원 할당이 아닌 아키텍처적 효율성에서 비롯됨을 보여주었습니다.

5. 중요성과 주장

이 논문은 MARS 가 연구가 엄격한 저장소 수준의 엔지니어링 도전 과제로 간주됨으로써 장기적 AI 연구에서 현재 자율 에이전트들의 한계를 해결한다고 주장합니다. 자원 인지 계획, 모듈식 구축, 비교 반성적 기억을 통합함으로써 MARS 는 탐색과 계산 효율성 사이의 균형을 유지하면서 크레딧 할당 문제를 효과적으로 해결합니다.

저자들은 인간 엔지니어의 전략적 통찰력을 모방하는 이러한 구조화된 접근 방식이 복잡한 머신러닝 엔지니어링 작업에서 최첨단 성능을 가능하게 한다고 주장합니다. 가지 간 교훈 이전을 통한 "아하!" 순간을 경험하는 시스템의 능력은 코드를 실행할 뿐만 아니라 과학적 통찰력을 자율적으로 학습하고 일반화할 수 있는 에이전트로의 전환을 시사합니다.

이 논문은 한계를 인정하며, 현재 평가가 MLE-Bench 로 제한되어 있고 반복적 탐색과 증류의 계산 비용이 여전히 장벽임을 지적합니다. 향후 작업은 프레임워크를 더 넓은 과학 분야로 확장하고 고급 컨텍스트 캐싱 및 조기 종료를 통해 경제적 타당성을 최적화하는 것을 제안합니다.