EvoScientist: Towards Multi-Agent Evolving AI Scientists for End-to-End Scientific Discovery

이 논문은 아이디어 생성, 실험 실행, 진화 관리라는 세 가지 전문 에이전트와 지속적 기억 모듈을 통해 상호작용 기록을 기반으로 연구 전략을 지속적으로 진화시켜 기존 AI 과학자 시스템의 한계를 극복하고 과학적 발견의 효율성과 성공률을 획기적으로 향상시킨 'EvoScientist' 프레임워크를 제안합니다.

핵심

EvoScientist: 스스로 성장하는 'AI 과학자 팀'의 이야기

이 논문은 EvoScientist(이보사이언티스트)라는 새로운 시스템을 소개합니다. 쉽게 말해, 이는 "단순히 명령을 받아 일만 하는 로봇"이 아니라, **실수를 통해 배우고 성장하는 'AI 과학자 팀'**입니다.

기존의 AI 과학자 프로그램들은 마치 매번 처음부터 다시 시작하는 신입 사원과 같았습니다. "이 실험 실패했네? 알았어, 다음엔 똑같은 실수를 안 할게!"라고 기억하지 못하고, 같은 실수를 반복하거나 이미 실패한 아이디어를 다시 꺼내 들었습니다.

하지만 EvoScientist 는 다릅니다. 이 시스템은 3 명의 전문가로 구성된 팀으로, 서로 협력하며 과거의 경험을 '기억'으로 저장해 두었다가 다음 과제에 활용합니다.

---

🧠 1. 팀원 소개: 3 명의 AI 전문가

이 시스템은 세 가지 역할을 맡은 AI 에이전트 (가상 인격) 로 구성되어 있습니다.

1. **연구자 **(Researcher Agent)

   • 역할: "우리가 무엇을 연구할까?"라는 새로운 아이디어를 냅니다.
   • 특징: 단순히 막연한 상상이 아니라, 과거에 어떤 아이디어가 성공했고 어떤 것이 실패했는지 기억해 내어 더 현실적이고 창의적인 제안을 합니다.

2. **엔지니어 **(Engineer Agent)

   • 역할: 연구자가 낸 아이디어를 코드로 구현하고 실험을 실행합니다.
   • 특징: "이 코드가 왜 안 될까?"를 분석하고, 과거에 어떤 데이터 처리 방식이나 훈련 방법이 잘 작동했는지 기억해 내어 실패 확률을 줄입니다.

3. **진화 관리자 **(Evolution Manager)

   • 역할: 팀의 두뇌이자 기록 관리자입니다.
   • 특징: 연구자와 엔지니어가 한 모든 일 (성공과 실패) 을 분석하여 '지식'으로 만듭니다. 마치 팀이 경험한 모든 것을 수첩에 적어두는 것과 같습니다.

---

📚 2. 두 가지 '기억 수첩': 실패를 성공으로 바꾸는 비결

이 시스템의 핵심은 **두 가지 기억 **(Memory)을 가지고 있다는 점입니다.

• **📝 아이디어 수첩 **(Ideation Memory)

  • 내용: "어떤 연구 방향이 유망했는지"와 "어떤 방향은 처음부터 틀렸는지"를 기록합니다.
  • 비유: 요리사가 "이 조합은 맛이 없었어 (실패)"라고 적어두고, 다음에 같은 실수를 하지 않도록 하는 레시피 노트입니다.
  • 효과: 연구자는 실패한 아이디어를 다시 꺼내지 않고, 성공 가능성이 높은 방향만 골라냅니다.

• **🛠️ 실험 수첩 **(Experimentation Memory)

  • 내용: "어떤 코드 작성법이나 데이터 처리 방식이 잘 작동했는지"를 기록합니다.
  • 비유: 엔지니어가 "이런 버그는 이 방법으로 고치면 돼"라고 적어두는 수리 매뉴얼입니다.
  • 효과: 엔지니어는 처음부터 코드를 다 짜는 게 아니라, 과거에 검증된 방법을 가져와서 실행 성공률을 높입니다.

---

🚀 3. 어떻게 작동할까요? (진화의 과정)

EvoScientist 는 다음과 같은 과정을 통해 스스로 발전합니다.

1. 목표 설정: "AI 를 이용한 새로운 의료 진단법을 찾아줘"라고 요청합니다.
2. 기억 검색: 연구자와 엔지니어는 과거의 '수첩'을 뒤져 관련 성공/실패 사례를 찾아옵니다.
3. 아이디어 생성 및 실행: 과거의 교훈을 바탕으로 더 나은 아이디어를 내고, 더 안정적인 코드로 실험합니다.
4. 결과 기록: 실험이 끝난 후, 진화 관리자가 "이번엔 이렇게 성공했어", "저건 이렇게 실패했어"라고 수첩에 새로운 지식을 추가합니다.
5. 다음 단계: 다음 과제를 받을 때, 이 새로운 지식을 바탕으로 더 똑똑하게 행동합니다.

이 과정은 마치 비행기 조종사가 비행 데이터를 기록해 다음 비행에서 더 안전하게 착륙하는 것과 같습니다.

---

🏆 4. 결과는 어땠나요?

이 시스템은 실제로 매우 뛰어난 성과를 거두었습니다.

• 아이디어 품질: 기존에 있던 7 개의 유명 AI 시스템 (오픈소스 및 상업용) 보다 더 창의적이고 실현 가능한 아이디어를 냈습니다.
• 실행 성공률: 코드를 실행했을 때 오류가 나고 멈추는 경우가 훨씬 줄었습니다.
• 실제 논문 발표: 이 시스템이 작성한 6 편의 연구 논문이 실제로 국제 학술회 (ICAIS 2025) 에 모두 채택되었습니다. 그중 하나는 최우수 논문상을, 다른 하나는 AI 심사위원 특별상을 받기도 했습니다!

💡 요약

EvoScientist는 단순히 지식을 검색하는 도구가 아니라, **실수를 통해 배우고 성장하는 '지속 가능한 학습자'**입니다.

• 기존 시스템: "나는 오늘도 똑같은 실수를 반복할게." (정적)
• EvoScientist: "어제 실패한 걸 기억했으니, 오늘은 더 잘할 수 있어!" (진화)

이 기술은 앞으로 과학 연구의 속도를 획기적으로 높이고, 인간 과학자들이 더 창의적인 일에 집중할 수 있도록 돕는 최고의 파트너가 될 것입니다.

기술 요약

1. 문제 정의 (Problem)

최근 대규모 언어 모델 (LLM) 을 활용한 AI 과학자 시스템은 아이디어 생성부터 실험 수행까지의端到端 (End-to-End) 과학적 발견 작업을 수행할 수 있게 되었습니다. 그러나 기존 최첨단 시스템들은 다음과 같은 근본적인 한계를 가지고 있습니다:

• 정적 파이프라인: 대부분의 시스템이 배포 후 고정된 수동 설계 파이프라인에 의존하며, 축적된 상호작용 기록 (성공/실패 경험) 을 바탕으로 아이디어 생성이나 코드 작성 전략을 적응적으로 수정하지 못합니다.
• 비효율성: 이로 인해 시스템은 이전에 실패했던 실험을 반복하거나, 비현실적인 아이디어를 추구하며, 유망한 연구 방향을 놓치는 경우가 많습니다.
• 학습 부재: 상호작용의 결과가 재사용 가능한 지식으로 정제되지 않아, 시간이 지남에 따라 시스템의 성능이 진화하지 못합니다.

이러한 한계를 극복하기 위해, 축적된 성공과 실패로부터 학습하여 아이디어 생성 및 실험 수행 전략을 지속적으로 진화시키는 자기 진화형 (Self-Evolving) 멀티 에이전트 시스템의 필요성이 대두되었습니다.

2. 방법론 (Methodology)

저자들은 EvoScientist라는 새로운 멀티 에이전트 진화 프레임워크를 제안합니다. 이 시스템은 세 가지 전문 에이전트와 두 가지 영속적 메모리 모듈을 통해 과학적 발견 과정을 자동화하고 지속적으로 개선합니다.

2.1 시스템 아키텍처

1. 연구자 에이전트 (Researcher Agent, RA):
   • 역할: 과학적 아이디어 생성 및 연구 제안서 작성.
   • 작동 방식: '아이디어 메모리 (Ideation Memory)'에서 관련 지식을 검색하여 아이디어를 생성합니다. 제안된 아이디어는 문헌 검토와 메모리 기반 피드백을 바탕으로 트리 구조 (Tree Search) 로 탐색, 검토, 정제됩니다. 최종적으로 에로 (Elo) 토너먼트 방식을 통해 가장 유망한 아이디어를 선정하여 연구 제안서로 확장합니다.
2. 엔지니어 에이전트 (Engineer Agent, EA):
   • 역할: 실험 구현, 코드 생성 및 실행, 결과 분석.
   • 작동 방식: '실험 메모리 (Experimentation Memory)'에서 재사용 가능한 실행 전략을 검색합니다. 초기 구현, 하이퍼파라미터 튜닝, 제안된 방법 검증, 제거 실험 (Ablation Study) 의 4 단계에 걸쳐 실험 트리 탐색을 수행하며, 실패 시 로그를 분석하여 코드를 수정합니다.
3. 진화 관리자 에이전트 (Evolution Manager Agent, EMA):
   • 역할: 상호작용 기록을 정제하여 영속적 메모리를 업데이트하는 핵심 진화 엔진.
   • 작동 방식: 세 가지 진화 메커니즘을 통해 학습합니다.
     • 아이디어 방향 진화 (Idea Direction Evolution): 상위 랭킹 아이디어에서 유망한 연구 방향을 추출하여 아이디어 메모리에 저장.
     • 아이디어 검증 진화 (Idea Validation Evolution): 실행 실패나 기저 모델보다 성능이 낮은 경우를 분석하여 실패한 방향을 기록하고 메모리에 반영.
     • 실험 전략 진화 (Experiment Strategy Evolution): 성공적인 코드 실행 경로와 최적의 구현에서 데이터 처리 및 모델 학습 전략을 추출하여 실험 메모리에 저장.

2.2 영속적 메모리 (Persistent Memory)

• 아이디어 메모리 ($M_I$): 유망한 연구 방향과 실패한 방향을 모두 기록하여, 향후 아이디어 생성 시 재사용하거나 피할 수 있도록 합니다.
• 실험 메모리 ($M_E$): 코드 검색 경로와 최상위 구현에서 도출된 효과적인 데이터 전처리 및 모델 학습 전략을 저장하여, 코드 실행 성공률을 높입니다.

3. 주요 기여 (Key Contributions)

1. EvoScientist 프레임워크 제안: 세 가지 전문 에이전트와 두 가지 영속적 메모리 모듈을 갖춘 자기 진화형 멀티 에이전트 시스템을 최초로 제안하여, 생성된 연구 아이디어의 품질과 코드 실행의 신뢰성을 동시에 향상시켰습니다.
2. 세 가지 멀티 에이전트 자기 진화 메커니즘: 아이디어 방향 진화, 아이디어 검증 진화, 실험 전략 진화를 도입하여, 축적된 성공과 실패로부터 학습하고 시간이 지남에 따라 아이디어 생성 및 실험 수행 능력을 지속적으로 개선하도록 설계했습니다.
3. 실증적 성과 입증: 오픈소스 및 상용 최첨단 시스템 (7 개) 과의 비교 실험을 통해, 아이디어 생성 품질 (신선성, 실현 가능성, 관련성, 명확성) 과 코드 실행 성공률에서 압도적인 우위를 보였습니다.

4. 실험 결과 (Results)

• 아이디어 생성 성능: 30 개의 연구 쿼리에 대해 오픈소스 (Virtual Scientist, AI-Researcher 등) 및 상용 (Hypogenic, Novix 등) 시스템과 비교했습니다. 자동 평가 (LLM 저지) 와 인간 전문가 평가 모두에서 EvoScientist 가 **신선성 (Novelty)**과 **실현 가능성 (Feasibility)**에서 가장 높은 승률을 기록했습니다. 특히 인간 평가에서 EvoScientist 는 평균 82.50% 의 신선성 승률과 64.17% 의 실현 가능성 승률을 보였습니다.
• 코드 실행 성공률: 실험 전략 진화 (ESE) 를 적용한 후, 4 단계 실험 과정 (초기 구현, 하이퍼파라미터 튜닝 등) 에서 평균 실행 성공률이 34.39% 에서 44.56% 로 크게 향상되었습니다.
• 端到端 과학적 발견 (End-to-End Discovery): EvoScientist 가 생성한 6 편의 완전한 연구 논문은 **ICAIS 2025 (AI Scientist Track)**에 모두 게재 (Acceptance) 되었습니다. 이 중 1 편은 **최우수 논문상 (Best Paper Award)**을, 다른 1 편은 **AI 리뷰어 심사상 (AI Reviewer's Appraisal Award)**을 수상했습니다. 리뷰어들은 방법론의 신선성과 실험적 타당성을 높이 평가했습니다.

5. 의의 및 결론 (Significance)

• 과학적 발견의 패러다임 전환: 기존의 정적 파이프라인 기반 AI 과학자 시스템에서 벗어나, 상호작용 기록을 학습 자원으로 활용하여 스스로 진화하는 동적 학습 시스템의 가능성을 입증했습니다.
• 지속 가능한 개선: 메모리 기반의 진화 메커니즘을 통해 시스템이 실패를 반복하지 않고, 유망한 방향을 지속적으로 탐구할 수 있음을 보여주었습니다.
• 실용적 가치: AI 가 단순한 보조 도구를 넘어, 실제 학술 대회에서 상을 받을 수 있는 수준의 연구 성과를 autonomously(자율적으로) 달성할 수 있음을 증명했습니다.

이 논문은 AI 가 과학적 발견의 전 과정을 자율적으로 수행하면서도, 과거의 경험을 통해 지속적으로 학습하고 진화할 수 있는 새로운 방향을 제시했다는 점에서 중요한 의의를 가집니다.