Mimosa Framework: Toward Evolving Multi-Agent Systems for Scientific Research

이 논문은 실험 피드백을 통해 작업별 멀티에이전트 워크플로우를 자동 생성하고 점진적으로 개선하는 진화형 멀티에이전트 프레임워크 'Mimosa'를 제안하며, 이를 통해 기존 고정형 시스템의 한계를 극복하고 과학 연구 자동화의 새로운 지평을 열었다고 요약할 수 있습니다.

핵심

미모사 (Mimosa): 과학 연구를 돕는 '진화하는 팀'의 이야기

이 논문은 **"미모사 (Mimosa)"**라는 새로운 인공지능 시스템을 소개합니다. 미모사는 과학자들이 복잡한 연구를 할 때, 혼자서 모든 일을 하느라 지치는 대신 **스스로 팀을 꾸리고, 실수를 배우고, 점점 더 똑똑해지는 '자율 과학 연구 시스템'**입니다.

기존의 AI 는 마치 **"고정된 레시피"**를 가진 요리사처럼, 처음 정해진 대로만 움직였습니다. 하지만 과학 연구는 예상치 못한 변수가 많고, 새로운 도구가 계속 등장합니다. 미모사는 이 문제를 해결하기 위해 **"살아있는 팀"**처럼 행동합니다.

이제 미모사가 어떻게 작동하는지, 일상적인 비유로 쉽게 설명해 드리겠습니다.

---

1. 문제: "고정된 레시피"의 한계

지금까지의 과학 연구용 AI 는 마치 **"매번 같은 메뉴만 만드는 식당"**과 같았습니다.

• 상황: 손님이 "새로운 재료로 요리를 해줘"라고 하면, 기존 AI 는 당황하거나 실패합니다.
• 이유: 미리 정해진 절차 (워크플로우) 와 도구 (툴) 만 사용할 수 있기 때문입니다.
• 결과: 연구가 예상과 다르게 흘러가면 AI 는 멈추거나 엉뚱한 결과를 내놓습니다.

2. 해결책: 미모사 (Mimosa) - "유연한 요리 팀"

미모사는 고정된 레시피 대신, **상황에 따라 팀원 구성과 요리법을 실시간으로 바꿀 수 있는 '유동적인 요리 팀'**입니다.

🌱 비유: "레시피를 직접 고쳐 쓰는 요리사 팀"

미모사는 다음과 같은 5 단계로 작동합니다.

1. 팀장 (메타 오케스트레이터): "오늘은 이 재료를 써서 요리를 만들어야 해!"라는 목표를 받습니다.
2. 주방 도구 찾기 (Tool Discovery): 냉장고와 창고 (MCP 서버) 를 둘러보며 "오늘 쓸 수 있는 최신 주방 도구들"을 찾아냅니다.
3. 팀 구성하기 (Workflow Synthesis):
   • "이 요리는 A 가 채소를 자르고, B 가 소스를 만들고, C 가 굽는 게 좋겠어."라고 팀을 구성합니다.
   • 만약 이전에 비슷한 요리를 한 기록이 있다면, 그 레시피를 가져와서 수정합니다.
4. 요리 실행 (Execution): 각 팀원 (AI 에이전트) 이 직접 코드를 작성하며 요리를 시작합니다. (예: 파이썬 코드로 데이터를 분석하거나 실험 장비를 조종)
5. 맛보기 및 피드백 (Judge):
   • **심사위원 (LLM Judge)**이 요리를 맛봅니다. "음, 소스가 너무 짜네" 혹은 "재료 배치가 이상해"라고 구체적인 피드백을 줍니다.
   • 팀장은 이 피드백을 듣고 "다음엔 B 가 소스를 덜 짜게 만들고, C 가 굽는 시간을 2 분 줄이자"라고 팀 구성을 바꿉니다.

이 과정을 수십 번 반복하면서, 미모사는 처음에는 서툴렀던 요리가 점점 완벽해지도록 스스로 진화합니다.

---

3. 핵심 특징: 왜 미모사가 특별한가?

🔍 1. "실수에서 배우는 능력" (진화)

기존 AI 는 실수를 하면 그 자리에서 멈춥니다. 하지만 미모사는 **"아, 이 방법은 안 먹히네. 다음엔 저렇게 해보자"**라고 생각하며 팀의 구조를 바꿉니다.

• 비유: 처음엔 실패한 요리 레시피를 10 번 정도 고쳐서, 결국 별 5 개를 받는 요리를 만들어내는 과정입니다.

🛠️ 2. "도구 마법" (MCP 활용)

미모사는 새로운 과학 도구 (소프트웨어나 실험 장비) 가 생기면, 그걸 바로 팀에 추가할 수 있습니다.

• 비유: 새로운 '초고속 믹서기'가 생겼다고? 팀장님이 바로 그 믹서기를 팀원들에게 나눠주고 "이제 이걸로 소스를 만들어!"라고 지시합니다. 기존 AI 는 믹서기 사용법을 몰라 못 썼지만, 미모사는 바로 적응합니다.

📝 3. "완벽한 기록" (감사 추적)

미모사는 모든 과정을 꼼꼼히 기록합니다. "왜 이렇게 요리했는지", "어떤 실수를 했는지"가 모두 남습니다.

• 비유: 요리 과정의 모든 장면을 CCTV 로 찍어두어, 나중에 다른 요리사도 똑같이 따라 할 수 있게 합니다. 이는 과학의 '재현성' (다른 사람이 같은 실험을 해도 같은 결과가 나오는 것) 을 보장합니다.

---

4. 실제 성과: "과학자 벤치마크"에서 승리

이 시스템은 **'ScienceAgentBench'**라는 유명한 과학 연구 테스트에서 실험되었습니다.

• 결과: 미모사 (특히 DeepSeek-V3.2 모델을 사용했을 때) 는 **43.1%**의 성공률을 기록했습니다.
• 의미: 기존에 혼자 일하던 AI 나, 고정된 팀을 가진 AI 보다 훨씬 더 많은 과학적 문제를 해결했습니다.
• 재미있는 점: 모든 AI 모델이 미모사의 도움을 받는 것은 아닙니다. 어떤 AI 는 혼자 일할 때 더 잘하고, 어떤 AI 는 팀을 꾸리고 피드백을 받을 때 비약적으로 발전합니다. 이는 **"모델의 성향에 맞는 팀 구성"**이 중요하다는 것을 보여줍니다.

---

5. 결론: 과학의 미래는 '함께 진화하는 팀'

미모사는 과학 연구의 미래를 바꿀 수 있는 열쇠입니다.

• 과거: 인간 과학자가 모든 도구를 일일이 가르치고, AI 는 정해진 대로만 움직였습니다.
• 미래: 미모사처럼 스스로 도구를 찾고, 팀을 꾸리고, 실수를 통해 배우는 AI가 과학자의 파트너가 됩니다.

이 시스템은 오픈소스로 공개되어 누구나 사용할 수 있습니다. 마치 과학 연구라는 거대한 요리 대회에서, 누구나 자신의 레시피를 공유하고 함께 더 맛있는 요리를 만들어갈 수 있는 열린 주방을 제공하는 것과 같습니다.

한 줄 요약:

"미모사는 과학 연구를 위해 스스로 팀을 꾸리고, 실험 실패를 피드백 삼아 레시피를 고쳐가며 점점 더 똑똑해지는 '진화하는 AI 요리 팀'입니다."

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 현재의 한계: 기존 자율 과학 연구 (Autonomous Scientific Research, ASR) 시스템은 대규모 언어 모델 (LLM) 과 에이전트 아키텍처를 활용하고 있지만, 고정된 워크플로우와 도구 세트에 의존합니다. 이로 인해 변화하는 연구 과제나 환경에 적응하지 못하며, 장기적인 실행 과정에서 발생하는 '의미적 표류 (Semantic Drift)', 할루시네이션, 정보 손실 등의 문제가 발생합니다.
• 재현성 위기: 실험실 간 방법론과 보고 표준의 단편화로 인해 과학적 발견의 재현성이 위협받고 있으며, 기존 AI 에이전트 시스템은 투명하고 감사 가능한 (auditable) 분석 단계를 제공하지 못해 신뢰성이 떨어집니다.
• 핵심 질문: 과학적 과제가 변화함에 따라 에이전트 시스템이 중요한 맥락을 잃지 않으면서도 유연하게 조정 및 적응할 수 있는 방법은 무엇인가?

2. 제안 방법론: Mimosa Framework

Mimosa 는 실험 피드백을 통해 반복적으로 개선되는 진화형 (Evolving) 멀티에이전트 프레임워크입니다. 주요 구성 요소와 작동 원리는 다음과 같습니다.

A. 핵심 아키텍처 (5 계층 구조)

1. 계획 계층 (Optional): 고수준 과학적 목표를 개별 작업 (Task) 으로 분해합니다. (본 논문 평가에서는 작업 단위로 직접 입력받아 이 계층을 생략했습니다.)
2. 도구 발견 계층 (Tool Discovery): **Model Context Protocol (MCP)**을 활용하여 로컬 네트워크 및 클라우드의 다양한 계산 도구와 실험 장비를 동적으로 검색하고 통합합니다. Toolomics 라는 동반 플랫폼을 통해 MCP 서버를 관리합니다.
3. 메타 오케스트레이션 계층 (Meta-Orchestration):
   • 워크플로우 생성: 작업 설명을 기반으로 멀티에이전트 워크플로우를 생성하거나, 유사한 과거 작업의 워크플로우를 아카이브에서 검색하여 재사용합니다.
   • 반복적 정제 (Iterative Refinement): 단일 incumbent(현재 최선) 워크플로우를 기반으로 **국소 탐색 (Local Search)**을 수행합니다. LLM 이 워크플로우 토폴로지 (노드 추가/제거, 엣지 재연결, 프롬프트 수정) 를 변형 (Mutation) 하고, 실행 결과를 평가하여 점수가 향상된 경우만 다음 세대로 전달합니다.
4. 에이전트 실행 계층 (Agent Execution): 생성된 워크플로우의 하위 작업을 수행합니다. SmolAgent (코드 생성 에이전트) 를 사용하여 Python 코드를 직접 작성하고 실행하며, 이를 통해 MCP 도구를 호출하고 과학적 라이브러리 (RDKit, BioPython 등) 를 활용합니다.
5. 평가 계층 (Judge Layer): LLM 기반 심사관 (LLM-as-a-judge) 이 실행 결과를 4 가지 기준 (목표 정렬, 협업 효율성, 출력 품질, 답변 타당성) 으로 평가하여 구조화된 피드백을 메타 오케스트레이터에 제공합니다.

B. 진화 전략

• Case-Based Retrieval: 유사한 과거 작업의 워크플로우를 검색하여 초기화합니다.
• Greedy Iterative Refinement: 평가 점수가 0.9 이상이거나 최대 반복 횟수 (10 회) 에 도달할 때까지 워크플로우를 점진적으로 변형하고 최적화합니다.

3. 주요 기여 (Key Contributions)

1. 동적 워크플로우 진화: 고정된 파이프라인이 아닌, 실험 피드백에 따라 에이전트 간 상호작용 토폴로지와 도구 할당을 실시간으로 조정하는 최초의 과학 연구용 프레임워크 중 하나입니다.
2. MCP 기반 도구 통합: 도구와 실행 환경을 분리하여 다양한 과학적 도구 (계산, 실험 장비 등) 를 표준화된 인터페이스로 동적으로 통합할 수 있는 모듈러 아키텍처를 제시했습니다.
3. 감사 가능성과 재현성: 모든 실행 흔적 (Execution Traces) 을 기록하고 아카이브하여 과학적 분석의 각 단계를 검증하고 재현할 수 있도록 설계되었습니다.
4. 오픈 소스 플랫폼: Mimosa 와 Toolomics 를 Apache License 2.0 으로 공개하여 커뮤니티 기반의 ASR 발전을 촉진합니다.

4. 실험 결과 (Results)

• 벤치마크: ScienceAgentBench (4 개 과학 분야, 102 개 데이터 기반 발견 작업) 에서 평가되었습니다.
• 성능:
  • DeepSeek-V3.2 모델을 사용할 때, 반복 학습 (Iterative-Learning) 모드는 **43.1% 의 성공률 (Success Rate)**을 기록했습니다.
  • 이는 단일 에이전트 (38.2%) 와 1 회성 멀티에이전트 (One-shot, 32.4%) 설정을 모두 능가하는 결과입니다.
  • GPT-4o 와 Claude Haiku 4.5 모델에서도 멀티에이전트 분해와 반복 학습을 통해 성능이 향상되었으나, 모델별 편차가 존재했습니다 (DeepSeek-V3.2 가 가장 큰 향상을 보임).
• 비용 효율성: DeepSeek-V3.2 를 사용한 Mimosa 는 기존 최고 성능 모델 (OpenAI o1-preview 등) 과 유사한 성능을 내면서도 토큰 비용은 훨씬 낮았습니다.
• 진화 효과: 1~8 회 반복 동안 일관된 성능 향상이 관찰되었으나, 10 회 이후에는 체감 수익이 감소하거나 하락하는 경향을 보였습니다.

5. 의의 및 결론 (Significance)

• 패러다임 전환: 과학 연구 자동화를 위해 '고정된 전문가 설계 파이프라인'에서 '경험을 통해 학습하고 적응하는 멀티에이전트 프레임워크'로의 전환을 제안합니다.
• 모델 - 아키텍처 상호작용: 모든 모델이 멀티에이전트 구조에서 동일한 이점을 얻는 것은 아니며, 모델의 지시 따르기 (Instruction-following) 능력과 아키텍처의 적합성이 성능을 결정한다는 점을 밝혔습니다.
• 미래 전망: Mimosa 는 계산 과학, 약물 설계, 재료 과학 등 다양한 분야에서 연구자의 분석 작업을 확장하고, 재현 가능한 과학적 발견을 지원하는 강력한 기반이 될 것으로 기대됩니다. 또한, 향후 인구 기반 (Population-based) 탐색 전략 도입과 도메인 기반 스킬 습득을 통해 성능을 더욱 고도화할 계획입니다.

이 논문은 LLM 기반 에이전트 시스템이 복잡한 과학적 문제를 해결하기 위해 어떻게 적응성 (Adaptability), 재현성 (Reproducibility), **진화적 학습 (Evolutionary Learning)**을 결합할 수 있는지에 대한 실증적인 증거를 제시합니다.