🤖 AI

BioMedArena: An Open-source Toolkit for Building and Evaluating Biomedical Deep Research Agents

BioMedArena는 평가 레이어를 분리하고, 방대한 벤치마크 및 도구 라이브러리를 제공하며, 최첨단 결과보다 모델 성능을 크게 향상시키는 모듈형 구성 요소를 제공함으로써 생의학 심층 연구 에이전트의 재현성 문제를 해결하기 위해 설계된 오픈 소스 툴킷입니다.

원저자: Jinge Wu, Hongjian Zhou, Mingde Zeng, Jiayuan Zhu, Junde Wu, Jiazhen Pan, Ayush Noori, Sean Wu, Honghan Wu, Fenglin Liu, David A. Clifton

게시일 2026-06-24

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jinge Wu, Hongjian Zhou, Mingde Zeng, Jiayuan Zhu, Junde Wu, Jiazhen Pan, Ayush Noori, Sean Wu, Honghan Wu, Fenglin Liu, David A. Clifton

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 서로 다른 요리사들의 실력을 비교하여 누가 가장 복잡한 요리를 잘 만드는지 알아내려 한다고 상상해 보십시오. 지금 당장 당신이 요리사 A에게 요리를 요청하면, 그들은 자신만의 주방, 자신만의 칼 세트, 그리고 자신만의 레시피 북을 사용합니다. 만약 당신이 요리사 B에게 정확히 똑같은 요리를 요청한다면, 그들은 완전히 다른 주방, 다른 도구 세트, 그리고 음식을 맛보는 다른 방식을 사용합니다.

주방과 도구가 너무 다르기 때문에, 요리사 A가 실제로 더 뛰어난 것인지, 아니면 단지 더 좋은 칼을 가졌던 것뿐인지 구분하는 것은 불가능합니다. 이것이 이 논문의 저자들이 AI 연구자들을 위해 해결하고자 하는 문제입니다.

다음은 논문의 주장들을 사용하여 작성한 간단한 분석입니다:

1. 문제점: 엉망진창인 주방

현재 연구자가 새로운 AI "연구원"(도구를 사용하여 답을 찾는 에이전트)을 테스트하고 싶다면, 처음부터 직접 맞춤형 테스트 환경을 구축해야 합니다.

서로 다른 주방: 모든 AI 시스템은 서로 다른 "하네스(harness)"(사고와 행동의 루프)를 사용합니다.
서로 다른 도구: 어떤 시스템은 의료 데이터베이스에 접근할 수 있는 반면, 다른 시스템은 다른 데이터베이스를 가질 수 있습니다.
서로 다른 심판: 어떤 시스템은 단순한 규칙으로 자신의 작업을 스스로 채점하는 반면, 다른 시스템은 다른 AI를 사용하여 채점합니다.

이는 두 AI를 비교하는 것이 마치 비포장 도로 위의 레이싱 카 드라이버와 F1 트랙 위의 드라이버를 비교하는 것과 같습니다. 결과는 불공정하며, 새로운 테스트를 구축하는 데는 몇 주간의 엔지니어링 작업이 필요합니다.

2. 해결책: BioMedArena (유니버설 키친)

저자들은 BioMedArena라는 오픈 소스 툴킷을 구축했는데, 이는 유니버설하고 표준화된 주방 역할을 합니다.

하나의 표준 조리대: 어떤 AI(백본)를 연결하더라도, 해당 AI는 정확히 동일한 166개의 생의학 테스트(의학 퀴즈나 화학 문제 등)를 받게 됩니다.
하나의 도구함: 모든 AI는 75개의 도구(의학 문헌 검색, 유전자 분석, 약물 상호작용 확인 등)에 접근할 수 있습니다.
하나의 심판: 모든 답변은 동일한 엄격한 규칙이나 동일한 AI 심판에 의해 채점되므로 점수가 공정합니다.

이제 새로운 AI를 위한 주방을 매번 새로 만들 필요 없이, 연구자들은 몇 줄의 코드로 된 작은 어댑터를 통해 자신의 AI를 BioMedArena에 연결하기만 하면 됩니다. 이는 마치 새로운 셰프를 표준화된 주방에 투입하여 그들의 실력을 확인하는 것과 같습니다.

3. 비밀 병기: "Mutual-Evolve"

논문은 MUTUAL-EVOLVE라고 불리는 특별한 AI 사고 방식을 소개합니다. 미제 사건을 해결하는 네 명의 형사 팀을 상상해 보십시오.

기존 방식: 각 형사가 서로 영향을 받지 않도록 별도의 방에서 혼자 작업합니다. 마지막에 그들은 모두 자신의 최종 추측을 외치고, 그룹은 가장 인기 있는 것을 선택합니다. 만약 한 형사가 초기에 결정적인 단서를 발견했음에도 이를 외치지 않았다면, 그룹은 그 단서를 놓치게 됩니다.
Mutual-Evolve 방식:
1. 개별 단계 (Private Phase): 형사들은 다른 이들의 영향을 받지 않고 자신만의 아이디어를 구상하기 위해 한동안 혼자 작업합니다.
2. 공유 게시판 (The Shared Blackboard): 그들은 실수(Mistakes), 기술(Skills), 사용된 도구(Tools Used), *사실(Facts)*의 네 가지 섹션으로 나뉜 거대한 화이트보드가 있는 공유 공간으로 이동합니다.
3. 공유 (Sharing): 그들은 돌아가며 화이트보드에 자신의 발견을 적습니다. 만약 형사 A가 어떤 경로가 막다른 길임을 깨달으면, 보드에 "실수(Mistake)"라고 적습니다. 만약 형사 B가 핵심 사실을 발견하면, "사실(Facts)" 아래에 적습니다.
4. 최종 투표 (The Final Vote): 최종 답변을 내놓기 전, 그들은 전체 화이트보드를 읽습니다. 최종 투표는 단순히 숫자를 세는 것이 아닙니다. 보드에 더 유용한 정보를 많이 기여한 형사에게는 약간 더 무거운 투표권이 주어집니다.

이 방식은 AI 팀이 단순히 최종 결과에 투표하는 것을 넘어, 서로의 실수와 발견으로부터 배울 수 있게 해줍니다.

4. 결과: 큰 폭의 도약

저자들은 12가지의 서로 다른 AI 모델(오픈 소스 및 유명 상용 모델 모두 포함)을 이 새로운 툴킷을 사용하여 테스트했습니다.

마법 같은 효과: 이 AI들에게 표준화된 도구와 "Mutual-Evolve" 사고 방식을 제공했을 때, 성능이 크게 향상되었습니다.
점수: 평균적으로 AI들은 8가지의 다양한 의학 및 과학 벤치마크에서 15 퍼센트 포인트만큼 성능이 향상되었습니다.
기록: 모든 테스트에서 BioMedArena를 갖춘 AI가 이전의 "최고 수준(best in class)" 기록을 경신했습니다. 예를 들어, 까다로운 의학 시험에서 한 AI는 약 46%의 정답률에서 56%로 상승하며 이전 최고 점수를 넘어섰습니다.

요약

이 논문은 이 AI들이 이제 질병을 치료하거나 병원에서 환자를 진단한다고 주장하는 것이 아닙니다. 대신, 서로 다른 AI 연구자들이 생의학 문제를 해결하는 데 얼마나 뛰어난지를 마침내 비교할 수 있는 첫 번째 공정한 경기장을 구축했다고 주장합니다. 또한, 이러한 AI들에게 더 나은 협업 방식(Mutual-Evolve)과 더 나은 도구 세트를 제공하는 것이 이 특정 과업들에 대해 그들을 훨씬 더 똑똑하게 만든다는 것을 보여주었습니다.

기술 요약: BioMedArena

문제 정의

생물 의학 분야의 딥 리서치 에이전트(deep research agents)는 심각한 재현성 위기에 직면해 있습니다. 딥 리서치 에이전트는 복잡한 과제를 해결하기 위해 도구 사용(tool use), 장기 계획(long-horizon planning), 다중 에이전트 오케스트레이션(multi-agent orchestration)을 활용하지만, 이들의 성능을 비교하는 것은 파편화된 평가 환경으로 인해 현재 어려움을 겪고 있습니다. 동일한 백본 모델을 동일한 벤치마크에서 평가하더라도, 서로 다른 논문에서 보고된 정확도가 크게 달라지는 경우가 빈번합니다. 이러한 불일치는 세 가지 주요 엔지니어링 축에서 발생합니다:

비교 불가능한 하네스(Non-comparable Harnesses): 서로 다른 시스템은 고유한 실행 루프(예: ReAct 방식, plan-execute, self-consistency)를 구현하며, 이로 인해 동일한 모델이라도 하네스 로직에 따라 다르게 수행됩니다.
비공유 도구 레지스트리(Non-shared Tool Registries): 시스템들은 독자적인 도구 스키마와 구현체를 묶어서 제공하므로, 다른 모델이나 벤치마크 간에 도구를 재사용하는 것을 방해합니다.
비통합된 스코어링(Non-unified Scoring): 평가 지표가 결정론적 매칭, LLM-as-judge, 코드 실행 등을 일관성 없이 혼합하여 사용하며, 판단 모델(judge model) 자체의 선택이 변동성을 유발합니다.

결과적으로, 새로운 모델을 비교 가능한 평가 표면에 통합하려면 하네스, 도구 통합, 스코어링 로직을 재구현하기 위해 모델별로 수 주간의 엔지니어링 작업이 필요하며, 이는 공정한 헤드 투 헤드(head-to-head) 비교를 가로막는 장벽이 됩니다.

방법론: BioMedArena 툴킷

이러한 문제를 해결하기 위해 저자들은 생물 의학 에이전트 평가를 벤치마크 로딩, 도구 노출, 도구 선택, 하네스 모드, 컨텍스트 관리, 스코어링의 6가지 교체 가능한 계층으로 분리하도록 설계된 오픈 소스 툴킷인 BioMedArena를 소개합니다.

핵심 아키텍처

통합 태스크 인터페이스: 이 툴킷은 166개의 생물 의학 벤치마크(의학, 생물학, 유전체학, 화학 및 다학제적 추론을 포괄)를 공통 태스크 객체로 정규화합니다. 이 정규화는 규칙 기반 로더를 사용하여 원시 데이터셋 필드를 표준 스키마로 매핑하는 프로그래밍 방식이며, 이를 통해 수동적인 샘플별 엔지니어링의 필요성을 제거합니다.
타입 지정 도구 레지스트리(Typed Tool Registry): BioMedArena는 9개의 기능적 패밀리(예: 문헌 검색, 임상 의사 결정 지원, 유전체학, 단백질 구조)에 걸쳐 75개의 생물 의학 도구를 노출합니다. 도구들은 구조화된 파라미터 시그니처와 반환 타입과 함께 등록되어, 어떤 에이전트라도 이들을 균일하게 접근할 수 있습니다.
에이전트 하네스: 툴킷은 모델 상호작용을 가이드하기 위해 6가지의 뚜렷한 에이전트 하네스를 구현합니다:
1. 함수 호출(Function-Calling): 한 번의 도구 사용을 포함한 단일 포워드 패스.
2. ReAct 스타일: Thought-Action-Observation 루프.
3. OpenSeeker 스타일: 과제를 서브 쿼리로 분해하는 검색 중심 루프.
4. 자기 일관성(Self-Consistency): 다수결 투표를 통해 집계되는 독립적인 궤적들.
5. Light Mutual-Evolve: 일반적인 과제를 위한 제안된 경량 루프.
6. Heavy Mutual-Evolve: 딥 리서치 제약 조건이 포함된 풀 피처 루프.
컨텍스트 관리: 긴 생물 의학 트레이스에서 흔히 발생하는 토큰 오버플로를 처리하기 위해, 툴킷은 6가지의 조합 가능한 전략(planning, summarization, clearing, truncation, memory, rollback)을 제공합니다. 이들은 히스토리를 압축하거나, 중요한 사실을 유지하거나, 오래된 페이로드를 제거함으로써 입력 컨텍스트를 관리합니다.
스코어링 라우터: 벤치마크 인지형 라우터가 적절한 스코어링 정책을 선택합니다. 구조화된 태스크에는 결정론적 스코어링(exact match, regex)을 우선시하며, 오픈 엔드 태스크나 결정론적 스코어링이 의미적 정확성을 포착하지 못할 때(예: 포맷팅 변형)는 LLM judge를 호출합니다.

제안된 구성 요소: MUTUAL-EVOLVE

주요 기여 중 하나는 다중 에이전트 시스템에서 궤적의 다양성과 정보 공유 사이의 트레이드오프를 해결하기 위해 설계된 MUTUAL-EVOLVE 하네스입니다. 격리된 롤아웃을 사용하는 표준 self-consistency와 달리, MUTUAL-EVOLVE는 다음을 채택합니다:

프라이빗 단계(Private Phase): $N$ 개의 병렬 솔버가 서로 다른 샘플링 온도를 사용하여 $T$ 라운드 동안 독립적으로 탐색함으로써 다양한 초기 궤적을 확보합니다.
타입 지정 글로벌 워크스페이스(Typed Global Workspace): 프라이빗 단계 이후, 솔버들은 네 가지 뱅크(Errors(배제된 경로), Skills(휴리스틱), Tools(호출/결과), Guides(사실/제약))로 나뉜 구조화된 워크스페이스를 통해 중간 발견 사항을 공유합니다. 이러한 타입 지정은 내부 독백(internal monologue)이 무분별하게 쏟아지는 것을 방지합니다.
기여도 가중치 투표(Contribution-Weighted Voting): 최종 답변은 단순히 다수결에 의해 집계되는 것이 아니라, 솔버가 공유 워크스페이스에 기여한 유효 항목의 수에 따라 가중치가 부여됩니다 ( $w_i = 1 + \beta H_i$ ).
최종 확인(Final Confirmation): 투표 전, 각 솔버는 집단적 증거를 바탕으로 답변을 정교화하기 위해 전체 워크스페이스에 대한 텍스트 기반 리뷰를 수행합니다.

주요 결과

저자들은 12개의 백본 모델(오픈 소스 5개, 클로즈드 소스 7개)을 8개의 대표적인 생물 의학 벤치마크를 통해 BioMedArena로 평가했습니다.

성능 향상: 백본에 BioMedArena의 구성 요소(특히 기본 Light Mutual-Evolve 하네스와 최적화된 컨텍스트 관리)를 장착했을 때 성능이 실질적으로 향상되었습니다. 평균적으로 가장 잘 갖춰진 백본은 8개 벤치마크에서 이전의 SOTA 결과를 +15.01 퍼센티지 포인트 초과 달성했습니다.
특정 벤치마크:
- HLE-Gold: BioMedArena를 장착한 Claude Opus 4.6은 이전 SOTA인 46.8%를 넘어 56.4%에 도달했습니다.
- BixBench: Gemini 3.1 Pro + Ours는 80.5%였던 GPT-5.5 SOTA를 이기고 85.9%를 달성했습니다.
- SuperChem: Claude Opus 4.6 + Ours는 텍스트 전용 서브셋에서 72.8%를 달성하여, 이전 SOTA 대비 +9.6 pp 향상을 보였습니다.
- LAB-Bench 2: 이 프레임워크는 검색 기반 서브셋(예: SuppQA2, DBQA2)에서 +40 퍼센티지 포인트 이상의 상승을 이끌어내며, 구조화된 외부 증거에 접근하기 위한 도구 사용의 효용성을 입증했습니다.
어블레이션 통찰(Ablation Insights): 연구는 MUTUAL-EVOLVE의 Private Phase가 매우 중요하다는 것을 확인했습니다. 이를 줄이면 성능이 저하되었는데, 이는 초기 격리가 저품질의 발견 사항이 다른 에이전트를 오도하는 것을 방지한다는 점을 시사합니다. 또한, Planning과 Summarization의 조합이 가장 견고한 컨텍스트 관리 전략으로 식별되었습니다.

의의 및 주장

이 논문은 BioMedArena를 생물 의학 딥 리서치 에이전트를 위한 최초의 정기적으로 비교 가능한 대규모 평가 인프라로 규정합니다. 이의 주요 의의는 에이전트 평가를 반복적이고 시스템 특정적인 엔지니어링 부담에서 공유 가능하고 재현 가능한 인프라로 전환하는 데 있습니다.

재현성: 평가 계층을 분리함으로써, BioMedArena는 연구자가 최소한의 프로바이더 어댑터(종종 100줄 미만의 코드)만으로 새로운 모델을 추가할 수 있게 하여, 동일한 도구 레지스트리, 하네스, 스코어링 정책 하에서 기존 에이전트와 즉각적인 비교를 가능하게 합니다.
구성 요소 품질: 툴킷의 참조 구성 요소들은 단순한 인프라가 아닙니다. 이들은 강력한 성능 향상 도구입니다. 저자들은 하네스와 컨텍스트 전략 자체가 성능 향상을 주도하며, 표준 백본을 경쟁력 있는 딥 리서치 에이전트로 효과적으로 변화시킨다는 것을 입증했습니다.
표준화: 이 작업은 서로 다른 딥 리서치 에이전트가 헤드 투 헤드로 비교될 수 있는 통합된 환경을 구축하며, 서로 다른 엔지니어링 선택이 실제 모델 능력을 가려왔던 "재현성 위기"를 해결합니다.

저자들은 결론적으로 BioMedArena가 생물 의학 딥 리서치 에이전트가 첫날부터 공정하게 비교될 수 있는 토대를 제공하며, 이를 통해 연구의 초점을 평가 파이프라인의 엔지니어링에서 에이전트의 핵심 연구 능력 발전으로 전환할 수 있다고 밝힙니다.