🧬 biology

Comparative benchmarking of AI research agents for omics data interpretation

본 연구는 오믹스 데이터 해석을 대상으로 세 가지 특화된 AI 연구 에이전트(K-Dense, Finch, Biomni)를 ChatGPT와 비교하여 종합적인 정량적 벤치마크를 제시하며, 단일 에이전트가 모든 모달리티에서 우위를 점하지 못한다는 점과 에이전트의 아키텍처가 베이스 모델의 역량보다 특정 생물정보학 워크플로우에 대한 출력 품질 및 적합성을 결정하는 주요 요인임을 밝히고 있다.

원저자: Nikita V. Basov, Yosef K. Tirta, Zihan Li, Huan Zhou, Kiryl D. Piatkevich

게시일 2026-08-12

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Nikita V. Basov, Yosef K. Tirta, Zihan Li, Huan Zhou, Kiryl D. Piatkevich

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ⚕️ 이것은 동료 심사를 거치지 않은 프리프린트의 AI 생성 설명입니다. 의학적 조언이 아닙니다. 이 내용을 바탕으로 건강 관련 결정을 내리지 마세요. 전체 면책 조항 읽기

인체의 기능을 거대하고 북적이는 도시라고 상상해 보십시오. 이 도시가 어떻게 작동하는지 이해하기 위해, 과학자들은 단순히 거리만을 보는 것이 아니라 아주 작은 배달 트럭(대사체)부터 건설 현장 인력(단백질), 그리고 명령을 내리는 도시 계획가(유전자)에 이르기까지 모든 개별 거주자의 인구 조사를 실시합니다. 이것을 "오믹스(omics)" 데이터라고 부릅니다. 이는 건강과 질병의 이야기를 들려주는 방대한 정보의 산입니다. 하지만 문제는 도시가 너무 빠르게 성장하고 있어서, 데이터가 쌓이는 속도가 인간 탐정 팀이 분류하는 속도보다 더 빠르다는 점입니다. 우리는 도움이 필요합니다.

여기 "AI 연구 에이전트(AI Research Agents)"가 등장합니다. 이들을 단순한 검색 엔진이 아니라, 고도로 훈련된 자동화된 인턴이라고 생각하십시오. 당신이 엉망진창인 데이터 상자와 함께 "무엇이 이 질병을 유발하는가?"와 같은 질문을 건네면, 이들은 데이터를 정제하고, 수학적 계산을 수행하며, 차트를 그리고, 답을 설명하는 보고서를 작성해야 합니다. 최근 이러한 새로운 물결의 AI 인턴들이 도착하여, 단 몇 초 만에 과학자 팀 전체의 업무를 해낼 수 있다고 약속하고 있습니다. 하지만 너무 많은 새로운 인턴들이 나타나면서, 한 가지 큰 의문이 남습니다. 과연 어떤 인턴이 실제로 일을 가장 잘하는지, 그리고 어떤 인턴은 그저 보기 좋게 만드는 데만 능숙한 것인지 말입니다.

이 논문은 바로 이 사실을 알아내기 위한 거대하고 체계적인 "인턴 경진 대회"와 같습니다. 연구진은 네 가지 서로 다른 AI 에이전트가 신체의 화학적 수프(대사체학), 세포의 구성 요소(단백질체학), 그리고 유전적 지침(전사체학)이라는 세 가지 매우 다른 유형의 생물학적 데이터를 분석하도록 하는 공정한 테스트를 설정했습니다. 그들은 단순히 AI에게 추측을 요구한 것이 아니라, 구체적이고 실제적인 데이터 세트를 제공하고 그들이 단계별로 어떻게 작업하는지 관찰했습니다.

결과는 놀라웠으며, 모든 것을 이기는 단 하나의 "슈퍼 인턴"은 없다는 것을 가르쳐 주었습니다. 결국 AI의 '성격'과 그것이 어떻게 구축되었는지가 모델이 구동되는 컴퓨터의 순수한 연산 능력보다 더 중요하다는 사실이 밝혀졌습니다.

경쟁은 다음과 같이 진행되었습니다:

K-Dense (꼼꼼한 설계자): Gemini 2.5 Pro라는 강력한 모델을 기반으로 구축된 이 에이전트는 "화학적 수프"(대사체학) 분야의 챔피언이었습니다. 이 에이전트는 모든 치수를 재차 확인하는 설계사처럼 가장 철저하고 재현 가능한 보고서를 만들어냈습니다. 하지만 때때로 자신의 생각에 갇혀, 스스로의 작업이 완벽하지 않다고 느낄 때 인간이 다시 시도하도록 독려해 주기를 기다리기도 했습니다.
Finch (조직적인 관리자): Edison Scientific의 이 에이전트는 나머지 두 분야인 구성 요소(단백질체학)와 유전적 지침(전사체학)에서 명확한 승자였습니다. Finch가 반드시 "왜"에 대해 가장 깊이 파고드는 것은 아니었지만, 가장 잘 정리되고 일관된 보고서를 만들어냈습니다. 이는 마치 세부 사항이 다소 정형화되어 있더라도 항상 깨끗하고 완전한 파일을 제시간에 제출하는 프로젝트 매니저와 같았습니다.
Biomni (창의적인 스토리텔러): Claude 제품군을 기반으로 하는 이 에이전트는 생물학적 해석의 "큰 그림"을 그리는 데 뛰어났습니다. 데이터가 무엇을 의미하는지에 대해 설득력 있는 이야기를 들려줄 수 있었습니다. 하지만 데이터 정제나 오류 확인과 같은 지루하지만 중요한 단계들을 자주 건너뛰곤 했습니다. 이는 환상적인 결말을 쓰지만 캐릭터들이 어떻게 그곳에 도달했는지는 설명하는 것을 잊어버리는 스토리텔러와 같았습니다.
ChatGPT (제너럴리스트): 연구진은 유명한 범용 도구인 ChatGPT를 기준점으로 포함했습니다. 생물학을 위한 특별한 훈련 없이, 이 모델은 고전했습니다. 주로 기초적인 수학 작업만 수행했으며, 완전한 보고서를 생성하는 데 자주 실패하여 모든 카테고리에서 최하위를 기록했습니다. 이는 일반적인 똑똑한 도구가 전문적인 과학 작업에는 충분하지 않다는 것을 보여주었습니다.

이 경주의 가장 중요한 교훈은 누가 1등을 했느냐가 아닙니다. 연구진은 AI의 '두뇌' 자체보다 AI를 둘러싼 특정 도구와 규칙인 "하네스(harness)"가 더 중요하다는 것을 발견했습니다. 강력한 안전망과 명확한 워크플로우(Finch와 같은)를 가진 에이전트가 구조가 부족한 더 똑똑한 에이전트를 이길 수 있었습니다.

또한 그들은 "재현성"이 까다로운 문제라는 것을 발견했습니다. 한 에이전트인 ChatGPT는 화학 카테고리에서 매우 일관성을 보였는데, 이는 그가 짧고 얕은 답변을 반복했기 때문이었습니다. 또 다른 에이전트인 K-Dense는 지속적으로 깊이 있고 상세한 내용을 보여주었습니다. 일관성이 있다는 것이 항상 옳거나 유용하다는 뜻은 아닙니다. 때로는 그저 고집스럽게 똑같다는 것을 의미할 뿐입니다.

결론적으로, 이 논문은 우리가 단 하나의 AI 로봇이 모든 인간 과학자를 대체하기를 기대해서는 안 된다고 제안합니다. 대신, 미래는 각자가 잘하는 분야를 수행하는 전문화된 AI 도구들의 팀을 보유하게 될 것이며, 인간은 그들이 들려주는 이야기가 진실인지 확인하기 위해 감독하는 역할을 맡게 될 것입니다. 이 경쟁은 AI가 데이터 분석의 힘든 작업을 수행할 수는 있지만, 여전히 그 작업물을 검토하는 편집자로서의 인간이 필요하다는 것을 보여주었습니다.

기술 요약: 오믹스 데이터 해석을 위한 AI 연구 에이전트의 비교 벤치마킹

문제 정의
오믹스 데이터(단백질체학, 전사체학, 대사체학) 생성의 급격한 가속화는 데이터 분석 및 해석의 병목 현상을 초래하였으며, 연구의 중심을 가설 기반에서 데이터 기반 모드로 전환시키고 있습니다. 데이터 분석을 돕거나 혹은 인간 생물정보학자를 대체하기 위해 AI 연구 에이전트가 점점 더 많이 배치되고 있으나, 이들의 유용성을 평가하거나 특정 작업에 가장 적합한 에이전트를 결정하기 위한 체계적인 접근 방식은 부족한 실정입니다. 현재 많은 과학자들은 ChatGPT와 같은 범용 대규모 언어 모델(LLM)에 의존하고 있는 반면, K-Dense, Finch, Biomni와 같은 특화된 에이전트들이 등장하고 있습니다. 저자들은 커뮤니티에 선택을 위한 감사 가능한 근거를 제공하기 위해, 이러한 에이전트들에 대한 신중하고 표준화된 벤치마킹이 절실히 필요함을 지적합니다.

방법론
본 연구는 네 가지 AI 시스템—세 가지 특화된 생물 의학 에이전트(K-Dense, Finch, Biomni)와 한 가지 범용 에이전트(ChatGPT)—를 비교하는 엄격하고 정량적인 벤치마킹 프레임워크를 채택하였습니다.

데이터셋 및 양식(Modalities): 에이전트들은 표준화되고 익명화된 데이터셋을 사용하여 세 가지 서로 다른 오믹스 양식에 대해 평가되었습니다:
- 대사체학(Metabolomics): 심방세동 예측에 관한 LC-MS/MS 데이터.
- 단백질체학(Proteomics): 알츠하이머병 뇌 조직에서 추출한 label-free 질량 분석 데이터.
- 전사체학(Transcriptomics): TCGA-BRCA 프로젝트의 벌크 RNA-seq 데이터.
실험 설계: 각 에이전트는 양식별로 동일한 프롬프트(개방형 탐색부터 처방적 워크플로우까지 실제 쿼리 변동을 반영함)를 사용하여 양식당 8회씩(총 96회 실행) 구동되었습니다.
평가 프레임워크: 저자들은 다차원 점수 산정 시스템을 도입했습니다:
- AgentScore: 프로세스에 기반한 합성 점수로, $AgentScore = P \times (0.5 + 0.3 \frac{D}{100} + 0.5 \frac{R}{100})$ 로 정의됩니다. 여기서 $P$ 는 프로세스 품질, $R$ 은 결과 보고, $D$ 는 해석 깊이를 나타냅니다. 결정적으로 $P$ 는 곱셈 게이트 역할을 하여, 분석 과정을 문서화하지 못한 출력물은 결과의 양과 관계없이 높은 점수를 받을 수 없습니다.
- DomainScore: 16가지 양식별 기준(예: 배치 교정, 정규화, 경로 해석)에 기반한 독립적이고 도메인 인지적인 서열 척도(0–2 scale)입니다.
- 재현성(Reproducibility): 독립적인 실행 간의 문장 트랜스포머 임베딩(sentence-transformer embeddings)의 평균 쌍 코사인 유사도(mean pairwise cosine similarity)를 통해 측정되었습니다.
- 강건성 검증(Robustness Checks): 연구는 순위 불확실성을 정량화하기 위해 부트스트랩 리샘플링(10,000회 반복)을 활용하였으며, 출력량, 구성 요소 가중치 및 재현성 편향을 제어하기 위해 7가지 대안적 점수 정의에 대해 순위를 테스트하였습니다.

주요 결과

보편적인 승자는 없음: 단일 에이전트가 모든 양식에서 압도하지 못했습니다. 성능은 양식에 따라 크게 달라졌습니다.
- 대사체학: K-Dense가 1위(92.66)를 차지했으며, Finch(90.20)가 그 뒤를 바짝 쫓았습니다. Biomni는 3위였고, ChatGPT는 최하위를 기록했습니다.
- 단백질체학: Finch가 1위(86.72)를 차지했으며, K-Dense와 Biomign은 통계적으로 유의미하지 않은 하위 그룹을 형성했습니다. ChatGPT는 최하위였습니다.
- 전사체학: Finch가 좁은 신뢰 구간과 함께 1위(86.72)를 차지했고, K-Dense가 그 뒤를 이었습니다. Biomni는 안정적인 중간 계층을 유지했으며, ChatGPT는 최하위였습니다.
에이전트별 특성:
- K-Dense: 가장 재현성 높은 출력(모든 양식에서 코사인 유사도 > 0.90)과 가장 넓은 도메인 커버리지를 보여주었으나, 내부 검증 실패로 인해 때때로 사용자의 재프롬프트(re-prompt)가 필요했습니다.
- Finch: 매우 조직적이고 템플릿화된 보고서를 생성하며 전사체학에서 가장 높은 일관성을 보였습니다. 단백질체학과 전사체학에서 뛰어난 성능을 보였으나, 상위 단계의 전처리 과정에 대한 커버리지는 약했습니다.
- Biomni: 강력한 생물학적 해석을 제공했으나, 품질 관리 및 전처리 단계를 자주 누락했습니다. 전사체학의 계산 집약적인 부트스트랩 단계에서 운영 실패(중단)를 경험했습니다.
- ChatGPT: 특화된 스캐폴딩(scaffolding) 없이는 기본적인 통계만을 수행했으며, 모든 양식에서 최하위를 기록했습니다. 여러 실행에서 "침묵의 실패(silent failures, 파싱 가능한 출력이 0인 경우)"를 보였으며, 전사체학에서 실행 간 변동성이 높았습니다.
점수 민감도: 순위는 출력량 및 구성 요소 가중치에 관한 대안적 점수 정의에 대해 강건했으나, 상위 3개 에이전트가 밀집해 있던 단백질체학의 경우, 루브릭(rubric)의 선택이 최종 순위를 결정하는 중요한 요인이 되었습니다.

의의 및 주장
본 논문은 에이전트 아키텍처(즉, "하네스(harness)")가 기본 모델의 능력보다 출력 품질를 결정하는 데 더 중요하다고 주장합니다. 에이전트의 스캐폴딩(예: 반복 루프, 도구 사용, 워크플로우 제약)과 각 오믹스 양식의 특정 분석 단계 사이의 상호작용이 기본 LLM 자체보다 성능을 좌우합니다.

연구의 핵심 요점은 다음과 같습니다:

**프로세스 중심 평가(Process-anchored evaluation)**가 필수적입니다. 에이전트는 분석 과정을 문서화하지 않은 채 그럴듯한 해석만을 내놓는다면 성공적인 것으로 간-주될 수 없습니다.
재현성과 정확성은 별개의 지표입니다. 높은 재현성이 높은 정확도를 보장하지는 않으며(ChatGPT의 사례처럼 일관되지만 얕은 출력을 보이는 경우), 높은 정확도가 반드시 안정성을 보장하는 것도 아닙니다.
**다중 루브릭 보고(Multi-rubric reporting)**가 필요합니다. 에이전트들의 성능이 밀집되어 있을 때, 점수 루브릭의 선택이 순위의 주요 동인이 되므로, 전체적인 그림을 제공하기 위해 병렬적인 다중 지표(AgentScore, DomainScore 및 재현성)를 보고해야 합니다.

저자들은 AI 에이전트가 복잡한 오믹스 워크플로우를 자동화할 수 있지만, 그 출력물은 인간의 감독이 필요한 예비 구현체로 취급되어야 한다고 결론짓습니다. 향후 파이프라인은 단일 범용 모델에 의 Rely 하기보다는 특화된 하위 에이전트들을 결합한 하이브리드 시스템을 요구할 것입니다.

유사한 논문