Agentic systems are adept at solving well-scoped, verifiable problems in computational biology

이 논문은 생물학적 데이터의 노이즈와 해석 가능성을 극복하고 단일 정답을 가진 복잡한 문제를 해결할 수 있는 새로운 벤치마크 'CompBioBench'를 제안하며, 이를 통해 최신 에이전트 시스템이 컴퓨팅 생물학 분야에서 높은 성능을 보임을 입증했습니다.

핵심

이 논문은 **"생물학이라는 거대한 미로에서 인공지능 **(AI)에 대한 연구입니다.

기존의 AI 는 수학 문제를 풀거나 코딩을 하는 데는 매우 뛰어났지만, 실제 생물학 데이터를 분석하는 데는 아직 서툴렀습니다. 생물학 데이터는 소음이 많고 해석이 다양하기 때문에 "정답"이 하나로 딱 떨어지지 않는 경우가 많기 때문입니다.

이 연구팀은 Genentech와 Roche의 과학자들이 모여, AI 가 생물학 문제를 얼마나 잘 해결할지 측정할 수 있는 새로운 시험지인 **'CompBioBench'**를 만들었습니다.

이 내용을 일상적인 비유로 쉽게 설명해 드리겠습니다.

---

1. 새로운 시험지: "CompBioBench"란 무엇인가요?

과거의 AI 시험지는 "이 수학 문제를 풀어라"처럼 정답이 명확한 것들이었습니다. 하지만 생물학은 다릅니다. 마치 **"어떤 요리가 맛있는지 평가하라"**고 하는 것과 비슷합니다. 재료의 상태, 요리사의 손맛, 환경에 따라 정답이 달라질 수 있으니까요.

연구팀은 AI 가 생물학 문제를 해결할 때 단 하나의 확실한 정답을 낼 수 있도록 문제를 clever하게 설계했습니다.

• 비유: 마치 "이 사진 속의 사물을 찾아라"라고 할 때, 사진에 사물이 숨겨져 있거나 (데이터 증강), 사진의 라벨을 지워버린 (메타데이터 교란) 상태에서 AI 가 논리적으로 추론해서 정답을 찾아내게 만든 것입니다.
• 문제 구성: 유전체, RNA 분석, 단일 세포 분석 등 100 가지 다양한 생물학 분야 문제를 포함했습니다.

2. 시험 방식: "빈 방에서 시작하는 탐험가"

이 시험의 가장 큰 특징은 AI 에게 아무것도 주지 않는다는 점입니다.

• 일반적인 AI: "이 문제를 풀기 위해 필요한 도구와 책이 이미 책상에 놓여 있다"고 가정합니다.
• 이 시험의 AI: "빈 방에 갇혔다. 문제만 주어졌으니, 필요한 도구를 인터넷에서 직접 구하고, 설치하고, 데이터를 찾아와서 문제를 풀어라"는 식입니다.

이는 마치 새로운 도시에서 낯선 손님이 되어, 지도도 없이 필요한 물건을 구하고 길을 찾아目的地에 도달하는 것과 같습니다. AI 가 실제로 생물학자가 일상적으로 겪는 '도구 설치', '데이터 다운로드', '코드 작성' 등의 과정을 모두 스스로 해내는지 테스트하는 것입니다.

3. 시험 결과: "초고성능 AI 의 활약"

이 시험에 OpenAI 의 Codex CLI(GPT-5.4)와 Anthropic 의 Claude Code(Opus 4.6) 같은 최신 AI 를 투입했습니다. 결과는 놀라웠습니다.

• 성공률: 최고의 AI 는 100 점 만점에 83 점을 받았습니다. 이는 AI 가 복잡한 생물학 분석을 거의 혼자서 해낼 수 있음을 의미합니다.
• 작은 모델의 한계: 하지만 더 작은 모델 (Claude Haiku 등) 은 34 점 정도밖에 받지 못해, 문제의 난이도가 높을수록 성능이 크게 떨어졌습니다.
• 난이도: 아주 쉬운 문제는 100% 풀었지만, 매우 어려운 문제는 60% 정도만 풀었습니다. 특히 "정답이 여러 갈래로 갈 수 있는 미묘한 상황"에서는 AI 가 헷갈려 하거나过早에 포기하는 경우가 있었습니다.

4. 구체적인 사례: AI 가 어떻게 문제를 풀었나?

논문에는 AI 가 실제로 문제를 해결한 흥미로운 사례들이 나옵니다.

• **사례 1 **(염색체 분석) "이 RNA 데이터에 다른 종의 오염 물질이 섞여 있어요. 뭐가 섞였는지 찾아줘."
  • AI 는 스스로 'Scanpy'라는 분석 도구를 설치하고, 데이터를 정제하여 염색체 패턴을 비교한 뒤, "아, 이 부분이 오염된 거네요"라고 정확히 찾아냈습니다.
• **사례 2 **(머신러닝 모델 설치) "이 논문에서 만든 mRNA 예측 모델을 설치해서 이 유전자를 최적화해줘."
  • AI 는 인터넷에서 논문 링크를 찾아내고, 18GB 가 넘는 방대한 데이터 파일 중 필요한 부분만 100MB 정도로 잘라내어 다운로드하는 등, 인간 전문가도 깜짝 놀랄 정도로 효율적으로 작업을 처리했습니다.

5. 결론 및 시사점: "인간과 AI 의 새로운 파트너십"

이 연구는 **"AI 가 이제 생물학 실험실의 '유능한 조수'가 될 수 있다"**는 것을 보여줍니다.

• 현재 상태: AI 는 도구 설치, 데이터 정리, 코드 작성 같은 반복적이고 복잡한 작업을 인간보다 훨씬 빠르고 정확하게 처리합니다.
• 한계: 하지만 아주 미묘한 생물학적 맥락이나, 정답이 명확하지 않은 '발견'의 단계에서는 여전히 인간 전문가의 감독이 필요합니다. AI 가 잘못된 길로 빠졌을 때 이를 잡아주는 '감시자'가 필요합니다.

한 줄 요약:

"이 논문은 AI 가 이제 생물학이라는 복잡한 미로에서, 지도 없이도 필요한 도구를 구해 스스로 길을 찾아낼 만큼 똑똑해졌음을 증명했습니다. 이제 우리는 AI 를 '자동화된 분석가'로 활용하되, 중요한 결정에는 인간의 눈으로 다시 한번 확인하는 최고의 팀워크를 기대할 수 있습니다."

기술 요약

1. 문제 정의 (Problem)

계산 생물학 (Computational Biology) 은 컴퓨터 과학, 통계, 유전학, 분자 생물학 등 다양한 분야가 융합된 영역으로, 고처리량 시퀀싱 데이터 분석, 변이 해석, 멀티오믹스 통합 등 복잡한 작업을 수행합니다. 최근 Anthropic 의 'Claude Code'나 OpenAI 의 'Codex CLI'와 같은 범용 에이전트 시스템이 복잡한 추론과 도구 사용을 결합하여 뛰어난 성과를 보이고 있습니다.

그러나 계산 생물학 분야에서 에이전트 시스템을 평가하는 데는 다음과 같은 고유한 어려움이 존재합니다:

• 노이즈와 모호성: 생물학 데이터는 본질적으로 노이즈가 많고 해석의 여지가 있어, 수학이나 프로그래밍 문제처럼 명확한 정답 (Ground Truth) 을 도출하기 어렵습니다.
• 기존 벤치마크의 한계: 기존 벤치마크 (BixBench, Biomni-Eval 등) 는 도메인의 일부 영역만 다루거나, 질문이 너무 구체적으로 명시되어 에이전트의 자율적 전략 선택 능력을 평가하기 어렵거나, 다중 정답이 가능한 경우가 많습니다.
• 평가의 객관성 부재: 생물학적 분석의 복잡성으로 인해 에이전트의 성능을 객관적으로 측정할 수 있는 표준화된 테스트베드가 부족했습니다.

2. 방법론 (Methodology)

저자들은 CompBioBench라는 새로운 벤치마크를 도입하여 위 문제를 해결했습니다.

• 벤치마크 구성:

  • 규모 및 범위: 100 개의 다양한 계산 생물학 과제로 구성되었으며, 유전체학 (Genomics), 전사체학 (Transcriptomics), 후성유전체학 (Epigenomics), 단일 세포 분석, 인간 유전학, 머신러닝 워크플로우 등을 포괄합니다.
  • 데이터 전략: 생물학적 데이터의 모호성을 극복하고 명확한 정답을 확보하기 위해 **합성/증강 데이터 (Synthetic/Augmented Data)**와 실제 데이터의 메타데이터 교란/스크래빙 (Metadata Scrambling/Scrubbing) 기법을 사용했습니다.
    • 예시: RNA-seq 데이터에 외부 종의 리드를 혼합하여 오염원을 찾게 하거나, 실제 ATAC-seq 데이터의 샘플 라벨을 뒤바꾸어 교란을 탐지하게 하는 방식입니다.
  • 환경 설정: 에이전트는 최소한의 컴퓨팅 환경 (Bare-minimum) 에서 시작하며, 필요한 도구, 데이터베이스, 외부 리소스를 인터넷을 통해 직접 검색하고 설치해야 합니다. 이는 실제 연구자의 일상적인 워크플로우를 반영합니다.
  • 평가 기준: 에이전트의 출력과 정답 간의 **정확한 문자열 일치 (Exact String Match)**를 기반으로 이진 (Binary) 평가를 수행합니다.

• 평가 대상 모델:

  • 범용 에이전트 시스템: Codex CLI (GPT 5.4), Claude Code (Opus 4.6, Sonnet 4.6, Haiku 4.5).
  • 비교 대상: 비에이전트 단일 패스 LLM (ChatGPT 5.2, Claude Opus 4.6).

3. 주요 기여 (Key Contributions)

1. CompBioBench 벤치마크 출시: 계산 생물학 분야에서 에이전트 시스템을 평가하기 위한 최초의 포괄적이고 검증 가능한 100 개 과제 벤치마크를 공개했습니다.
2. 새로운 벤치마크 설계 철학: 모호한 생물학적 데이터에서도 객관적인 평가를 가능하게 하기 위해 합성 데이터와 메타데이터 조작을 활용한 문제 생성 전략을 제시했습니다. 이는 에이전트가 단순한 지식 회상이 아닌, 다단계 추론, 도구 사용, 맞춤형 코드 작성 능력을 발휘하도록 유도합니다.
3. 실제 환경 기반 평가: 에이전트가 외부 리소스를 직접 검색하고 환경을 구성해야 하는 'Bare-minimum' 환경을 설정하여, 실제 연구 현장에서의 에이전트 활용 가능성을 검증했습니다.
4. 성능 분석 및 통찰: 다양한 모델의 성능을 정량화하고, 실패 사례를 분석하여 에이전트 시스템의 강점과 약점 (예: 다중 매핑 리드 처리 실패, 배경 시퀀스 선택 오류 등) 을 구체적으로 제시했습니다.

4. 결과 (Results)

• 전반적 성능:
  • **Codex CLI (GPT 5.4)**가 **83.3%**의 정확도로 가장 높은 성능을 보였습니다.
  • **Claude Code (Opus 4.6)**는 **81.0%**의 정확도를 기록했습니다.
  • 비에이전트 LLM 은 5% 미만의 낮은 정확도를 보였으며, 이는 벤치마크가 단순 암기나 추측으로 해결될 수 없음을 입증합니다.
• 난이도별 성능:
  • 쉬운 문제 (Level 1) 에서는 Codex CLI 가 100% 정확도를 보였으나, 가장 어려운 문제 (Level 4-5) 에서는 Codex CLI 가 59%, Claude Code (Opus 4.6) 가 69% 로 성능이 저하되었습니다.
  • Claude Code (Opus 4.6) 가 가장 어려운 질문에서 Codex CLI 보다 우세한 성능을 보였습니다.
• 소규모 모델: Claude Code (Sonnet 4.6) 는 70%, Haiku 4.5 는 34% 로 모델 크기에 따라 성능 차이가 큽니다.
• 비용 및 시간:
  • Claude Code (Opus 4.6) 가 평균 약 18 분 (1,049 초) 소요되어 Codex CLI (11 분) 보다 느렸으며, 비용도 질문당 약 1.7 달러로 가장 높았습니다.
  • 난이도가 높을수록 소요 시간과 비용이 기하급수적으로 증가했습니다.
• 실패 모드 분석: 에이전트들은 종종 첫 번째 분석이 실패했을 때 다른 접근법으로 전환하거나, 다중 매핑 (multi-mapping) 리드 처리와 같은 미묘한 분석적 결정에서 실수하여 조기 종료 (Premature stopping) 하는 경향이 있었습니다.

5. 의의 및 결론 (Significance)

• 에이전트 시스템의 성숙도 입증: 범용 에이전트 시스템이 복잡한 계산 생물학 작업을 종단간 (End-to-End) 으로 해결할 수 있는 잠재력을 보여주었습니다. 이들은 데이터 다운로드, 도구 설치, 커스텀 스크립트 작성, 워크플로우 오케스트레이션 등에서 인간 전문가 수준의 능력을 발휘하고 있습니다.
• 신뢰 구축: CompBioBench 는 계산 생물학자들이 익숙한 실제 워크플로우를 기반으로 평가함으로써, 에이전트 시스템에 대한 신뢰를 구축하는 데 기여합니다.
• 미래 방향성:
  • 에이전트의 취약점 (조기 종료, 분석 전략 선택 오류) 을 보완하기 위해 인간 감독 하의 중간 결과 검증이나 다중 에이전트 협업 (Meta-agent) 이 필요함을 시사합니다.
  • 합성/증강 데이터와 메타데이터 복구 패러다임은 향후 더 넓은 발견 (Discovery) 지향적인 평가에도 적용될 수 있음을 제안합니다.

이 논문은 계산 생물학 분야에서 AI 에이전트 시스템이 단순한 보조 도구를 넘어, 실제 연구 문제를 해결할 수 있는 신뢰할 수 있는 분석가로 발전할 수 있는 가능성을 제시하며, 이를 위한 표준화된 평가 체계를 마련했다는 점에서 중요한 의의를 가집니다.