Benchmarking Agentic Bioinformatics Systems for Complex Protein-Set Retrieval: A Coccolithophore Calcification Case Study

이 논문은 코코리스토포어 석회화 관련 단백질 검색 과제를 통해 세 가지 에이전트 시스템을 비교 평가한 결과, 단순한 검색량보다는 프롬프트 분해, 정확한 쿼리 생성, 그리고 반복 실행 안정성이 복잡한 생물정보학 작업의 성능을 결정하는 핵심 요소임을 입증했습니다.

핵심

이 논문은 **"인공지능 (AI) 비서들이 복잡한 생물학 정보를 찾아낼 때, 누가 가장 똑똑하고 신뢰할 수 있는가?"**를 시험한 실험 보고서입니다.

비유하자면, 세 명의 다른 AI 비서에게 "해조류 (코콜리토포라) 가 탄산칼슘 껍질을 만드는 데 쓰이는 모든 단백질 레시피를 찾아와라"는 미션을 주고, 그 결과를 비교한 이야기입니다.

이 실험의 핵심 내용을 일상적인 비유로 설명해 드릴게요.

---

1. 미션: "코콜리토포라의 비밀 레시피 찾기"

해조류인 코콜리토포라는 바다에서 작은 돌 같은 껍질 (석회질) 을 만듭니다. 이 과정은 매우 복잡해서 단순히 '돌 만드는 기계'만 있는 게 아니라, 탄소 공급, 칼슘 운반, 점액질 (접착제) 제조, 세포 내 수송, 신호 전달 등 6 가지 다른 부서 (카테고리) 가 협력해야 합니다.

연구자는 세 가지 AI 에이전트 (비서) 에게 이 6 가지 부서의 모든 관련 단백질을 찾아와서 각각 파일로 정리해달라고 요청했습니다.

2. 등장인물: 세 명의 AI 비서

이 실험에는 세 가지 다른 성격의 AI 비서가 참여했습니다.

• 코덱스 (Codex): "신중한 전문가"
  • 성격: 무조건 많이 찾는 것보다, 정확하고 필요한 것만 골라냅니다.
  • 특징: 찾아낸 목록이 가장 작았지만, 그중 92% 이상이 진짜 필요한 '고급 재료'였습니다. 또한, 왜 그 재료를 골랐는지 근거 (문서) 를 꼼꼼히 남겼고, 같은 질문을 두 번 해도 매번 똑같은 답을 내놓았습니다.
• 디어플로우 (DeerFlow): "열정적인 탐험가"
  • 성격: 코덱스가 놓친 것까지 찾아보려고 열심히 확장합니다.
  • 특징: 코덱스보다 훨씬 많은 단백질을 찾아냈습니다. 그중에는 진짜 유용한 '보석'도 많았지만, 너무 넓게 찾아서 쓸데없는 것들도 섞여 있었습니다. 하지만 특정 분야 (점액질 등) 에서는 코덱스가 못 찾은 것을 찾아주는 훌륭한 보조 역할을 했습니다.
• 바이오니 (Biomni): "광범위한 수집가"
  • 성격: "모든 게 관련 있을지도 모른다"며 무조건 다 긁어모읍니다.
  • 특징: 찾아낸 목록이 가장 방대했습니다. 하지만 그중 70% 가량은 "칼슘과 관련이 있긴 한데, 너무 일반적인 것들" (예: 모든 세포에 있는 일반 효소 등) 이라, 진짜 필요한 레시피를 찾기 위해 불필요한 잡동사니를 치우는 데 많은 시간이 걸렸습니다. 또한, 같은 질문을 두 번 하면 매번 다른 목록을 내놓아 신뢰성이 떨어졌습니다.

3. 실험 결과: 양보다 질, 그리고 안정성

연구 결과는 다음과 같은 교훈을 주었습니다.

• 가장 많은 것 ≠ 가장 좋은 것: 바이오니가 가장 많은 파일을 줬지만, 그중 쓸모없는 것이 너무 많았습니다. 반면 코덱스는 적지만 **정확도 (Specificity)**가 가장 높았습니다.
• 안정성이 핵심: 같은 질문을 두 번 했을 때, 코덱스는 거의 100% 똑같은 답을 줬습니다. 하지만 바이오니는 매번 다른 답을 줬습니다. 이는 AI 가 "우연히" 좋은 답을 줬을 수도 있다는 뜻이므로, 과학적 연구에서는 일관성이 매우 중요합니다.
• 최고의 전략은 '혼합'이다:
  • 코덱스가 찾아낸 정확한 기본 틀을 베이스로 삼고,
  • 디어플로우가 찾아낸 **특별한 보석 (보완재)**만 골라서 섞는 것이 가장 완벽한 결과를 만들었습니다.

4. 결론: AI 를 쓸 때의 교훈

이 연구는 AI 를 생물학 연구에 쓸 때 중요한 세 가지를 알려줍니다.

1. 질문 (프롬프트) 을 구체적으로 나누세요: "모든 걸 찾아줘"라고 하면 AI 는 헛걸음을 합니다. "탄소 부서, 칼슘 부서"처럼 부서별로 나누어 질문해야 정확한 답을 줍니다.
2. 단순히 파일만 받으면 안 됩니다: AI 가 **어떻게 찾았는지 (검색어, 근거 문서)**를 함께 남겨줘야 나중에 사람이 확인하기 쉽습니다.
3. 한 번만 믿지 마세요: 중요한 정보는 AI 에게 두 번 이상 물어보고, 그 답이 일관되는지 확인해야 합니다.

한 줄 요약:

"AI 비서를 쓸 때는 가장 많은 것을 찾아주는 비서보다, 정확하고 일관되게 필요한 것만 골라주는 비서를 주축으로 하고, 열심히 찾아주는 비서에게 보충을 시키는 것이 가장 현명한 방법입니다."

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 대규모 언어 모델 (LLM) 기반 에이전트 시스템이 외부 데이터베이스, 도구 사용, 그리고 긴 다단계 검색 워크플로우가 필요한 생정보학 (Bioinformatics) 작업에 점점 더 많이 활용되고 있습니다.
• 문제점: 그러나 이러한 시스템의 실제 성능 평가는 제한적입니다. 특히, 목표 단백질 집합이 방대하고 생물학적으로 이질적 (heterogeneous) 인 경우 (예: 단일 효소 가족이 아닌 복잡한 생물학적 과정 전체) 에 대한 평가가 부족합니다.
• 구체적 과제: 와편모조류 (Coccolithophore) 의 석회화 (Calcification) 과정과 관련된 단백질을 UniProt 데이터베이스에서 검색하는 작업입니다. 이 과정은 무기 탄소 획득, 칼슘 수송, pH 조절, 유기 매트릭스 조립, 다당류 대사, 소포체 형성, 신호 전달 등 6 가지 기계적으로 구별되는 카테고리로 나뉘어 있어, 단일 온톨로지 용어나 큐레이션된 경로로 정의하기 어렵습니다.

2. 방법론 (Methodology)

• 비교 대상 시스템: 세 가지 다른 설계 철학을 가진 에이전트 시스템을 비교했습니다.
  1. Codex + Claude Scientific Skills: 오픈소스 'Claude Scientific Skills' 라이브러리를 확장한 OpenAI Codex 앱 기반 에이전트.
  2. DeerFlow 2: 기본 스킬만 사용하는 오픈소스 슈퍼 에이전트 허브.
  3. Biomni Lab: 도구 사용, 검색 증강 계획 (RAG), 코드 실행에 중점을 둔 생의학 AI 에이전트 (온라인 버전).
• 벤치마크 태스크:
  • 와편모조류 석회화 관련 UniProt 단백질 다운로드.
  • 6 가지 생물학적 카테고리별로 분리된 FASTA 파일 생성.
  • 선택된 단백질에 대한 증거 (Evidence) 파일 제공.
• 평가 지표:
  • 중복성 및 오버랩 분석: UniProt 접근 번호 (Accession) 수준에서 정규화 후, 3-way Venn 분해 및 교집합 분석 수행.
  • 관련성 평가 (Relevance Assessment): 각 하위 집합을 '고 (High)', '중 (Medium)', '저 (Low)' 관련성으로 분류하는 휴리스틱 평가 수행. (예: 탄산탈수효소, 중탄산염 수송체 등은 긍정적, 일반적인 칼슘 센서나 전사 인자는 부정적)
  • 재현성 (Repeatability): 각 시스템으로 두 번의 실행 (Run 1, Run 2) 을 수행하여 시스템 내 변동성 (Jaccard 유사도 등) 측정.
  • 산출물 품질: 스크립트, 매니페스트, 증거 표 등 재현성을 위한 아티팩트 (Artifacts) 존재 여부 확인.

3. 주요 결과 (Key Results)

가. 민감도 (Sensitivity) vs 특이도 (Specificity) 트레이드오프

• Codex: 총 2,118 개 단백질 검색. 가장 균형 잡힌 성능을 보임. 검색된 단백질의 **92.4%**가 '고/중' 관련성 집합에 속함 (특이도 매우 높음).
• DeerFlow: 총 6,255 개 단백질 검색. Codex 보다 포괄적이었으나, **43.8%**가 '저/저 - 중' 관련성 집합에 포함됨 (과도한 확장).
• Biomni: 총 8,752 개 단백질 검색으로 가장 많은 양을 검색했으나, **69.5%**가 '저/저 - 중' 관련성 집합에 속함. 일반적인 칼슘 센서, 키나제, 전사 인자 등으로 과도하게 확장됨.

나. 재현성 (Stability)

• Codex: 두 번의 실행 간 가장 높은 안정성 (평균 카테고리 Jaccard 0.982). 거의 변하지 않는 결정론적 행동을 보임.
• DeerFlow: 중간 수준의 안정성 (0.795). 수송 및 접착 관련 카테고리는 안정적이었으나, 신호 전달 카테고리에서는 변동이 큼.
• Biomni: 가장 낮은 안정성 (0.412). 실행마다 검색 결과가 크게 달라짐 (특히 신호 전달 및 칼슘 조절 카테고리).

다. 카테고리별 세부 분석

• 무기 탄소 획득: 세 시스템 모두 탄산탈수효소와 중탄산염 수송체에서 높은 일치도를 보임 (가장 명확한 카테고리).
• 유기 매트릭스: Codex 는 5 펩타이드 반복 (pentapeptide-repeat) 단백질을, DeerFlow 와 Biomni 는 렉틴, 피브로넥틴, MAM 도메인 단백질을 각각 잘 찾아냄.
• 신호 전달: 모든 시스템에서 일반적인 키나제나 전사 인자로 확장되는 경향이 강해, 특이도가 낮음.

4. 주요 기여 및 결론 (Contributions & Conclusion)

주요 기여

1. 에이전트 성능 평가 프레임워크 제시: 단순한 출력량 (Volume) 이 아닌, 프롬프트 분해 능력, 분류학적 범위 설정, 정확한 쿼리 생성, 출처 (Provenance) 풍부한 산출물, 반복 실행 안정성이 에이전트 품질의 핵심 지표임을 입증.
2. 하이브리드 워크플로우 제안:
   • Codex를 주된 백본 (Backbone) 으로 사용하여 특이도가 높은 핵심 집합을 확보.
   • DeerFlow를 보조적으로 활용하여 매트릭스 및 다당류 카테고리 등 특정 영역의 누락된 후보를 보충.
   • Biomni와 같은 광범위한 검색 도구는 탐색적 목적에 적합하나, 최종 집합 구성에는 직접 사용하기 어려움.
3. 실무적 권장 사항:
   • 생물학적 과정을 기계적 하위 시스템 (Mechanistic bins) 으로 분해하여 프롬프트 작성.
   • 분류학적 범위 (Taxonomic scope) 를 명시적으로 제한.
   • FASTA 파일뿐만 아니라 검색 스크립트, 쿼리 용어, 증거 표 등 재현성 아티팩트를 요구.
   • 단일 실행이 아닌 반복 실행 (Repeated runs) 을 통해 안정성을 검증.

의의

이 연구는 복잡한 기능적 구조를 가진 대규모 단백질 검색 작업에서, 에이전트의 선택 그 자체보다는 워크플로우 설계와 프롬프트 엔지니어링이 더 중요하다는 점을 강조합니다. 특히, 생정보학 분야에서 AI 에이전트를 활용할 때는 '가장 많은 결과'를 찾는 것보다 '가장 생물학적으로 타당한 결과'를 안정적으로 도출하는 체계가 필요함을 시사합니다.

5. 한계점 (Limitations)

• 시스템 내 변동성을 추정하기 위해 실행 횟수가 제한적임 (각 시스템 2 회).
• 런타임, 토큰 비용, 인간 개입 부담 등 비용 관련 데이터가 균일하게 기록되지 않음.
• 관련성 평가가 휴리스틱 및 문헌 기반이며, 수동 큐레이션이 아님.
• 와편모조류의 UniProt 주석이 불완전하여 (TrEMBL 포함), 시스템의 편향을 완전히 제거하기 어려움.