기술 요약: AssayBench

문제 정의

다양한 교란, 맥락, 그리고 측정 지표에 걸쳐 세포 반응을 예측할 수 있는 계산 모델인 "가상 세포"의 비전은 초기 신약 개발을 가속화하는 데 상당한 잠재력을 지니고 있습니다. 이 비전의 핵심 적용 분야는 in silico 표현형 스크리닝으로, 여기서 모델은 특정 관심 표현형 (예: 세포 생존, 약물 내성, 또는 감염 부하) 을 조절할 유전적 또는 화학적 교란을 예측합니다. 단일 세포 전사체 분석과 같은 분자 상태 재구성에 초점을 맞춘 작업과 달리, 표현형 스크리닝은 실험의 최종 결과물 수준에서 작동하여 신약 개발 파이프라인의 의사 결정과 직접적으로 부합합니다.

그러나 이 분야의 진전은 표준 벤치마크의 부재로 인해 방해받고 있습니다. 기존 교란 모델링 벤치마크는 주로 분자 측정 지표 (예: 유전자 발현) 에 초점을 맞추며, 종종 구조화된 입력을 가진 특정 모달리티로 훈련됩니다. 이들은 실험 조건, 측정 지표 유형, 그리고 유의성 기준이 광범위하게 변하는 실제 세계의 표현형 스크리닝의 이질성을 포착하지 못합니다. 결과적으로, 대규모 언어 모델 (LLM) 이나 에이전트 시스템이 실험적으로 측정된 표현형 결과를 예측하기 위해 생물학적 맥락을 효과적으로 통합할 수 있는지 평가할 수 있는 확립된 프레임워크가 존재하지 않습니다.

방법론

데이터셋 구축 (ASSAYBENCH)

저자들은 BioGRID ORCS 데이터베이스와 최근 문헌에서 파생된 1,920 개의 공개적으로 이용 가능한 CRISPR 스크리닝으로 구성된 ASSAYBENCH를 구축했습니다. 큐레이션 파이프라인은 다음을 포함합니다:

1. 조화: 유전자 기호를 HGNC 명명법으로 정규화하고 기술적 반복 실험을 병합합니다.
2. 표현형 분류: LLM 지원 큐레이션을 사용하여 상세한 표현형 설명과 효과 방향 (증가/감소) 을 추출하고, 스크리닝을 다섯 가지 광범위한 범주로 그룹화합니다:
   • 적합성/증식/생존력
   • 화학적/환경적 반응
   • 숙주-병원체/감염 반응
   • 분자 출력/리포터/경로 활동
   • 수송/국소화/구조적 표현형
3. 점수 매기기: 이질적인 유의성 기준 (예: p-값, 폴드 변화) 을 각 유전자에 대한 연속적인 관련성 점수로 변환합니다. 유의성 기준을 충족하는 유전자는 양의 점수를 받고, 반대 표현형 방향과 관련된 유전자는 음의 점수를 받으며, 비히트 (non-hit) 는 0 점입니다.
4. 시간적 분할: 사전 훈련 코퍼스로부터의 데이터 유출을 방지하고 현실적인 분포 변화를 유도하기 위해, 스크리닝은 출판 연도별로 분할되었습니다:
   • 훈련: 2021 년 이전에 출판됨 (1,349 개 스크리닝).
   • 검증: 2021 년에 출판됨 (218 개 스크리닝).
   • 테스트: 2021 년 이후에 출판됨 (334 개 스크리닝).
   • LaTest: 보이지 않는 문헌에 대한 일반화를 탐구하기 위한 2025 년 9 월 이후의 매우 최근 스크리닝 19 개로 구성된 하위 집합.

작업 구성

이 작업은 유전자 순위 매기기 문제로 구성됩니다. 스크리닝에 대한 자유 텍스트 설명 (세포주, 라이브러리, 처리, 그리고 유의성 기준 포함) 이 주어지면, 모델은 상위 100 개 후보 유전자의 순위 목록을 출력해야 합니다. 이 구성은 과학자들이 개별적으로 모든 유전자를 점수 매기는 대신 검증용 후보 목록을 우선순위화하는 실제 세계 워크플로우를 반영합니다.

평가 지표

스크리닝의 이질성과 다양한 난이도를 처리하기 위해 저자들은 **보정된 정규화된 할인 누적 이득 (Adjusted normalized Discounted Cumulative Gain, AnDCG@k)**을 도입했습니다:

• 압축: 예측 목록에서 측정되지 않은 유전자는 위양성으로 처벌되지 않고 무시됩니다.
• 조정: 서로 다른 고유한 난이도를 가진 다양한 실험 간 성능을 정규화하기 위해 스크리닝별 무작위 기준선이 차감됩니다.
• 방향성: 이 지표는 음의 관련성 점수 (반대 표현형과 관련된 유전자) 를 고려합니다.
• 보조 지표: 정밀도@k 및 방향성 허위 발견률 (dFDR@k) 도 보고됩니다.

주요 기여

1. 최대 규모의 표현형 벤치마크: 5 가지 표현형 클래스에 걸친 1,920 개의 스크리닝을 다루는 표현형 스크리닝 예측을 위해 특별히 설계된 최초의 벤치마크인 ASSAYBENCH 의 도입.
2. 작업 형식화: 시간적 분할 하에서 스크리닝별 유전자 순위 매기기로 문제를 재구성하고, 다양한 실험 기준을 조화시키는 연속적 관련성 점수 시스템을 활용합니다.
3. 새로운 지표: 스크리닝별 무작위 기준선을 보정하여 공정한 실험 간 비교를 가능하게 하는 이질적 실험에 맞춘 지표인 AnDCG 제안.
4. 종합적 실증 연구: 최첨단 범용 LLM, 생물학 특화 모델, 훈련 가능한 신경 예측기, 그리고 검색 기반선들에 대한 광범위한 평가.

결과

모델 성능

• 최첨단 LLM 의 선도: 제로샷 범용 LLM (예: Gemini 3 Pro, GPT-5.4) 이 테스트 세트에서 생물학 특화 LLM (예: C2S-Scale, Biomni), 훈련 가능한 신경 유전자 관련성 예측기, 그리고 간단한 검색 기반선 (Embedding kNN) 보다 우수한 성과를 거두었습니다.
• 최적화 이득: 감독 미세 조정 (SFT), 강화 학습 (GRPO), 그리고 프롬프트 최적화 (GEPA) 와 같은 기법들이 일부 모델에서 경미한 개선을 제공했습니다. 그러나 LLM 예측의 자동 발견 앙상블이 가장 높은 테스트 성능 (AnDCG@100 ≈ 0.163) 을 달성하여 개별 모델을 능가했습니다.
• 성능 한계: 이러한 발전에도 불구하고, 모든 모델은 여전히 경험적 성능 한계에서 멀리 떨어져 있습니다.
  • "오라클 kNN"(가장 유사한 훈련 스크리닝의 완벽한 검색) 은 약 0.29 의 AnDCG@100 을 달성하여 최상위 LLM 보다 약 86% 높았습니다.
  • 기술적 반복 실험을 사용하는 예측기 (하나의 반복 실험을 기반으로 다른 하나를 예측) 는 최상위 LLM 의 성능을 거의 두 배로 높여, 현재 모델들이 아직 근본적인 생물학적 확률성을 완전히 마스터하지 못했음을 강조했습니다.

일반화 및 암기

• 시간적 변화: LaTest 분할 (매우 최근 스크리닝) 에서 성능이 하락하여, 최첨단 LLM 이 이전 스크리닝에서 보인 이점의 일부가 사전 훈련 데이터에 포함된 문헌의 암기에 의해 주도되었을 가능성을 시사합니다. 회귀 분석은 스크리닝 인용 횟수와 모델 성능 사이에 강한 상관관계가 있음을 확인했습니다.
• 확장 추세: Qwen 계열 내의 더 큰 모델들은 일반적으로 더 나은 성능을 보였으나, 이득은 정체되었으며, 이는 전문가 혼합 (MoE) 아키텍처가 활성 파라미터 수를 줄이기 때문일 수 있습니다.
• 표현형 분산: 성능은 표현형에 따라 크게 달라졌습니다. 모델들은 "적합성/증식/생존력" 스크리닝에서 가장 잘 수행되었는데 (보존된 필수 유전자로 인해), 숙주-병원체 반응과 같은 맥락 특정 표현형에서는 더 어려움을 겪었습니다.

생물학적 편향

분석은 모델 예측에 체계적인 편향이 있음을 드러냈습니다: GPT 모델들은 세포주기 유전자를 과대표하는 경향이 있었고, Gemini 모델들은 발생 생물학 유전자를 과대표하는 경향이 있었는데, 이는 아마도 훈련 코퍼스에서 이러한 주제들의 분포를 반영한 것일 것입니다.

중요성 및 주장

이 논문은 ASSAYBENCH 를 in silico 표현형 스크리닝 및 더 넓은 의미의 가상 세포 모델로 나아가는 진전을 측정하는 실용적인 시험대로 위치시킵니다. 저자들은 다음과 같이 주장합니다:

• 타당성: 명시적인 작업 훈련 없이도 강력한 범용 LLM 이 이미 실험 수준의 표현형 히트 예측에서 경쟁력이 있으며, 이는 언어 모델에 생물학적 맥락을 통합하는 것이 실현 가능한 다음 단계임을 시사합니다.
• 현실과의 격차: 기술적 반복 실험에서 도출된 경험적 한계와 모델 성능 사이의 큰 격차에 의해 입증되듯, 현재 방법들은 이 작업을 해결하는 데는 아직 멀었습니다.
• 미래 방향: 이 벤치마크는 (미세 조정, 앙상블, 프롬프트 엔지니어링을 통한) 생물학을 위한 LLM 최적화에 대한 향후 연구를 지원하며, 현재 능력과 진정한 가상 세포의 요구 사항 사이의 격차를 해소하기 위해 보조 작업 (예: 교란 추론) 과 더 큰 데이터셋이 필요함을 강조합니다.
• 벤치마크 유용성: 저자들은 암기와 진정한 일반화를 구분하는 데 시간적 분할과 LaTest 세트의 중요성을 강조하며, 모델이 개선됨에 따라 벤치마크의 유용성을 유지하기 위해 분기별로 벤치마크를 업데이트할 계획임을 명시했습니다.