기술 요약: TadA-Bench

문제 정의

과학적 발견을 위한 AI 분야는 모델이 단순히 정적인 데이터셋에 적합(fitting)하는 것을 넘어, 반복적인 의사결정에 능동적으로 참여하는 "에이전트형(agentic)" 워크플로우로 전환되고 있습니다. 단백질 공학에서 이는 모델이 실험실의 실험 이력을 읽고, 데이터를 분석하며, 향후 실험을 위한 후보군을 우선순위화할 수 있는 시스템을 의미합니다. 그러나 기존의 벤치마크들은 모델이 과거의 라운드로부터 미래의 라운드로 일반화하는 능력을 평가하는 데 실패하는 경우가 많습니다. 표준적인 벤치마크들은 대개 무작위 데이터 분할(random data splits)에 의존하는데, 이는 미래의 라운드 발견(미래 라운드에서 나타나는 변이들을 순위화하는 것)이라는 핵심 과제보다는 보간(interpolation, 알려진 분포 내에서의 예측)을 테스트하는 데 그칩니다. 즉, 모델이 기록된 과거의 증거를 바탕으로 미래의 습식 실험(wet-lab) 결과를 우선순위화할 수 있는지 테스트하기 위해, 실제 유도 진화 캠페인의 연대기적 구조를 보존하는 재현 가능하고 대규모인 벤치마크가 부족한 실정입니다.

방법론

1. 벤치마크 구축: TadA-Bench

저자들은 TadA(아데노신 탈아미노효소) 유도 진화의 31개 라운드에서 파생된 고정 데이터 기반의 습식 실험 재현 벤치마크인 TadA-Bench를 소개합니다.

• 규모: 이 데이터셋은 차세대 염기서열 분석(NGS)을 통해 관찰된 약 100만 개의 변이를 포함합니다.
• 뷰(Views): 정렬된 DNA, RNA, 단백질 서열 뷰를 제공하여, 동일한 캠페인에 대해 게놈, 전사체 및 단백질 언어 모델을 평가할 수 있도록 합니다.
• 프로토콜: 벤치마크는 "미래 라운드 재현(future-round replay)" 과제를 정의합니다. 모델은 초기 라운드($D_{\le k}$)의 변이와 측정값으로 학습되며, 이후 라운드($D_{> k}$)에만 등장하는 변이들을 순위화하는 능력을 평가받습니다. 주요 사례에서 모델은 라운드 127에서 학습하고, 라운드 28에서 검증하며, 라운드 2931에서 테스트합니다. 분할 시에는 메모이제이션(memorization)을 방지하기 위해 서열 간 중복이 없는(sequence-disjoint) 방식을 사용합니다.

2. 데이터 통합: Seq2Graph

핵-방법론적 기여는 노이즈가 섞인 다중 라운드 농축 측정값을 일관된 활성 레이블로 통합하기 위해 설계된 그래프 기반 파이프라인인 Seq2Graph입니다.

• 과제: 원시 선택 데이터는 배치 효과(batch effects), 노이즈가 있는 농축 추정치, 그리고 31개 라운드 전반에 걸친 국소적 쌍별 불일치(local pairwise inconsistencies)를 포함하고 있습니다.
• 메커니즘:
  • 그래프 구축: 각 라운드 내에서 변이들은 리드 카운트 농축도에 따라 순위가 매겨집니다. 인접한 변이들을 엣지(edge)로 연결하고 로컬 농축 비율에 따라 가중치를 부여하는 유향 그래프가 구축됩니다.
  • 앵커링(Anchoring): 여러 라운드에 걸쳐 나타나는 변이(서열 중복)는 캠페인 전체의 로컬 순위 그래프를 연결하는 "앵커" 역할을 합니다.
  • 불일치 제거: 모순되는 사이클(예: $A > B > C > A$)을 제거하는 과정을 가중 피드백 아크 집합(Weighted Feedback Arc Set) 문제로 정식화합니다. 그리디 휴리스틱(greedy heuristic)을 사용하여 신뢰도가 낮은 엣지를 제거함으로써, 그래프를 유향 비순환 그래프(DAG)로 변환합니다.
  • 활성 할당: 활성 척도는 참조 변이(TadA8e = 1.0)에 고정됩니다. 점수는 참조점에서 모든 노드로 최단 엣지 경로를 통해 로그 도메인(곱셈 비율)에서 전파됩니다.
• 출력: 이는 생물학적 조상이나 계통수를 추론하지 않고도 DNA, RNA, 단백질 뷰에 대한 서열 정의 상대적 활성 레이블을 생성합니다.

3. 평가 프레임워크

평가는 생물학적 언어 모델을 에이전트 루프의 "순위화 모듈(ranking module)"로 취급합니다.

• 모델: 연구는 DNA 모델(Evo 2, Nucleotide Transformer), RNA 모델(OmniGenome), 단백질 모델(ESM2, ProtTrans, ESMC)을 평가합니다.
• 프로토콜:
  • Frozen Encoder: 기본 평가에서는 사전 학습된 인코더를 고정하고 다운스트림 회귀 헤드를 학습시킵니다.
  • 적응성 확인(Adaptation Checks): 프로토콜의 아티팩트를 배제하기 위해 전체 미세 조정(full fine-tuning) 및 프롬프트 튜닝을 포함합니다.
  • 지표: 스피어먼 순위 상관계수($\rho$), Recall@10%, nDCG@10%를 사용합니다.
  • 발견 모드(Discovery Mode): 유한한 예산(표준 플레이트 크기를 시뮬레이션한 96개 및 384개 변이) 하에서의 후보군 우선순위 지정 능력을 평가합니다.

주요 결과

1. 미래 라운드 격차 (The Future-Round Gap)

대표적인 생물학적 언어 모델들은 보간(interpolation)과 미래 라운드 발견(future-round discovery) 사이에서 극명한 성능 격차를 보입니다.

• 보간 (무작위 분할): 8:1:1 무작위 분할 조건에서 단백질 모델은 높은 스피어먼 상관계수($\rho \approx 0.8$)를 달성하며, 이는 레이블 공간이 학습 가능하다는 것을 나타냅니다.
• 미래 라운드 발견: 고정된 연대기적 분할 조건에서는 성능이 급격히 저하됩니다. DNA, RNA, 단백질 뷰 모두에서 스피어먼 상관계수가 $\rho \approx 0.03$–$0.05$로 떨어집니다.
• 적응: 전체 미세 조정 및 프롬프트 튜닝도 이 격차를 좁히는 데 실패하며(최적의 관찰값 $\rho \approx 0.06$), 이는 문제가 회귀 헤드가 아니라 표현형(representation)이 미래의 증거를 우선순위화하는 능력에 있음을 시사합니다.

2. 발견 모드 우선순위 지정

제한된 수의 후보군(예: 96개)만을 테스트할 수 있는 "발견 모드" 설정에서:

• 모델들은 실제 고활성 미래 변이들을 농축(enrich)하는 데 실패합니다.
• 상위 5% 후보군의 히트율(hit rate)은 무작위 확률(약 3~5% vs 기대치 5%)과 유사하며, 이는 현재의 모델들이 다음 실험 라운드를 위한 유망한 변이를 효과적으로 식별하지 못함을 나타냅니다.

3. 진화적 커버리지 vs 국소 밀도

저자들은 훈련 데이터의 구성이 미래 라운드 성능에 미치는 영향을 조사했습니다.

• 밀도(Density): 동일한 진화 라운드에서 샘플 수를 단순히 늘리는 것(무작위 하위 샘플링)은 한계 효용 체감의 법칙을 따릅니다.
• 커버리지(Coverage): 다양한 라운드에서 변이를 선택하거나 타겟 검증 세트와의 유사성을 최대화하는 등 진화적 커버리지를 우선시하는 하위 집합이 더 많은 양의 밀도 높은 데이터보다 우수한 성능을 보였습니다.
• 결론: TadA-Bench에서, 미래 라운드 발견을 위해서는 국소적인 데이터 밀도를 높이는 것보다 광범위한 진화적 또는 기능적 영역을 커버하는 것이 더 유익합니다.

4. 견고성 (Robustness)

• 생물학적 검증: 주요 변이들에 대한 직교적인 저처리량(low-throughput) GFP 리포터 분석 결과, 고처리량 NGS 유래 레이블과 강한 일치성($\rho > 0.99$)을 보였습니다.
• 컴퓨터적 견고성: 부트스트래핑 분석(하위 샘플링된 라운드 또는 서열)을 통해 Seq2Graph 파이프라인이 안정적인 점수($\rho > 0.90$)를 생성함을 확인하여 레이블의 일관성을 검증했습니다.

의의 및 주장

본 논문은 TadA-Bench를 비용이 많이 드는 폐쇄 루프(closed-loop) 습식 실험 캠페인에 배포하기 전, 에이전트형 단백질 공학 시스템의 "순위화" 구성 요소를 테스트할 수 있는 재현 가능한 기질(substrate)로 제안합니다.

• 병목 구간 노출: 이 벤치마크는 현재의 생물학적 파운데이션 모델들이 보간에는 성공적이지만, 미래 실험 라운드에서 나타나는 변이들의 순위를 매기는 특정 과제에는 크게 어려움을 겪고 있음을 드러냅니다. 이는 반복적인 단백질 공학 워크플로우의 구체적인 병목 현상으로 식별되었습니다.
• 벤치마크 설계: 단백질 발견을 위한 벤치마크는 모든 변이를 독립적인 데이터 포인트로 취급하는 대신, 캠페인의 구조(연대기 및 라운드 간 일관성)를 보존해야 한다고 주장합니다. "국소 밀도"와 "진화적 커버리지"의 구분이 미래 라운드 발견을 위한 핵심 설계 원칙임을 강조합니다.
• 범위: 저자들은 TadA-Bench가 순위화 문제를 격리하여 평가한다고 명시합니다. 이는 계획 정책(planning policies), 도구 사용, 또는 자율적 실행을 평가하는 것이 아니라, 표현형이 기록된 실험 이력을 활용하여 미래의 후보군을 우선순위화할 수 있는지에 대한 안정적이고 고정된 데이터 기반의 테스트를 제공하는 것입니다.

저자들은 이 특정 기록된 실험 궤적에 대한 모델들의 비교를 재현 가능하게 하기 위해 Hugging Face와 GitHub에 데이터, 코드 및 베이스라인 프로토콜을 공개합니다.