기술 요약: 표 형식 인컨텍스트 학습자(Tabular In-Context Learners)는 생체 분자 특성 예측에 일반화될 수 있는가?

문제 정의

제한된 라벨 데이터로부터 생체 분자의 특성을 예측하는 것은 단백질 공학 및 소분자 설계에서 중요한 병목 현상이다. 대규모 생물학적 파운데이션 모델(예: 단백질 언어 모델)은 풍부하고 고정된 길이의 서열 표현형을 성공적으로 생성해 왔으나, 과제는 이제 $O(10)$개의 라벨된 예시만을 가진 퓨샷(few-shot) 환경에서도 효과적으로 임베딩을 활용할 수 있는 데이터 효율적인 예측기를 설계하는 것으로 옮겨갔다.

본 논문은 표 형식 파운데이션 모델(Tabular Foundation Models)—구체적으로 TabPFN3와 TabICL—이 생체 분자 작업에 효과적인 예측기로서 기능할 수 있는지 조사한다. 이 모델들은 무작위 인과 그래프(random causal graphs)에서 유도된 합성 테이블로 사전 학습된 인컨텍스트 학습기이다. 핵심 가설은 다소 역설적이다. 즉, 이 모델들이 단백질 서열이나 분자 그래프에 대한 내재적 사전 지식이 없음에도 불구하고, 적절한 도메인 특화 특징 표현(domain-specific feature representations)과 결합된다면 효과적으로 일반화할 수 있을 것이라는 점이다.

방법론

저자들은 두 가지 구별되는 도메인, 즉 **단백질 적합성 회귀(protein fitness regression)**와 **소분자 특성 분류(small-molecule property classification)**에 대해 표 형식 인컨텍스트 학습(ICL)을 평가한다. 실험 설계는 특징 파이프라인을 고정하여 성능을 격리함으로써, 시스템을 **예측기-표현형 쌍(predictor–representation pair)**으로 취급한다.

1. 단백질 적합성 회귀

• 표현형(Representation): 서열은 ESCM(300M 파라미터 단백질 언어 모델)을 사용하여 고정 길이의 960차원 임베딩으로 인코딩된다.
• 예측기(Predictors): TabICL과 TabPFN3를 지도 학습 베이스라인(Ridge Regression, RBF Sampler, HistGradientBoostingRegressor, 그리고 MLP 헤드가 미세 조정된 ESMC)과 비교한다.
• 데이터셋:
  • ProteinGym: 217개의 심층 돌연변이 스캐닝(DMS) 어세이(assay). 무작위 5-겹 분할(random 5-fold splits)과 공식적인 "더 어려운" 홀드아웃 방식(modulo 및 contiguous)을 포함하여 평가한다.
  • PpEST: 촉매율 및 열안정성 측정을 포함하는 다양한 에스테라제(esterase) 패밀리 데이터셋.
• 지표: 평균 제곱 오차(MSE) 및 스피어만 상관계수(Speareman rank correlation). 퓨샷 성능은 서포트 크기(support sizes) 8, 16, 32, 64에 대해 평가된다.

2. 소분자 특성 분류

• 표현형: 고정된 분자 기술자(molecular descriptors)인 ECFP(Morgan fingerprints), RDKit 물리화학적 기술자, 그리고 이들의 결합을 사용한다.
• 예측기: TabICL, TabPFN3, XGBoost(모두 고정된 기술자 사용)를 그래프 기반 베이스라인인 ChemProp(처음부터 학습) 및 ChemProp+CheMeleon(파운데이션 모델 초기화)과 비교한다.
• 데이터셋:
  • TDC ADDT: 흡수, 분포, 대사, 배설, 독성(ADMET)에 관한 13개 엔드포인트.
  • MoleculeNet: 806개의 등록된 엔드포인트(TabPFN3의 자원 제약으로 인해 PCBA 제외).
  • FS-Mol: 157개의 퓨샷 분자 특성 작업.
  • DrugOOD: 어세이, 스캐폴드(scaffold), 분자 크기 변화에 따른 분포 외(Out-of-Distribution, OOD) 일반화를 테스트하기 위해 설계된 3가지 작업.
• 지표: ROC-AUC. OOD 작업의 경우, 분포 내(In-Distribution, ID) 성능과 OOD 성능 사이의 차이를 분석한다.

주요 결과

단백질 예측

• 성능: TabPFN3와 TabICL은 일관되게 경쟁력 있는 성능을 보였으며, 종종 고전적인 베이스라인과 미세 조정된 ESMC를 능가한다.
  • ProteinGym(무작위 5-겹 분할)에서 TabPFN3는 가장 높은 평균 스피어만 상관계수(0.767)와 가장 낮은 MSE(0.351)를 달성했으며, TabICL이 그 뒤를 바짝 쫓았다(0.753).
  • PpEST에서 두 표 형식 모델 모두 가장 강력한 전체 결과를 제공했으며, TabICL은 5개 엔드포인트 중 3개에서 가장 낮은 MSE를 보였고, TabPFN3는 나머지 2개에서 우위를 점했다.
• 퓨샷 능력: 두 모델 모두 서포트 세트 크기가 8에서 64로 증가함에 따라 강력한 순위 보존 및 오차 감소를 보여주었으며, 그래디언트 업데이트 없이도 ESMC 임베딩 공간의 국소적 구조를 효과적으로 활용했다.
• 일반화: 성능은 무작위 분할에 비해 "더 어려운" modulo 및 contiguous 홀드아웃 방식에서 크게 하락하였으며, 이는 분할 방식의 선택이 일반화 추정에 실질적인 영향을 미침을 나타낸다.

소분자 예측

• 지배적인 단일 모델 없음: 단백질 도메인과 달리, 모든 분자 벤치마크에서 압도하는 단일 학습기-표현형 쌍은 존재하지 않았다.
  • TDC ADMET: RDKit 기술자를 사용한 TabPFN3가 가장 강력했다.
  • FS-Mol: ECFP+RDKit을 사용한 TabPFN3가 가장 강력했다.
  • MoleculeNet: TabPFN3(RDKit 사용)가 선두를 달렸다(사용 가능한 서브셋 기준).
  • DrugOOD (OOD): ChemProp+CheMeleon(그래프 기반 파운데이션 모델)이 OOD ROC-AUC에서 모든 표 형식 쌍을 능가했다.
• 표현형 민감도: 분자 기술자(ECFP vs RDKit)의 선택은 예측기 자체의 선택만큼이나 중요했다. TabPFN3와 TabICL은 일관되게 우위를 점하지 못했으며, 벤치마크와 표현형에 따라 상대적 성능이 뒤바뀌었다.
• OOD 일반화: 표 형식 모델들은 DrugOOD에서 양(+)의 ID/OOD 격차를 보였으며, 이는 분포 내 성능이 스캐폴드나 어세이 변화에 따른 강건성을 보장하지 않음을 시사한다.

주요 기여

1. 경험적 벤치마크: 본 논문은 단백질 회귀와 소분자 분류를 모두 아우르는 생체 분자 예측 작업에 대해 표 형식 파운데이션 모델(TabPFN3, TabICL)을 체계적으로 검증한 최초의 연구를 제공한다.
2. 학습기-표현형 쌍 형성: 이러한 모델들을 독립적인 아키텍처가 아니라, 도메인 특화 표현(예: 단백질을 위한 ESMC, 분자를 위한 RDKit/ECFP)과의 특정 결합으로서 평가해야 함을 확립한다.
3. 퓨샷 검증: 표 형식 인컨텍스트 학습자가 저데이터 환경에서 사전 학습된 생물학적 임베딩을 효과적으로 활용할 수 있음을 입증하며, 이는 작업별 미세 조정에 대한 실용적인 대안을 제시한다.
4. 엄격한 평가 프로토콜: 저자들은 퓨샷 결론과 전체 학습 결론을 분리하고, OOD 일반화를 명시적으로 테스트하며, 과도하게 낙관적인 주장을 피하기 위해 서포트 세트 민감도를 분석한다.

의의 및 주장

본 논문은 표 형식 파운데이셔 모델이 생체 분자 특성 예측을 위한 실행 가능하고 강력한 성능을 가진 도구이지만, 그 성공은 입력 표현의 품질에 달려 있다고 결론짓는다.

• 단백질의 경우: ESMC와 같은 고품질 임베딩과 결합될 때, 표 형식 ICL 모델은 전통적인 지도 학습 베이스라인과 미세 조정된 모델을 퓨샷 설정에서 종종 능가하며 매우 경쟁력 있는 모습을 보인다.
• 소분자의 경우: 결과는 더 미묘하다. 표 형식 모델이 경쟁력은 있지만, 특히 분포 외(OOD) 시나리오에서는 그래프 기반 파운데이션 모델을 보편적으로 압도하지 못한다. 분자 기술자의 선택이 성공의 주요 결정 요인이다.

저자들은 이 모델들이 "표현형이 필요 없는 블랙박스"가 아님을 강조한다. 이들의 효용성은 입력 특징이 이미 생체 분자의 구조적, 기능적 제약 조건을 충분히 인코딩하고 있을 때, 효율적인 데이터 희소 예측기로서 작용하는 데 있다. 본 논문은 무작위 분할에서의 성능이 구조적으로 다른 더 어려운 홀드아웃에서의 강건성을 보장하지 않는다는 점을 언급하며, 결과 해석에 주의를 기울일 것을 권고한다.