기술 요약: THEBIOCOLLECTION

문제 정의

생물학을 위한 대규모 언어 모델(BioLM)의 개발은 모델이 생물학적 시스템을 진정으로 이해할 수 있게 하는 학습 코퍼스에 대한 결정적인 수요를 창출했습니다. 이 분야는 분자 데이터베이스, 단백질 저장소, 유전체 주석, 단일 세포 아틀라스, 경로 데이터베이스를 포함한 풍부한 자원을 보유하고 있지만, 이러한 자원들은 서로 다른 형식(테이블, 서열 파일, 그래프 엣지, 고립된 스키마)으로 흩어져 있습니다. 결과적으로, 이들은 언어 모델의 사전 학습에 적합한 응집력 있고 통합된 코퍼스가 되지 못하고 있습니다. 기존의 노력들은 이러한 이질적인 자원들을 분자, 단백질, 게놈, 세포 및 이들의 교차 도메인 관계를 아우르는 광범위한 생물학적 지식을 가르칠 수 있는 대규모 사전 학습 데이터셋으로 통합하지 못했습니다. 또한, 현재의 코퍼스들은 단백질 결합 설계나 유전체 특징 국소화와 같은 특정 역량에 대한 커버리지가 부족한 경우가 많습니다.

방법론

저자들은 이질적인 생물학적 자원들을 학습 가능한 형식으로 통합하도록 설계된 52.6B 토큰 규모의 사전 학습 코퍼스인 THEBIOCOLLECTION을 제시합니다. 데이터 구축 파이프라인은 네 가지 주요 단계로 구성됩니다:

1. 데이터 수집: 코퍼스는 소분자, 단백질, 유전체 서열, 세포/경로, 그리고 교차 도메인 관계라는 다섯 가지 영역에 걸쳐 공공 및 상업적 이용이 가능한 자원들을 집계합니다. 출처에는 주요 데이터베이스(예: PubChem, UniProt, GENCODE, AlphaFoldDB, Human Protein Atlas)와 광범위한 과학 문헌(PubMed, bioRxiv, medRxiv)이 포함됩니다.
2. 데이터셋 정제: 구조화된 데이터베이스 레코드는 자기 완결적인 자연어 설명으로 변환됩니다. 주요 속성(물리화학적 특성, 구조 정보, 기능적 주석)은 단일 텍스트 레코드로 통합됩니다. 기호 식별자(SMILES, 단백질/DNA/RNA 서열)는 주변 텍스트와 구분하기 위해 전용 태깅 토큰(예: <smiles>...</smiles>)으로 감싸집니다. 교차 도메인 지식 그래프(예: Hetionet, DRKG)를 활용하여 엔티티를 연결함으로써, 단일 레코드가 단백질을 해당 결합 화합물, 경로 및 세포 반응과 연결하는 메커니즘 체인을 생성합니다.
3. 도구 계산 기반 특징 강화: 자유 텍스트에는 존재하지 않지만 계산 도구에는 존재하는 신호를 노출하기 위해, 저자들은 소스 레코드에 대해 표준 생물정보학 도구를 실행하고 그 출력을 언어화합니다.
   • 소분자: RDKit 디스크립터(고리 시스템, 스캐폴드 복잡성, 입체 화학, QED 등)를 계산하여 내러티브에 추가합니다.
   • 단백질: UniProt 서열을 AlphaFold 및 PDB 구조와 연결하여, Biopython 및 DSSP를 통해 도출된 2차 구조, 폴드 토폴로지 및 용매 노출 데이터를 레코드에 풍부하게 담습니다.
   • 유전체 서열: 조절 DNA 및 RNA 전사체에 GC 함량, CpG 통계, 모티프 프로파일과 같은 특징을 주석으로 달아 부착합니다.
   • 세포: 단일 세포 레코드를 발현, 섭동 반응, 공간적 맥락 및 형태를 포착하는 언어로 변환합니다.
4. 인스트럭션 구축: 코퍼스에는 수입된 인스트럭션 데이터셋(예: Mol-Instructions, ProteinLMBench)과 기존 코퍼스의 공백을 메우기 위해 특별히 생성된 소스 유래 인스트럭션 태스크가 포함됩니다. 이러한 새로운 태스크에는 다음이 포함됩니다:
   • 단백질 결합: 결합 서열 생성, 마스킹된 결합 부위 잔기 복구, 구조적 인터페이스를 기반으로 한 접촉 패턴 요약.
   • DNA/RNA 특징 국소화: 조절 요소, 스플라이스 사이트, RNA 모티프에 대한 정확한 구간 복구 태스크를 포함하며, 이는 답변이 프로그램적으로 검증 가능하도록 보장합니다.

코퍼스를 평가하기 위해, 저자들은 인식, 생성 및 예측을 아우르는 매칭된 평가 스위트인 THEBIOCOLLECTION-EVAL을 도입합니다.

실험 설정

저자들은 THEBIOCOLLECTION을 사용하여 Gravity-16B-A3B 아키텍처(16B 파라미터 모델)를 학습시켰습니다. 코퍼스의 효과를 격리하기 위해 베이스 모델을 고정하였으며, 표준 어닐링 단계 이전에 학습을 수행했습니다. 학습 혼합물에는 일반적인 언어 능력을 망각하는 현상(catastrophic forgetting)을 방지하기 위해 THEBIOCOLLECTION과 함께 일반 과학 및 웹 텍스트(OLMoCR, DCLM-CC 등에서 추출)를 포함했습니다.

주요 결과

THEBIOCOLLECTION으로 학습한 결과, 일반적인 언어 능력은 유지하면서도 생물학적 태스크 성능에서 상당한 향상을 보였습니다:

• 전반적인 성능: THEBIOCOLLECTION으로 학습된 모델은 THEBIOCOLLECTION-EVAL에 대한 베이스 모델의 전체 점수를 두 배 이상 높였습니다(0.223에서 0.499로).
• 도메인별 이득:
  • 소분자: 0.223에서 0.513으로 향상되었습니다 (예: 순방향 합성(forward synthesis)은 0.213에서 0.619로 증가).
  • 단백질: 0.159에서 0.407로 향상되었으며, 특히 결합 설계(binder design)에서 주목할 만한 이득(0.234에서 0.645)을 보였습니다.
  • 유전체 서열: 0.175에서 0.468로 향상되었으며, 특히 DNA 조절/스플라이스 구간 국소화(0.134에서 0.516)에서 성과를 냈습니다.
  • 세포/경로: 0.335에서 0.609로 향상되었습니다.
• 어블레이션 연구(Ablation Study): 일반 과학 텍스트만으로 학습한 모델(Text-annealing only)과 비교했을 때, THEBIOCOLLECTION은 생물학적 전체 점수에서 +0.114의 추가적인 향상을 제공했습니다. 가장 큰 이득은 구조화된 도구 유래 태스크(예: 유전체 국소화 +0.242, 결합 설계 +0.348)에서 관찰되었으며, 텍스트 전용 모델은 문헌에 사실이 명시적으로 기술된 태스크에서 더 나은 성능을 보였습니다.
• 일반 언어 능력 보존: 생물학적 데이터의 비중이 높음에도 불구하고, 일반 언어 벤치마크(MMLU, ARC-c, HellaSwag 등)에 대한 모델의 성능은 거의 온전하게 유지되었으며, text-annealing 베이스라인 대비 평균 0.9 포인트의 하락만을 기록했습니다.
• 교차 도메인 추론: 모델은 도메인 간 증거를 체이닝하는 능력(예: 단백질 기능 $\to$ 경로)이 향상되었으며, 제로샷 설정에서 평균 정확도를 0.313에서 0.507로 높였습니다.

의의 및 주장

본 논문은 THEBIOCOLLECTION이 세심하게 구축된 데이터가 BioLM의 실질적인 생물학적 역량을 결정하는 주요 동력임을 입증한다고 주장합니다. 주요 기여는 다음과 같습니다:

1. 통합 코퍼스: 흩어져 있는 생물학적 자원들을 소분자, 단백질, 게놈, 세포 및 경로를 아우르는 공유된 언어 인터페이스로 통합한 최초의 대규모 사전 학습 규모 코퍼스를 제공합니다.
2. 도구 기반 강화: 자유 텍스트 코퍼스에는 일반적으로 결여되어 있는 구조화된 신호(예: 분자 디스크립터 및 구조적 특징)를 노출하기 위해 도구 계산된 생물학적 특성을 언어화하는 방법론을 도입합니다.
3. 인스트럭션 확장: 기존의 공개 인스트럭션 데이터셋이 거의 다루지 않는 역량, 특히 단백질 결합 및 유전체 특징 국소화에 대한 새로운 인스트럭션 데이터셋을 구축합니다.
4. 결합 학습: 결과는 생물학적 역량과 일반적인 언어 능력이 서로 배타적이지 않으며, 학습 코퍼스가 신중하게 큐레이션된다면 두 가지를 동시에 학습할 수 있음을 시사합니다.
5. 평가 표준: 동반된 THEBIOCOLLECTION-EVAL 스위트는 단일 도메인 평가를 넘어 생물학적 추론을 평가하기 위한 표준화된 교차 도메인 벤치마크를 제공합니다.

저자들은 본 연구가 데이터 중심적 접근 방식이 BioLM을 발전시키는 잠재력을 강조하며, 통합되고 풍부하며 인스트럭션이 풍부한 코퍼스가 특수한 아키텍처나 추가적인 학습 트릭 없이도 생물학적 스펙트럼 전반에서 모델 성능을 실질적으로 향상시킬 수 있음을 보여준다고 결론짓습니다.