ProtFinder: An efficient machine learning framework for protein model selection on real data

ProtFinder의 기술적 요약: 실제 데이터 기반 단백질 모델 선택을 위한 효율적인 머신러로닝 프레임워크

문제 정의
계통 발생 추론은 주어진 다중 서열 정렬(MSA)에 대해 가장 적합한 서열 진화 모델을 선택하는 것에 근본적으로 의존한다. ModelFinder와 같은 기존 방법들은 후보 모델을 평가하기 위해 통계적 정보 기준(예: BIC, AIC)을 활용한다. 이러한 방식은 정확하지만, 반복적인 최대 가능도(maximum-likelihood) 최적화를 요구하므로 대규모 데이터셋에서는 계산 비용이 매우 많이 든다. 또한, 계통 발생학에서 정보 기준의 적용 가능성은 그 기저에 깔린 가정들의 위반 가능성 때문에 의문이 제기되어 왔다.

ModelDetector와 같은 기존의 머신러닝(ML) 접근 방식은 속도는 빠르지만, 시뮬레이션된 데이터로만 학습되어 실제 생물학적 데이터셋에서의 성능이 저하된다는 중대한 한계가 있으며, 사이트 간 변이율 불균일성(RHAS) 및 아미노산 빈도 결정과 같은 핵심적인 모델 구성 요소에 대한 지원이 부족하다.

방법론
저자들은 단백질 진화 모델의 세 가지 뚜렷한 구성 요소를 예측하도록 설계된 효율적인 ML 프레임워크인 ProtFinder를 소개한다:

1. QFinder: 최적의 아미노산 치환 행렬(교환율 행렬)을 선택한다.
2. FFinder: 아미노산 빈도 모델(모델에 고정된 경험적 빈도 [-F] 또는 입력 MSA로부터 계산된 빈도 [+F])을 결정한다.
3. RHASFinder: 사이트 간 변이율 불균일성(RHAS) 모델(None, +I, +G, 또는 +I+G)을 식별한다.

데이터 전략 및 전이 학습:
시뮬레이션과 현실 사이의 간극을 메우기 위해, ProtFinder는 3단계 전이 학습 전략을 채용한다:

1. 초기 학습: AliSim을 사용하여 생성된 대규모 시뮬레이션 데이터셋(268,800개의 MSA)을 통해 사전 학습을 수행한다. 시뮬레이션 파라미터는 실제 데이터(EvoNAPS 데이터베이스)의 경험적 누적 분포 함수로부터 도출되어 현실성을 확보하였다.
2. 결합 학습: 시뮬레이션 데이터(13,440개의 MSA)와 실제 데이터(EvoNAPS에서 추출한 15,330개의 MSA)를 결합하여 학습한다.
3. 미세 조정(Fine-tuning): 일반화 성능을 높이기 위해 실제 EvoNAPS 데이터셋만을 사용하여 최종 학습을 진행한다.

특징 추출 및 네트워크 구조:

• QFinder: Squeeze-and-Excitation (SE) 블록을 갖춘 합성곱 신경망(CNN)을 사용한다. 이는 625개의 무작위 샘플링된 서열 쌍으로부터 추출된 440개 특징 행렬을 처리하며, 치환 빈도, 불변성 카운트, 아미노산 빈도를 포착한다.
• FFinder: 그리드 탐색을 통해 최적화된 하이퍼파라미터를 가진 XGBoost를 활용한다. 특징으로는 관찰된 아미노산 빈도, Kullback–Leibler 및 Jensen–Shannon 발산, 그리고 정렬 통계량이 포함된다.
• RHASFinder: 트랜스포머(Transformer) 구조를 채택한다. 이는 사이트별 특징(상대 빈도, Shannon 엔트로피, 다양성 카운트, 불변성 지표)과 전역 정렬 통계(예: 불변 사이트 비율, 엔트로피 분산)를 함께 처리한다.

학습 세부 사항:
프레임워크는 클래스 샘플 수의 역수로 손실 함수에 가중치를 부여함으로써 실제 데이터의 클래스 불균형 문제를 해결한다. 학습에는 AdamW 옵티마이저, L2 규제, 조기 종료(early stopping)가 사용된다.

주요 결과

• 시뮬레이션 데이터에 대한 정확도:
  • 치환 모델: QFinder는 평균 87.06%의 정확도를 달성하여 ModelDetector(48.50%)를 능가하였으며, ModelFinder(91.75%)의 정확도에 근접하였다. 정확도는 정렬 길이와 분류군(taxon) 수가 증가함에 따라 유의미하게 향상되었다.
  • 빈도 모델: FFinder는 ModelFinder(87.73%)보다 월등히 높은 96.93%의 정확도를 보였으며, 특히 ModelFinder가 어려움을 겪는 짧은 정렬에서 두드로 나타났다.
  • RHAS 모델: RHASFinder는 ModelFinder(74.63%)보다 약간 높은 76.75%의 정확도를 기록하였으며, 이 우위는 데이터셋이 작을 때(적은 분류군 수 또는 짧은 서열) 더욱 뚜렷했다.
• 실제 데이터(HSSP 데이터셋)에 대한 정확도:
  • ProtFinder는 독립적인 실제 데이터셋인 HSSP에서 ModelFinder와 높은 일치도를 보였다. QFinder는 67%의 top-1 일치도와 90.96%의 top-2 일치도를 달성하였다.
  • FFinder와 RHASFinder는 각각 74.54%와 73.67%의 top-1 일치도를 기록하였으며, top-2 일치도는 99%를 초과하였다.
  • 반면, ModelDetector는 실제 데이터에서 낮은 성능(top-1 일치도 48.76%)을 보여, 실제 데이터 학습의 필요성을 입증하였다.
• 계산 효율성:
  • ProtFinder는 ModelFinder보다 최대 1,400배 더 빠르다.
  • ModelFinder의 실행 시간은 분류군 수와 정렬 길이에 따라 급격히 증가하는 반면, ProtFinder의 실행 시간은 거의 일정하게 유지된다. 256개의 분류군과 1,000개의 사이트를 가진 정렬의 경우, ModelFinder는 약 10분이 소요되었으나 ProtFinder는 1.5초가 소요되었다.

의의 및 주장
본 논문은 ProtFinder가 실제 생물학적 데이터에 대한 머신러닝 기반 계통 발생 모델 선택의 한계를 극복함으로써 중요한 진전을 이루었다고 주장한다. 주요 기여는 다음과 같다:

1. 포괄적 범위: 치환 모델, 빈도 모델, RHAS 모델을 동시에 예측하는 최초의 ML 프레임워크이다.
2. 실제 적용 가능성: 전이 학습을 통해 중간 규모 이상의 데이터셋에서 최대 가능도 방법(ModelFinder)에 필적하는 정확도를 달면서도, 계산 비용을 수천 배 절감하였다.
3. 실용적 유용성: 저자들은 ProtFinder를 고확률 후보 모델의 작은 집합을 식별하는 빠른 사전 스크리닝 모듈로 사용하고, 이후 ModelFinder로 엄격하게 평가하는 2단계 전략을 제안한다. 이 방식은 계산 비용을 획기적으로 줄이면서도 가능도 기반 방법의 정확도를 유지하는 것을 목표로 한다.

저자들은 ProtFinder가 속도와 일반적 정확도 면에서 탁월하지만, 상관관계가 높은 치환 모델들(예: Q.pfam과 LG) 사이를 구별하는 것은 유사한 아미노산 치환 패턴으로 인해 ML과 가능도 방법 모두에게 여전히 도전적인 과제라고 언급하였다. 그들은 이 가속화된 워크플로우를 구현하기 위해 ProtFinder를 IQ-TREE 소프트웨어 제품군에 통합할 계획이다.