기술 요약: 소분자 학습을 위한 공접힘 (Co-folding) 모델 표현의 체계적 평가

문제 제기

소분자 기반 모델은 일반적으로 독립적인 분자 데이터로 사전 훈련되며, 분자 수준의 감독 (예: 생물학적 검사 레이블, 양자 화학적 특성) 에 기반한 고립된 분자 표현을 학습합니다. 이는 비전 및 언어 영역과 대조되는데, 해당 영역에서는 교차 모달 또는 관계형 감독으로부터 강력한 표현이 종종 도출됩니다. 단백질 - 리간드 공접힘 구조는 결합 컨텍스트 내에서 원자 수준의 상호작용 (예: 수소 결합, 정전기적 상호작용) 을 모델에 노출시킴으로써 이러한 관계형 감독에 대한 분자적 유사체를 제공하지만, 공접힘 모델이 독립적인 소분자 작업에 대해 강력하고 전이 가능한 표현을 산출할 수 있는지 여부는 여전히 불분명합니다. 또한, AlphaFold3 및 Boltz 와 같은 현대적 공접힘 모델의 광범위한 유용성에 대해서는 논쟁이 있으며, 일부는 이러한 모델이 진정한 원자 수준의 이해보다는 진화적 패턴에 크게 의존한다고 주장합니다. 본 논문은 현대적 공접힘 모델을 소분자 표현 학습에 재사용하는 것이 실행 가능하고 효과적인지 체계적으로 평가하고자 합니다.

방법론

저자들은 단백질 - 리간드 구조 예측을 위해 설계된 현대적 10 억 파라미터 공접힘 모델인 Boltz2를 소분자를 위한 원자 수준 표현의 원천으로 조사합니다. 핵심 방법론은 Boltz2 에서 리간드 표현을 추출하는 것 (독립 작업의 경우 단백질 입력 제외) 과 이를 세 가지 서로 다른 하위 도메인에서 전이성을 평가하는 것을 포함합니다:

1. 예측적 전이 (ADMET): 저자들은 Therapeutics Data Commons (TDC) ADMET 벤치마크에서 Boltz2 의 원자 수준 표현을 평가하기 위해 "프로빙 (probing)"을 적용합니다. 64 층 Pairformer 트렁크의 특정 층 ({16, 32, 48, 64}) 에서 쌍 (pair) 표현을 추출하고, 대각선, 결합, 그리고 모든 항목을 연결하는 하이브리드 풀링 전략을 적용한 후, 풀링된 벡터를 특성 예측을 위한 다층 퍼셉트론 (MLP) 에 입력합니다. 이러한 결과를 MolE, MiniMol, KPGT, QIP, UniMol2, MolGPS, UniQSAR 과 같은 전문 기반 모델들과 비교합니다.
2. 생성적 전이: 저자들은 Boltz2 의 표현을 최첨단 분자 생성 모델 (특히 GruM) 로 전이하기 위해 표현 정렬 기반 증류를 사용합니다. 노이즈가 있는 분자의 숨겨진 표현과 Boltz2 의 해당 깨끗한 표현 간의 코사인 유사도를 최대화하도록 생성 모델을 훈련합니다. 이는 유효성, Fréchet ChemNet 거리 (FCD), 그리고 신규성 (novelty) 과 같은 지표를 사용하여 ZINC250k 데이터셋에서 평가됩니다.
3. 최적화 전이 (구조 유도 발견): 저자들은 리간드 발견을 위한 온라인 강화 학습으로 표현 정렬을 확장합니다. SynFlowNet-Boltz 파이프라인을 사용하여 Boltz2 를 결합 친화도라는 블랙박스 스칼라 보상 오라클로만 취급하는 것이 아니라 "화이트박스"교사로 활용합니다. 스칼라 보상 외에도, 정책 네트워크는 고친화도 리간드 발견에서의 신용 할당과 샘플 효율성을 개선하기 위해 Boltz2 의 중간 리간드 표현과 정렬되는 밀집 표현 수준 감독에 의해 안내됩니다.

주요 기여

본 논문은 현대적 공접힘 모델을 소분자 기반 모델의 강력한 베이스라인으로 위치시키는 네 가지 주요 발견을 제시합니다:

• 예측 성능: Boltz2 표현은 광범위한 TDC ADMET 벤치마크에서 전문 소분자 기반 모델과 동등하거나 더 나은 성능을 보입니다. 특히, Boltz2 는 독립적인 소분자 사전 훈련 없이 22 개 작업 중 9 개에서 최상위 성능을 달성하여, 공접힘 감독이 아키텍처 확장이나 데이터 양만으로는 포착되지 않는 신호를 제공함을 시사합니다.
• 생성 가속화: Boltz2 와의 표현 정렬은 분자 생성 모델의 훈련을 크게 가속화 (2 배 빠름) 하며, 다른 기반 모델과의 정렬에 비해 유효성, FCD, NSPDK 등 여러 지표를 통해 더 높은 품질의 분자를 산출합니다. 이는 공접힘 모델이 생성에 있어 우수한 구조적 감독을 제공함을 나타냅니다.
• 최적화에서의 샘플 효율성: 온라인 구조 유도 리간드 발견에서 Boltz2 의 밀집 표현 수준 감독을 통합하는 것은 스칼라 보상만 사용하는 경우보다 고보상 분자 발견의 샘플 효율성을 개선합니다. 이는 분자 발견에서 온라인 강화 학습을 개선하기 위해 표현 정렬을 적용한 첫 번째 사례입니다.
• 표현 보완성: Boltz2 는 기존 분자 기반 모델과 구별되며 보완적인 표현 공간을 산출합니다. 저자들은 덜 정렬된 모델 (MolE) 과 Boltz2 를 앙상블하는 것이 더 정렬된 모델 (MiniMol) 과 앙상블하는 것보다 특정 벤치마크에서 더 큰 성능 향상을 가져온다고 입증하여, 표현 융합을 위한 실용적 전략을 제시합니다.

결과

• ADMET 벤치마크: Boltz2 는 앙상블 방법이 아닌 방법 중 22 개 작업 중 9 개에서 평균 성능이 가장 우수했습니다. MiniMol 과 결합 (Boltz2Mini.) 되었을 때도 9 개 작업에서 선두를 달렸습니다. Boltz2 는 동일한 10 억 Pairformer 아키텍처를 사용하지만 독립적인 3D 구조로 사전 훈련된 UniMol2 를 크게 능가하여 공접힘 감독의 가치를 부각시켰습니다.
• 분자 생성: Boltz2 표현으로 증류된 모델은 유효성, FCD, NSPDK 전반에서 동시에 최상위 점수를 달성한 반면, 베이스라인 확산 모델은 일반적으로 이러한 지표의 일부 subset 에서만 뛰어났습니다.
• 리간드 발견: 일곱 가지 표적 단백질에 대한 구조 유도 발견 작업에서, 표현 정렬 정책은 동일한 보상 평가 예산 하에서 베어 (vanilla) 정책보다 더 많은 고보상 분자를 발견하고 더 다양한 모드 (구별되는 고득점 분자) 를 탐색했습니다.
• 보완성 분석: CKNNA (Centered Kernel Nearest-Neighbor Alignment) 점수는 Boltz2 가 기존 모델과 상대적으로 약한 정렬을 보임을 나타냈습니다. 그러나 낮은 정렬을 가진 MolE 와 Boltz2 를 앙상블하는 것이 더 높은 정렬을 가진 MiniMol 과 앙상블하는 것보다 특정 대사 작업에서 더 우수한 성능을 보여, 표현의 보완성을 확인했습니다.

중요성 및 주장

본 논문은 단백질 - 리간드 공접힘을 소분자 표현 학습을 위한 유망한 사전 훈련 패러다임으로 위치시킵니다. Boltz2 와 같은 공접힘 모델이 결합 입체구조와 같은 원자 수준 상호작용 패턴을 학습하여 독립 작업에 효과적으로 전이되며, 신약 개발을 위한 강력하고 즉시 사용 가능한 기반 모델을 제공한다고 주장합니다.

저자들은 다음 사항들을 최초로 입증했다고 주장합니다:

1. 공접힘 모델에서 얻은 정보 풍부한 분자 표현이 분자 생성과 최적화를 개선할 수 있다.
2. 표현 정렬 기반 증류는 스칼라 보상을 보완하는 밀집 신호를 제공하여 온라인 강화 학습에 효과적이다.
3. 약하게 정렬된 표현 (예: Boltz2 + MolE) 을 결합하는 것이 강하게 정렬된 표현을 결합하는 것보다 표현 융합을 위한 더 효과적인 전략일 수 있다.

인정된 한계:
저자들은 겸손하게 공접힘 모델이 대사 기질 예측 작업에서의 부진한 성능 (이는 UniMol2 와 공유되는 약점으로, 3D 구조 기반 학습의 더 넓은 한계를 시사함) 으로 인해 국소 메커니즘에 대한 완전한 원자 수준 이해가 부족할 수 있음을 지적합니다. 또한, 실험은 프로빙과 증류를 통한 고정된 백본 설정을 사용하며, 백본 미세 조정은 향후 연구 과제로 남겨두었다고 언급합니다.