기술적 요약: ReactEmbed

문제 제기

ESM-3 와 ProtBERT(단백질용), MolFormer(분자용) 와 같은 생물학 분야의 최첨단 파운데이션 모델들은 별도의 계산 매니폴드에서 작동합니다. 이러한 모델들은 아미노산 서열 대 SMILES 문자열과 같은 서로 다른 데이터 모달리티와 전문화된 아키텍처로부터 표현을 학습하므로, 그 임베딩들이 호환되지 않습니다. 상호작용 중심 모델 (예: DrugCLIP) 과 구조 중심 모델 (예: Uni-Mol) 은 이러한 격차를 해소하려 시도하지만, 종종 가상 스크리닝이나 포즈 예측과 같은 특정 작업으로 제한됩니다. 이들은 물리적 상보성이나 3 차원 기하학에 초점을 맞추는 대신 광범위한 기능적 의미를 포착하는 데 자주 실패합니다. 이는 개체 간의 물리적 적합성보다 기능적 관계가 더 중요한 시스템적 생물학적 과정을 모델링하는 데 병목 현상을 초래합니다.

방법론

ReactEmbed 는 비용이 많이 드는 재학습 없이 동결된 사전 학습된 단백질 및 분자 임베딩을 기능 인식형 통합 공간에 정렬하도록 설계된 경량 플러그 앤 플레이 모듈을 도입합니다. 핵심 혁신은 기능적 맥락을 정의하기 위한 의미적 연결점으로서 생화학 반응 네트워크를 활용하는 것입니다.

1. 그래프 구성 및 PPMI 가중치 부여

이 방법은 Reactome 에서 제공된 생화학 반응 데이터베이스를 가중치 부여된 무방향 그래프 $G=(V, E, W)$로 변환합니다.

• 정점: 반응에 관여하는 모든 단백질과 분자를 포함합니다.
• 간선 가중치: 단순한 동시 발생 횟수는 ATP, 물과 같은 만연한 '허브' 노드에 의해 지배되므로, ReactEmbed 는 **양수 점별 상호 정보 (Positive Pointwise Mutual Information, PPMI)**를 사용합니다.
  • $W_{PPMI}(e_i, e_j) = \max(0, \log \frac{P(e_i, e_j)}{P(e_i)P(e_j)})$
  • 이 가중치 부여 방식은 일반적인 허브의 영향을 억제하고 기능적으로 구체적인 연관성을 강조합니다.

2. 관계 학습 아키텍처

ReactEmbed 는 동결된 모델 ($E^{pre}_p$ 및 $E^{pre}_m$) 로부터의 기본 임베딩을 학습 가능한 경량 다층 퍼셉트론 (MLP) 을 통해 통합 잠재 공간으로 투영하는 '플러그 앤 플레이' 전략을 사용합니다.

• P2U(단백질에서 통합으로) 및 M2U(분자에서 통합으로): 도메인별 임베딩을 통합 차원으로 매핑하는 ReLU 활성화 함수를 가진 2 층 MLP.
• 학습 목표: 이 모듈은 가중치 부여된 반응 그래프를 활용하는 전문화된 관계적 대비 학습 프레임워크를 사용하여 학습됩니다.

3. 고급 샘플링 전략

도메인별 구조를 보존하면서 도메인 간 관계를 효율적으로 학습하기 위해, 이 프레임워크는 정교한 샘플링 전략을 활용합니다.

• 허브 감쇄 양성 샘플링: 양성 쌍 (앵커 및 파트너) 은 PPMI 간선 가중치에 비례하는 확률로 1 홉 이웃에서 샘플링되어, 모델이 일반적인 연관성이 아닌 기능적으로 구체적인 연관성에서 학습하도록 보장합니다.
• 그래프 기반 하드 네거티브 샘플링: 무작위 네거티브 대신, 모델은 $k$-홉 이웃 ($k \in \{2, 3\}$) 에서 '하드 네거티브'를 샘플링합니다. 여기에는 다음이 포함됩니다.
  • 도메인 내 네거티브: 기능적으로 관련되지만 직접적인 파트너가 아닌 동일한 도메인의 개체 (예: 단백질 - 단백질).
  • 도메인 간 네거티브: 그래프에서 멀리 떨어진 반대 도메인의 개체 (예: 단백질 - 분자).
• 손실 함수: 코사인 거리를 기반으로 한 마진 기반 트리플릿 손실로 공식화된 도메인 내 보존 손실 ($L_{intra}$) 과 도메인 간 정렬 손실 ($L_{cross}$) 의 가중 합.

주요 기여

1. 결합 표현을 위한 새로운 패러다임: 이 논문은 물리적 상호작용이나 구조적 유사성을 넘어선 기능적 의미를 포착하기 위해 시스템적 생화학 반응 네트워크를 활용하는 것을 제안합니다.
2. ReactEmbed 모듈: 거대한 기본 모델의 미세 조정이 필요 없이 기존 동결 임베딩 (예: ESM-3, MolFormer) 을 통합하는 계산 효율적인 플러그 앤 플레이 향상 모듈입니다.
3. 기능적 맥락의 검증: 반응 기반 맥락으로 단일 모달 표현을 풍부하게 하는 것이 약물 - 표적 상호작용, 결합 친화도, 단백질 - 단백질 상호작용 등 다양한 도메인 간 벤치마크에서 성능을 향상시킨다는 것을 입증했습니다.
4. 오픈 리소스: 코드와 구축된 반응 데이터베이스가 공개 사용에 제공됩니다.

결과 및 평가

저자들은 분자 특성, 단백질 특성, 상호작용 예측 (DrugBank, BindingDB, HumanPPI, YeastPPI 등) 을 아우르는 11 개의 하류 작업에서 ReactEmbed 를 평가했습니다.

• 성능 향상: ReactEmbed 는 광범위한 개선을 이루었으며, 상호작용 중심 작업에서 상당한 향상을 보였습니다. 예를 들어, DrugBank 약물 - 표적 예측을 최대 **10.28%**까지 개선하고 BindingDB 친화도 예측 오차를 13.97% 감소시켰습니다.
• 일반화 능력: 이 향상은 시퀀스 기반 (ESM-3, ProtBERT) 과 구조 기반 (GearNet) 모델 모두에서 효과적이었으며, 이는 반응 데이터가 기본 아키텍처와 무관하게 보완적인 신호를 제공함을 시사합니다.
• 최첨단 모델과의 비교: ReactEmbed 는 분류 (DrugBank) 와 회귀 (BindingDB) 작업 모두에서 전문화된 멀티모달 모델 (DrugCLIP, Uni-Mol) 과 최근 그래프 기반 아키텍처 (DCGAT-DTI, MRHormer) 를 능가하여 양쪽 모두에서 최첨단 결과를 달성했습니다.
• 애블레이션 연구:
  • 플러그 앤 플레이 대 미세 조정: 반응 데이터로 기본 모델을 미세 조정하면 성능이 저하되어, 경량 투영 접근 방식이 기본 모델이 학습한 특징을 더 잘 보존함을 확인했습니다.
  • 샘플링의 중요성: PPMI 가중치 부여나 하드 네거티브 샘플링을 제거하면 성능이 크게 저하되어 고급 샘플링 전략의 필요성을 검증했습니다.
  • 데이터 견고성: 모델은 반응 데이터의 10% 만으로도 견고하게 유지되었으며 레이블 노이즈에 강건했습니다.
• 데이터 누출 통제: 저자들은 테스트 세트와 높은 서열 동일성이나 구조적 유사성을 가진 개체를 포함하는 간선을 제거하는 엄격한 귀납적 분할을 구현했습니다. 이러한 엄격한 조건에서도 ReactEmbed 는 강력한 예측 능력을 유지하며 잠재적 데이터 누출로 학습된 모델을 능가했습니다.
• 정성적 분석: t-SNE 시각화 및 실루엣 계수 분석은 ReactEmbed 가 서열만 기반한 베이스라인에서 혼재되어 있던 기능적으로 관련된 단백질 군 (예: 이온 채널, 펩티다제) 을 성공적으로 군집화했음을 보여주어, 고유한 기능적 맥락의 학습을 나타냈습니다.

중요성 및 주장

이 논문은 ReactEmbed 가 "개체가 물리적으로 어떻게 맞는지"에서 "함께 무엇을 기능적으로 성취하는지"로 초점을 전환함으로써 생물학적 표현을 통합하는 실용적이고 효율적인 방법을 제공한다고 주장합니다. 생화학 반응 네트워크를 기능적 맥락의 원천으로 작동화함으로써 ReactEmbed 는 단일 모달 표현을 풍부하게 하고 강력한 도메인 간 성능을 가능하게 하는 보편적 신호를 제공합니다.

저자들은 이 작업을 "과학을 위한 AI 에 대한 민주적 접근"으로 위치지으며, 연구자들이 최소한의 계산 비용으로 수십억 개의 파라미터를 가진 모델을 향상시킬 수 있게 한다고 설명합니다. 그들은 한계를 인정하며, 성능은 기반 반응 데이터베이스의 품질에 의존하며, 현재 대칭적 그래프 구성은 기질, 생성물, 촉매와 같은 특정 역할을 잃고 모든 공동 참여 개체를 동등하게 취급한다고 지적합니다. 향후 작업은 다중 관계 그래프를 통합하고 희귀 질환을 위한 퓨샷 학습을 탐구하는 것을 목표로 합니다.