MolSight: Molecular Property Prediction with Images

기술 요약: MolSight

문제 정의

현대의 분자 특성 예측(Molecular Property Prediction, MPP)은 화학자들이 수 세기 동안 사용해 온 보편적인 2D 골격 구조(bond-line structures)로부터 크게 벗어나 있습니다. 대신, 이 분야는 그래프 신경망(GNN)을 통한 명시적 공유 결합 토폴로지 구축, 고비용의 컨포머(conformer) 생성을 요구하는 3D 트랜스포머 모델, 그리고 인스트럭션 튜닝을 활용하는 수십억 파라미터 규모의 대규모 언어 모델(LLM)과 같은 모달리티별 접근 방식에 의존하고 있습니다. 이러한 방법들은 효과적이긴 하지만, 수백만 개의 화합물을 대상으로 하는 고처리량 스크리닝(high-throughput screening) 시 상당한 계산 오버헤드와 데이터 엔지니어링 병목 현상을 초래합니다. 본 연구의 핵심 가설은 적절한 사전 학습(pre-training)을 거친 범용 비전 인코더가 2D 분자 도표를 직접 읽는 법을 학습함으로써, 그래프, 3D 컨포머, 또는 텍스트 디코딩 없이도 경쟁력 있는 특성 예측을 달나할 수 있는지 여부입니다.

방법론

저자들은 비전 기반 MPP를 평가하는 체계적이고 대규모인 연구인 MolSight를 제시합니다. 방법론은 세 가지 주요 축으로 구성됩니다:

1. 비전 아키텍처(Visual Architectures): 본 연구는 다음 두 범주로 분류되는 10개의 서로 다른 아키텍처를 평가합니다:

   • 순수 비전 인코더(Pure-vision encoders): ResNet-18, ResNet-50, DINOv2, DINOv3.
   • 비전-언어(VL) 인코더: SigLIP, SigLIP2, OpenCLIP, Long-CLIP, MetaCLIP, EVA-CLIP.
   • 모든 모델은 RDKit을 통해 렌더링된 표준화된 224×224 RGB 골격 구조를 처리합니다.

2. 사전 학습 전략(Pre-training Strategies): 비전 백본에 화학적 지식을 어떻게 가장 잘 인코딩할지 결정하기 위해 7가지 전략을 테스트합니다:

   • S1 (Baseline): 지도 학습 기반 미세 조정(Supervised fine-tuning)만 수행.
   • S2 (Image-Image): 증강된 이미지 쌍을 이용한 자기 지도 학습 기반 대조 학습(SimCLR).
     매칭되는 이미지와 정준 SMILES(canonical SMILES) 문자열 사이의 SigLIP 손실 함수를 사용하는 교차 모달 정렬(Cross-modal alignment).
   • S4 (Image-Description): 자연어 분자 설명과의 정렬.
   • S5 (GNN Distillation): 동결된 Uni-Mol(3D GNN) 교사 모델으로부터 표현을 증류(distill)하는 하이브리드 손실 함수를 비전 인코더에 적용하고, 특성 회귀(property regression)를 결합함.
   • S6 (Curriculum): 화학적 지식 기반의 커리큘럼 스케줄러가 추가된 S5 전략.
   • S7 (Joint SLIP): Image-Image 및 Image-SMILES 목적 함수를 동시에 학습.

3. 화학 정보 기반 커리큘럼(Chemistry-Informed Curriculum): 본 연구의 핵심적인 방법론적 기여는 200만 개의 분자를 구조적 복잡성에 따라 5개의 티어(tier)로 분할한 것입니다. 다섯 가지 기술자(Scaffold Decoration, Functional-Group Rarity, Conjugation Extent, Aromatic Substitution Complexity, Bertz Topological Complexity)를 사용하여 분자를 티어(T0: 단순 탄화수소부터 T4: 복잡한 거대 고리 화합물까지)에 할당합니다. 학습은 복잡한 구조를 도입하기 전에 단순한 구조를 먼저 노출하는 방식으로 점진적으로 진행됩니다.

4. 다운스트림 평가(Downstream Evaluation): 성능은 세 가지 카테고리에 걸친 10개의 태스크를 통해 평가됩니다:

   • 물리적 특성 회귀(Physical-property regression): ESOL(용해도) 및 LD50(독성).
   • 신약 개발 분류(Drug-discovery classification): BBBP, BACE, ClinTox, Tox21, HIV (MoleculeNet 기반).
   • 양자 화학 예측(Quantum-chemistry prediction): QM9 (원자화 에너지 및 HOMO-LUMO 갭) 및 PCQM4Mv2 (HOMO-LUMO 갭).

주요 기여

1. 포괄적인 사전 학습 연구: 10개의 아키텍처와 7개의 사전 학습 전략을 10개의 다운스트림 태스크에 걸쳐 체계적으로 평가하여, 어떤 조합이 화학적 지식을 가장 잘 인코딩하는지에 대한 경험적 지도를 구축했습니다.
2. 화학 정보 기반 커리큘럼: 모든 테스트된 아키텍처에서 무작위 샘플링보다 일관되게 우수한 성능을 보인 구조적 복잡성 기반의 커리큘럼을 제안하여, 단순한 구조에서 복잡한 구조로 학습 예시를 순차적으로 배치하는 것이 표현 학습을 개선함을 입증했습니다.
3. 경쟁력 있는 이미지 전용 추론: 비전 인코더로 처리된 단일 2D 이미지만으로도 경쟁력 있는 MPP가 가능하다는 것을 입증했습니다. 최적의 설정은 10개 벤치마크 중 5개에서 최고 결과를 달성했으며, 10개 전체에서 상위 2위 내의 성적을 기록했습니다. 이때 추론에는 오직 2D 이미지만 사용되었습니다.

결과

• 전략의 효용성: 사전 학습 전략이 아키텍처 선택보다 훨씬 더 중요합니다. 커리큘럼이 강화된 GNN 증류(S6)가 모든 태스크에서 일관되게 1위를 차지했습니다.
• 성능 향상:
  • 양자 태스크: S6는 Image-SMILES(S3) 대비 PCQM MAE를 82.7%(0.549에서 0.095로) 감소시켰으며, 커리큘럼 없는 GNN 증류(S5) 대비 19.1% 감소시켰습니다. QM9-∆ε MAE는 31.7% 감소했습니다.
  • 신약 개발: MolSight (S6)는 BBBP에서 93.7% ROC-AUC, Tox21에서 90.7%를 달성하여 여러 그래프 기반 사전 학습 베이스라인들을 능가했습니다.
  • 물리적 특성: 모델은 ESOL RMSE 0.627 및 LD50 MAE 0.369를 달성했습니다.
• 최첨단 기술(SOTA)과의 비교:
  • MolSight는 10개 벤치마크 중 8개에서 Uni-Mol(선도적인 3D-GNN)을 능가했고, 7개에서는 MolVision(VLM)을 능가했습니다.
  • 모든 10개 태스크에서 GPT-4o, Janus-Pro와 같은 LLM을 크게 앞질렀으며, 이는 인컨텍스트 학습(in-context learning)이 구조화된 화학적 사전 학습을 대체할 수 없음을 나타냅니다.
  • 효율성: ViT-B/16 모델은 추론당 17.6 GFLOPs만을 필요로 하며, 이는 MolVision보다 80배, GPT-4o보다 500배 이상 낮은 수치입니다.
• 임베딩 기하학(Embedding Geometry): t-SNE 분석 결과, 커리큘럼 학습(S6)은 임베딩을 양자 특성(예: 원자화 에너지)과 정렬된 매끄럽고 연속적인 경사 매니폴드(manifold)로 조직화하는 반면, 비커리큘럼 베이스라인은 거친 클러스터링을 보였습니다.

의의 및 주장

본 논문은 화학적 통찰력이 시각(sight)만으로도 도출될 수 있음을 주장합니다. 이는 고성능 MPP를 위해 복잡한 멀티모달 입력(그래프, 3D 컨포머, 수십억 파라미터의 LLM)이 반드시 필요하다는 통념에 도전합니다. 저자들은 3D 정보가 특정 양자 태스크에는 가치가 있지만, 적절한 전략(특히 커리큘럼이 강화된 GNN 증류)으로 사전 학습된 비전 인코더는 2D 도표로부터 전문화된 모델에 필적할 만한 충분한 구조적 및 전자적 단서를 포착할 수 있다고 주장합니다.

본 연구는 아키텍처 선택보다 사전 학습 전략이 훨씬 더 중요하다는 점을 강조합니다. 화학 정보 기반의 커리큘럼은 일관되게 계산 비용이 거의 들지 않는 수준의 개선을 제공하며, 이는 학습 데이터의 순서를 구조적 복잡성에 따라 배치하는 것이 견고한 분자 표현을 학습하는 데 결정적인 요소임을 시사합니다.

저자들이 인정한 한계점:

• 모델은 3D 의존성이 강한 태스크(예: PCQM4Mv2)에서 여전히 3D-GNN 방식보다 약간 낮은 성능을 보입니다.
• 매우 큰 분자(중원자 80개 초과)는 224×224 렌더링 해상도에서 포화 상태가 될 수 있습니다.
• 이 접근 방식은 단일 렌더링 라이브러리(RDKit)에 의존하므로, 묘사 스타일(예: 다른 결합 너비 또는 PIKAchU와 같은 라이브러리)에 민령합니다.

결론적으로, 본 연구는 이미지 전용 추론이 분자 특성 예측을 위한 놀랍도록 효과적이고 확장 가능한 대안이며, 계산 비용을 크게 줄이면서도 수백만 개의 화합물 스크리닝을 수행할 수 있는 경로를 제공한다고 밝히고 있습니다.