기술 요약: GLACIER

문제 정의

딥러 Learning 모델은 수십억 개의 후보 화합물 중에서 분자 특성을 예측함으로써 신약 개발을 가속화하는 데 필수적인 역할을 해왔습니다. 그러나 현재의 최첨단 모델들은 계산 부하와 자원 집약성으로 인해 심각한 확장성 문제에 직면해 있습니다. 더욱이, 대부분의 대규모 모델은 단일 모달(unimodal) 방식에 치우쳐 있어, 서로 다른 분자 데이터 모달리티(예: 구조적 그래프, 순차적 텍스트, 물리화 화학적 기술자)에서 얻을 수 있는 상호 보완적인 정보를 활용하지 못합니다. 기존의 멀티모달 접근 방식은 종종 높은 계산 복잡성을 수반하거나 다양한 다운스트림 태스크에 대한 견고한 일반화 능력이 부족합니다. 따라서 거대 파운데이션 모델의 자원 비용 없이도 높은 예측 성능을 달성할 수 있도록 멀티모달 데이터를 통합하는 경량화되고 효율적인 프레임워크가 필요합니다.

방법론

본 논문은 세 단계의 파이프라인을 통해 통합된 분자 표현을 학습하도록 설계된 멀티모달 학생-교사(student-teacher) 파운데이션 모델인 GLACIER(Graph-Language Alignment for Chemical Inference and Exploration using Representations)를 제안합니다.

1. 멀티모달 학생 아키텍처 (1단계)

GLACIER는 Enamine REAL 데이터베이스에서 샘플링한 100,000개의 약물 유사 분자를 처리하기 위해 세 가지 별도의 인코더를 사용합니다:

• 그래프 인코더(Graph Encoder): 분자 그래프로부터 위상적 정보를 포착하기 위해 3회의 메시지 패싱 스텝과 어텐티브 어그리게이션 리드아웃 함수를 갖춘 메시지 패싱 신경망(MPNN)을 사용합니다.
• 텍xt 인코더(Text Encoder): SMILES 문자열을 처리하기 위해 경량 트랜스포머(2개 레이어, 128 차원 은닉층)를 활용합니다. 이는 데이터셋에 대해 학습된 커스텀 BPE(Byte-Pair Encoding) 토크나이저를 사용하여 문자열을 고정 길이 시퀀스로 매핑하며, 사인형 위치 인코딩(sinusoidal positional encodings)을 적용합니다.
• 표 형식 인코더(Tabular Encoder): RDKit에 의해 계산된 217개의 물리화학적 기술자(예: 분자량, logP)를 처리하는 다층 퍼셉트론(MLP)입니다.

2. 기하학적 인지 모달리티 퓨전 (2단계)

단순한 결합(concatenation)이나 표준 교차 주의(cross-attention) 대신, GLACIER는 새로운 핀슬러 기하학 인지 퓨전(Finsler geometry-aware fusion) 메커니즘을 도입합니다.

• 모달리티 임베딩은 공유된 잠재 공간으로 투영됩니다.
• 퓨전은 텍스트 임베딩($z_{text}$)에서 유도된 방향성 드리프트 벡터 필드를 포함하는 비대칭 **란더스 메트릭(Randers metric)**을 활용합니다. 이는 그래프 및 표 임베딩이 텍스트의 의미론적 방향과 일치할 때 더 가깝다고 간주하는 기하학적 편향을 생성합니다.
• 게이트형 교차 주의 메커니즘은 학습 가능한 스칼라 진폭과 최소 기하학적 거리에 의해 제어되는 시그모이드 게이트를 통해 모달리티의 중요도를 동적으로 조정합니다. 이를 통해 모델은 상호 보완적인 정보를 동적으로 우선순위에 둘 수 있습니다.

3. 학생-교사 지식 증류 (3단계)

GLACIER는 대조 학습(contrastive learning)을 사용하여 대규모 교사 모델로부터 지식을 경량 학생 아키텍처로 증류합니다:

• 교사 모델(Teachers): 프레임워크는 고정된 교사 모델인 MiniMol(그래프 기반)과 MolFormer(트랜스포머 기반)를 활용합니다.
• 증류 목적 함수: 동적 멀티 교사 InfoNCE 손실 함수가 사용됩니다. 내부 기여도 헤드가 학생의 현재 임베딩을 기반으로 각 교사에 대한 가중치($\tau_k$)를 예측하여, 학생이 각 교사의 기여도를 동적으로 조정할 수 있도록 합니다. 또한 모델 붕괴를 방지하기 위한 정규화 항이 포함됩니다.
• 사전 학습(Pretraining): 화학적으로 불변하는 표현을 보장하기 위해 동적 SMILES 증강을 사용하여 250 에포크 동안 사전 학습을 진행합니다.

주요 기여

1. GLACIER 프레임워크: 상대적으로 작은 코퍼스(100,000개 분자)에 대해 대조 사전 학습을 통해 최첨단 교사들로부터 지식을 증류함으로써 분자 표현을 통합하는 멀티모달 파운데이션 모델입니다.
2. 핀슬러 기하학 퓨전: 공유된 란더스 공간을 사용하여 그래프, SMILES, 물리화학적 기술자 임베딩을 동적으로 정렬함으로써 이질적인 분자 데이터를 통합하는 과제를 해결하는 새로운 퓨전 메커니즘입니다.
3. 효율성 및 성능: 컴팩트한 멀티모달 모델이 훨씬 더 큰 파운데이션 모델에 필적하거나 이를 능가하는 예측 성능을 보이면서도 경량화된 추론 속도를 유지할 수 있음을 입증했습니다.

실험 결과

모델은 분류(예: AMES, BBB, Tox21) 및 회귀(예: ESOL, LIPO) 태스크를 모두 포함하는 Therapeutics Data Commons (TDC) 및 MoleculeNet 벤치마크의 11가지 분자 특성 예측 태스크에서 평가되었습니다.

• 예측 성능: GLACIER는 벤치마크 전반에서 최첨단 또는 경쟁력 있는 성능을 달립했습니다. 구체적으로, MiniMol로부터 증류된 변형 모델은 분류 태스크에서 평균 AUROC 0.799, 회귀 태스크에서 평균 RMSE 0.806을 달성하여 ChemFM(1B 파라미터)과 같은 더 큰 베이스라인 및 기타 하이브리드 모델을 능가했습니다.
• 증류 효능: 학생 모델은 일관되게 각각의 교사 베이스라인과 일치하거나 이를 능가했습니다. 듀얼 교사 변형(Mi-Mo)은 일부 사례에서 추가적인 개선을 보여주었으며, 이는 상호 보완적인 지식의 성공적인 통합을 시사합니다.
• 효율성: GLACIER는 우수한 파라미터 대비 성능을 보여주었습니다. 훨씬 적은 파라받수의 파라미터로 높은 AUROC와 낮은 RMSE를 달성했으며, 대규모 파운데이션 모델보다 빠른 추론 지연 시간을 제공했습니다.
• 절제 연구(Ablation Studies):
  • 퓨전 메커니즘: 핀슬러 퓨전 메커니즘은 특히 MiniMol 교사와 결합되었을 때 표준 결합 및 교차 주의 베이스라인보다 일관되게 우수한 성능을 보였습니다.
  • 모달리티: 전체 트리모달 모델(그래프 + 텍스트 + 표)이 단일 모달 및 바이모달 변형보다 일관되게 우수한 성능을 보여 데이터 소스의 상호 보완성을 확인했습니다.
  • 스케일링: 성능은 사전 학습 데이터 크기가 100,000개 분자까지 증가함에 따라 빠르게 향상되었으며, 그 이후에는 정체되어 증류 프레임워크의 데이터 효율성을 나타냈습니다.
• 해석 가능성: 분석 결과 구조적 유사성(Tanimoto 계수)과 임베딩 유사성(코사인 유사도) 사이에 양의 상관관계($r=0.48$)가 있음이 나타났으며, t-SNE 시각화는 화학적으로 관련된 화합물들의 명확한 클러스터링을 보여주었습니다.

의의 및 주장

저자들은 GLACIER가 확장 가능하고 효율적인 분자 학습을 향한 중요한 진전이라고 주장합니다. 거대하고 자원이 많이 드는 파운데이션 모델으로부터 지식을 경량 멀티모달 학생 모델로 성공적으로 증류함으로써, 본 프레임워크는 예측 성능을 위해 반드시 거대한 파라미터 수가 필요하다는 통념에 도전합니다.

본 논문은 다음을 강조합니다:

• 컴팩트함이 정확도를 희생하지 않음: 작은 규모의 멀티모달 모델이 거대한 단일 모달 파운데이션 모델과 대등하거나 더 나은 성능을 낼 수 있습니다.
• 멀티모달 통합이 핵심임: 기하학적으로 인지된 퓨전을 통해 상호 보완적인 데이터 모달리티를 활용하는 것이 특징 표현을 강화합니다.
• 실제 배포 가능성: 본 프레임워크는 가상 스크리닝 및 리드 최적화와 같이 추론 속도와 계산 비용이 중요한 제약 조건인 신약 개발 파이프라인에 신속하게 배포할 수 있는 실행 가능한 경로를 제공합니다.

저자들은 모델이 강력한 교사 모델의 가용성에 의존하며, 핀슬러 퓨전 모듈이 최적화 복잡성(예: 로컬 미니마 발생 가능성)을 수반한다는 점을 언급하며 한계를 인정했습니다. 또한 독성 예측 모델의 오용 가능성에 대한 윤리적 고려 사항도 강조했습니다.