MOLAR: Learning Multimodal Molecular Representations from Noisy Labels

기술 요약: MOLAR – 노이즈가 있는 라벨로부터 멀티모달 분자 표현 학습하기

문제 정의
분자 특성 예측은 고처리량 어세이(high-throughput assays), 큐레이션된 데이터베이스, 또는 약한 주석 파이프라인에서 유도된 라벨에 의존하는 경우가 많으며, 이러한 라벨은 깨끗한 생물학적 실제 값(ground truth)이라기보다 노이즈가 섞여 있는 경우가 빈번합니다. 그래프 기반 구조 데이터(원자, 결합, 위상)와 텍스트 기반 의미 데이터(SMILES, 설명, 기술자)를 통합하는 멀티모달 분자 표현 학습에서, 이러한 노이즈가 섞인 기록된 라벨을 신뢰할 수 있는 지도 학습(supervision)으로 취급하면 모델이 오염된 관찰값을 암기하는 결과를 초래할 수 있습니다. 이 문제는 멀티모달 설정에서 더욱 악화됩니다. 표준적인 융합(fusion) 또는 정렬(alignment) 전략은 라벨로 인한 오류를 여러 모달리티로 전파할 수 있으며, 그래프와 텍스트 간의 불일치는 라벨 오염, 한쪽 모달리티의 증거 부족, 또는 실제 불확실성의 지표가 아닌 단순한 정렬 실패로 오해받을 수 있습니다. 기존의 노이즈 라벨 학습 방법들은 주로 단일 모달리티 분류를 다루며, 잠재적인 분자 특성과 기록된 노이즈 라벨을 명시적으로 구분하지 못하거나, 신뢰할 수 없는 지도 하에서 모달리티별 증거를 처리하기 위한 원칙적인 프레임워크를 제공하지 못합니다.

방법론: MOLAR 프레임워크
저자들은 기록된 라벨 관찰값으로부터 잠재적인 깨끗한 특성 추론을 분리하도록 설계된 노이즈 인식 프레임워크인 MOLAR를 제안합니다. 이 프레임워크는 네 가지 핵심 모듈을 통해 작동합니다.

1. 분자 증거 초기화 (Molecular Evidence Initialization):

   • 그래프 뷰 (Graph View): 분자 그래프 $G_i$는 그래프 인코더(예: GIN)를 사용하여 표현 $z^g_i$로 인코딩됩니다.
   • 텍스트 뷰 (Text View): 텍스트 유래 뷰 $T_i$(예: SMILES, 설명)는 텍스트 인코더(예: BiomedBERT)를 사용하여 $z^t_i$로 인코딩됩니다.

2. 잔차 자연 매개변수 증거 합성 (Residual Natural-Parameter Evidence Composition):
   MOLAR은 특징을 단순히 결합하거나 정렬을 강제하는 대신, 그래프 및 텍스트 뷰를 잠재적인 깨끗한 범주형 분포를 위한 잔차 증거(residual evidence) 소스로 취급합니다.

   • 학습 가능한 함수는 표현을 클래스별 잔차 자연 매개변수로 매핑합니다: $u^g_i = C(\phi_g(z^g_i))$ 및 $u^t_i = C(\phi_t(z^t_i))$, 여기서 $C$는 공통 가산 오프셋을 제거하는 중심화 연산자(centering operator)입니다.
   • 기저 벡터 $b$는 클래스 수준의 사전 확률(priors)을 나타냅니다.
   • 깨끗한 로짓(logits)은 가산 합성 $\ell_i = C(b + u^g_i + u^t_i)$를 통해 형성됩니다.
   • 깨끗한 사후 확률 $p_i$는 소프트맥스 정규화를 통해 도출됩니다. 이 공식화는 모델이 각 모달리티($M^g_i, M^t_i$)의 상대적 기여도를 정량화하고 모달리티별 증거를 해석할 수 있게 해줍니다.

3. 범주형 라벨-관찰 채널 (Categorical Label-Observation Channel):
   노이즈가 섞인 기록된 라벨 $\tilde{y}_i$를 신뢰할 수 있는 정답(ground truth)으로 취급하지 않고 활용하기 위해, MOLAR은 잠재적인 깨끗한 클래스 $y_i$를 기록된 라벨 $\tilde{y}_i$로 매핑하는 확률적 채널 $O$를 도입합니다.

   • $O_{ac} = p(\tilde{y}_i = a | y_i = c)$입니다.
   • 이 채널은 대각 우세(diagonal-dominant)하도록(라벨 전이를 허용하되 올바른 매핑을 우선시함) 매개변수화되며 학습 과정 중에 학습됩니다.
   • 기록된 라벨 분포 $\tilde{p}_i$는 $O p_i$로 계산됩니다. 모델은 $p_i$를 $\tilde{y}_i$에 직접 맞추는 것이 아니라, 이 분포 하에서의 기록된 라벨에 대한 가능도(likelihood)를 최대화하도록 학습됩니다.
   • 이 채널은 자연스럽게 기록된 라벨이 잠재적인 깨끗한 클래스와 일치할 확률을 나타내는 사후 신뢰도 점수(posterior reliability score) $\rho_i$를 산출합니다.

4. 노이즈 인식 학습 목적 함수 (Noise-Aware Learning Objective):
   전체 손실 함수는 세 가지 항을 결합합니다:

   • 기록된 라벨 가능도 ($L_{sup}$): 주변화된 분포 $\tilde{p}_i$에 기반한 기록된 라벨의 음의 로그 가능도(negative log-likelihood)입니다.
   • 증거 충돌 정규화 ($L_{conf}$): 그래프 뷰와 텍스트 뷰 사이의 모순되는 증거에 대해 패널티를 부여하며, 이는 $\rho_i$에 의해 가중치가 부여됩니다. 라벨이 신뢰할 수 있는 것으로 판단될 때, 높은 확신의 충돌에 더 큰 패널티를 부여합니다.
   • 섭동 일관성 정규화 ($L_{pert}$): 깨끗한 사후 확률이 라벨을 보존하는 분자 섭동(예: 특징 마스킹) 하에서도 안정적으로 유지되도록 장려하여 노이즈에 대한 강건성을 확보합니다.

주요 기여

1. 문제 정식화: 본 논문은 노이즈가 있는 멀티모달 분자 학습의 세 가지 핵심 과제를 식별하고 정식화했습니다: (a) 잠재적 특성과 노이즈 섞인 라벨의 분리, (b) 라벨-관찰 채널을 통한 노이즈 라벨의 지도 학습 활용, (c) 신뢰할 수 없는 지도 하에서의 그래프-텍스트 불일치 해석.
2. 프레임ка이트 설계: MOLAR은 멀티모달 뷰를 깨끗한 사후 확률을 위한 잔차 증거로 합성하고, 이를 학습 가능한 관찰 채널을 통해 노이즈 섞인 라벨과 연결함으로써, 오염된 타겟에 직접 맞추는 것을 피하는 확률적 프레임워크를 도입했습니다.
3. 해석 가능성: 이 프레임워크는 사후 신뢰도 점수($\rho_i$)와 모달리티별 증거 기여도를 포함한 진단 도구를 제공하여, 라벨의 신뢰성과 모달리티의 유용성을 해석할 수 있게 합니다.
4. 실험적 검증: 광범-한 실험을 통해 자연적으로 노이즈가 있는 벤치마크(MF-PCBA-Noisy7)와 통제된 라벨 뒤집기(label-flipping) 벤치마크(MoleculeNet) 모두에서 최첨단 성능을 입증했습니다.

실험 결과

• 데이터셋: 평가는 MF-PCBA-Noisy7(자연적으로 노이즈가 있는 단일 용량 스크리닝 라벨 7개 작업과 더 깨끗한 용량-반응 확인 라벨을 가진 7개 작업)과 통제된 대칭 라벨 뒤집기(최대 70%)가 적용된 4개의 MoleculeNet 벤치마크(HIV, BACE, BBBP, ClinTox)에서 수행되었습니다.
• 성능: MOLAR은 네 가지 카테로리의 대표적인 베이스라인들을 일관되게 능가했습니다: 지도 학습 그래프 신경망(GCN, GAT, GIN), 분자 사전 학습 방법(GraphCL, GROVE, Uni-Mol), 멀티모달 융합 방법(Tri-SGD, MMSG, ProtoMol), 그리고 강건/노이즈 라벨 학습 방법(OMG, SPORT, RTGNN).
  • MF-PCBA-Noisy7에서 MOLAR은 가장 높은 평균 ROC-AUC(71.30%)를 달 기록했으며, 심각한 라벨 불일치가 있는 작업에서 상당한 이득을 보였습니다.
  • 30% 라벨 뒤집기가 적용된 MoleculeNet에서 MOLAR은 모든 베이스라인에 비해 우수한 성능(평균 ROC-AUC 78.45%)을 유지했습니다.
  • 강건성 분석 결과, 베이스라인 성능은 노이즈 수준이 증가함에 따라 급격히 저하된 반면, MOLAR은 특히 BBBP와 ClinTox에서 안정적인 정확도를 유지했습니다.
• 절제 연구 (Ablation Studies): 충돌 정규화, 섭동 일관성, 또는 두 모달리티(그래프/텍스트) 중 하나를 제거하면 성능 저하가 발생하여, 조인트 설계의 필요성을 확인했습니다. 학습된 채널을 공유된 채널로 교체했을 때도 성능이 감소했습니다.
• 진단:
  • 신뢰도: 사후 신뢰도 $\rho_i$는 경험적 SD–DR 일치율과 높은 Spearman 상관관계(0.98)를 보였으며, 라벨 불일치를 탐지하는 데 있어 엔트로피 및 충돌 점수보다 뛰어난 성능을 보였습니다.
  • 시각화: 뒤집힌 샘플에 대한 사례 연구를 통해, MOLAR이 오염된 기록된 라벨에도 불구하고 깨끗한 라벨을 정확하게 예측할 수 있으며, 노이즈를 암기하는 대신 특정 분자 구조에 근거하여 결정을 내린다는 것을 보여주었습니다.

의의
본 논문은 MOLAR이 노이즈가 있는 지도 하에서의 멀티모달 분자 표현 학습에 대한 원칙적인 접근법을 제공한다고 주장합니다. 깨끗한 특성 추론과 라벨 관찰을 명시적으로 분리하고, 모달리티와 라벨 간의 관계를 확률적으로 모델링함으로써, 이 프레임워크는 오염된 데이터를 암기할 위험을 완화합니다. 사후 신뢰도와 모달리티별 증거를 도출할 수 있는 능력은 라벨이 본질적으로 불확실한 실제 신약 개발 시나리오에서 모델의 동작을 해석하는 데 필수적인 진단 능력을 제공합니다. 결과는 노이즈 섞인 관찰값으로부터 잠재적 특성을 분리하는 것이 분자 특성 예측의 일반화와 강건성을 향상시키는 데 중요한 단계임을 시사합니다.