🤖 machine learning

Learning the Neighborhood: Contrast-Free Multimodal Self-Supervised Molecular Graph Pretraining

이 논문은 네거티브 샘플이나 복잡한 증강 없이도 최첨단 분자 표현 학습을 달선하기 위해, 에고-넷(ego-net) 서브그래프 예측을 통해 2D 위상과 3D 컨포머 앙상블을 통합하는 대조 없는 자기지도 사전학습 프레임워크인 C-FREE를 소개한다.

원저자: Boshra Ariguib, Mathias Niepert, Andrei Manolache

게시일 2026-06-03

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Boshra Ariguib, Mathias Niepert, Andrei Manolache

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 문제: 분자를 가르치는 것은 어렵습니다

당신이 로봇에게 화학을 가르치려고 노력하고 있다고 상상해 보세요. 이를 위해 당신은 로봇에게 수백만 개의 분자 사례를 보여주고, 그것들이 무엇을 하는지(예: "이것은 두통을 치료한다" 또는 "이것은 독성이 있다") 알려주어야 합니다.

문제는 라벨(정답)이 붙은 예시가 충분하지 않다는 점입니다. 이는 마치 아이에게 동물을 인식하는 법을 가르치려 하는데, 이름이 적힌 사진은 아주 몇 장밖에 없는 것과 같습니다. 대부분의 경우, 우리는 이름(라벨) 없이 데이터(사진)만 가지고 있습니다.

기존 방식들: 투박하고 복잡함

과학자들은 로봇에게 "자기 지도 학습(Self-Supervised Learning)"을 사용하여 가르치려고 시도해 왔습니다. 이것은 로봇에게 퍼즐을 주고 선생님 없이 스스로 그림을 찾아내라고 요구하는 것과 같습니다. 하지만 이전 방식들은 몇 가지 결함이 있었습니다:

"대조(Contrast)" 방식: 이것은 로봇에게 두 장의 사진을 보여주며 "이것들은 같다!" 또는 "이것들은 다르다!"라고 말하는 것과 같습니다. 로봇은 어느 쪽인지 추측해야 합니다. 하지만 이를 잘 수행하려면 비교 대상이 될 엄청난 양의 사진 무리(부정 샘플)가 필요하며, 이는 계산 비용이 많이 들고 설정하기 까다롭습니다.
"생성(Generative)" 방식: 이것은 로봇에게 사진의 빠진 부분을 처음부터 다시 그려보라고 요청하는 것과 같습니다. 분자는 복잡한 3D 형태이기 때문에, 이를 다시 "그려내는" 것은 매우 어렵고 느리며 오류가 발생하기 쉽습니다.
"2D 전용" 문제: 많은 방식이 분자를 평면적인 그림(2D)으로만 봅니다. 하지만 분자는 실제로 뒤틀리고 회전하는 3D 객체입니다. 3D 형상을 무시하는 것은 조각상을 오직 그 그림자만 보고 이해하려는 것과 같습니다.

새로운 솔루션: C-FREE (이웃 감시)

저자들은 더 단순하고 빠르며, 2D와 3D 정보를 모두 사용하는 새로운 방법인 C-FREE를 소개합니다.

이것이 어떻게 작동하는지 이웃 비유를 통해 설명하겠습니다:

이웃 (Ego-nets): 분자가 하나의 도시라고 상상해 보세요. C-FREE는 도시 전체를 한꺼번에 보지 않습니다. 대신, 무작위로 집 한 채(원자)를 고르고 그 주변의 즉각적인 이웃(연결된 원자들)을 살펴봅니다. 이것을 "에고넷(Ego-net)"이라고 부릅니다.
퍼즐 (문맥 vs 타겟):
- 문맥 (Context): 로봇은 선택된 집의 이웃을 봅니다.
- 타겟 (Target): 그런 다음 로봇은 오직 그 이웃만을 바탕으로, 도시의 나머지 부분이 어떻게 생겼을지 예측하도록 요청받습니다.
- 반전: 로봇은 단순히 모양을 추측하는 것이 아니라, 그 이웃을 바탕으로 나머지 도시의 의미(임베딩)를 자신의 내부 "두뇌" 공간에서 예측합니다.
부정 샘플 없음: 기존의 "대조" 방식과 달리, C-FREE는 학습을 위해 수천 개의 다른 도시와 비교할 필요가 없습니다. 그저 자신의 이웃을 이해하고 그것이 전체와 어떻게 어우러지는지를 배울 뿐입니다. 이는 모든 언어의 사전과 비교하며 배우는 것이 아니라, 책을 읽으며 빈칸을 채우는 방식으로 언어를 배우는 것과 같습니다.
2D + 3D (평면 지도와 모델): C-FREE는 두 가지 방식으로 동시에 분자를 관찰합니다:
- 2D: 평면 도로 지도처럼 (누가 누구와 연결되어 있는지).
- 3D: 3D 모델처럼 (건물들이 실제 공간에 어떻게 배치되어 있는지).
  이 두 가지 관점을 결합하여, 하나만 볼 때보다 훨씬 더 풍부한 이해를 얻습니다.

왜 더 나은가 (결과)

이 논문은 C-FREE가 "SOTA(State-of-the-art, 최신 기술 수준)" 방식이라고 주장합니다. 이를 쉬운 말로 풀이하면 다음과 같습니다:

경주에서 승리하다: 표준 화학 벤치마크(MoleculeNet 등)에서 테스트했을 때, C-FREE는 방대한 데이터나 복잡한 3D 계산을 사용하는 다른 거의 모든 방법보다 뛰어난 성능을 보였습니다.
적은 데이터로도 작동하다: 로봇에게 미세 조정을 위한 라벨링된 데이터가 아주 조금만 주어져도, C-FREE는 이미 화학에 대한 훌륭한 이해도를 갖추고 시작하기 때문에 처음부터 학습한 로봇보다 훨씬 빠르게 새로운 과제를 익힙니다.
효율적이다: "부정 샘플"을 생성하거나 복잡한 3D 재구성을 하기 위해 비싼 슈퍼컴퓨터를 사용할 필요가 없습니다. 단순히 분자의 "이웃"을 예측함으로써 학습합니다.
유연하다: 2D 지도(3D 데이터가 없는 경우)만 있어도 잘 작동하지만, 지도와 3D 모델을 모두 제공했을 때 가장 빛을 발합니다.

핵심 요약

C-FREE는 컴퓨터에게 분자에 대해 가르치는 더 똑똑하고 단순한 방법입니다. 컴퓨터에게 수백만 개의 비교를 암기하게 하거나 복잡한 모양을 다시 그리게 하는 대신, 원자의 "이웃"이 무엇인지, 그리고 그 국소적인 영역이 전체 분자와 어떻게 연관되는지를 평면 지도와 3D 형상을 모두 사용하여 이해하도록 가르칩니다. 이를 통해 컴퓨터는 시작 단계에서 라벨링된 예시가 많지 않더라도 훨씬 빠르고 정확하게 화학을 배울 수 있습니다.

기술 요약: 이웃 학습하기 (C-FREE)

문제 정의
고품질의 분자 표현형(molecular representations)은 물성 예측 및 신약 개발에 매우 중요하지만, 라벨이 지정된 대규모 데이터셋은 여전히 부족한 실정이다. 기존의 분자 그래프를 위한 자기지도 학습(SSL) 방식들은 종종 다음과 같은 구체적인 한계점을 갖는다:

양상(Modality)의 제한: 많은 방법론이 2D 위상 구조나 1D 시퀀스(SMILES)에만 의존하여, 가치 있는 3D 구조 정보를 충분히 활용하지 못한다.
복잡성 및 비용: 대조 학습(Contrastive methods) 방식은 정교하게 설계된 부정 샘플(negative samples)과 대규모 배치 크기에 의존하는데, 이는 불규칙한 그래프 구조(예: 카이랄 이성질체 구분)를 정의할 때 구현하기 어렵다. 생성 모델(Generative methods)은 입력 공간에서의 이산적 재구성이나 복잡한 그래프 토큰화를 요구하는 경우가 많다. 잠재 공간 예측 방식(Latent predictive methods)은 값비싼 증강(augmentation)이나 클러스터링 절차(예: METIS)에 의존하며, 표현 붕괴(representation collapse)를 겪을 수 있다.
데이터 부족: 큐레이션된 데이터셋은 특히 저데이터 환경(low-data regimes)에서 가용하지 않은 경우가 많으며, 이는 새로운 화학 영역으로 효과적으로 전이될 수 있는 강력한 사전 학습 전략을 필요로 한다.

방법론: C-FREE
저자들은 2D 그래프와 3D 컨포머(conformer) 앙상블을 통합하는 멀티모달 자기지도 프레임워크인 C-FREE(Contrast-Free Representation learning on Ego-nets)를 소개한다. 이 방법은 잠재 공간에서의 예측 학습 전략을 채택하여, 부정 샘플, 위치 인코딩(positional encodings), 그리고 입력 공간의 재구성을 피한다.

핵심 메커니즘 (Ego-nets): 프레임워크는 고정 반경의 k-EgoNets(여기서 $k \in \{3, 4\}$ )를 사용하여 분자 그래프를 서로 분리된 하위 그래프(subgraphs)로 분할한다. 주어진 앵커 노드에 대해, $k$ -홉 이웃은 컨텍스트(context) 하위 그래프를 형성하고, 나머지 엣지와 노드는 타겟(target) 하위 그래프를 형성한다. 경계 노드(Boundary nodes)는 엣지 불연속성(edge-disjointness)을 보장하기 위해 중복 생성된다.
멀티모달 인코딩:
- 2D 인코더: GINE(Graph Isomorphism Network with Edge features)가 그래프 위상 구조를 처리한다.
- 3D 인코더: 등변 신경망(PaiNN 또는 SchNet)이 여러 컨포머로부터의 3D 좌표를 처리한다.
- 융합(Fusion): 두 양상의 노드 수준 임베딩은 학습 가능한 분류(hCLS) 및 분리(hSEP) 토큰과 함께 연결되어, 전역적 의존성을 포착하기 위해 트랜스포머(Transformer)에 의해 처리되는 멀티모달 시퀀스를 형성한다.
예측 목적 함수 (Predictive Objective): 모델은 컨텍스트 하위 그래프의 임베딩을 타겟 하위 그래프의 임베딩과 정렬시킨다.
- **컨텍스트 인코더(Context Encoder)**가 입력 뷰를 처리한다.
- 예측 네트워크(Predictor Network)(경량 트랜스포머 및 MLP로 구성)는 컨텍스트 임베딩을 타겟 공간으로 매핑한다.
- 타겟 인코더(Target Encoder)(컨텍스트 인코더의 지수 이동 평균, EMA)는 타겟 임베딩을 생성한다.
- 목적 함수는 예측된 컨텍스트 임베딩과 타겟 임베딩 사이의 평균 제곱 L2 거리를 최소화한다.
미세 조정 (Fine-Tuning): 다운스트림 태스크 수행 시, 타겟 인코더가 사전 학습된 백본 역할을 한다. 프레임워크는 두 가지 평가 전략을 지원한다:
1. C-FREEMOL: 전체 분자 임베딩에 대한 선형 프로빙(Linear probing).
2. C-FREESUB: DeepSets를 사용하여 하위 그래프 임베딩을 집계하며, 이는 ESAN(Equivariant Subgraph Aggregation Networks)을 시뮬레이션한다.

주요 기여

새로운 사전 학습 태스크: 비용이 많이 드는 수동 증강이나 부정 샘플링 없이도 2D 및 3D 뷰를 모두 활용하는, k-EgoNet 하위 그래프 기반의 광범위하게 적용 가능한 예측 목적 함수를 제시한다.
강건성(Robustness): 본 프레임워크는 멀티모달 설정(2D + 3D)과 2D 전용 설정 모두에서 강력한 성능을 보이며, 컨포머가 없는 경우에도 효과적인 전이를 입증한다.
단순성 및 표현력: 이 훈련 체계는 사전 학습과 미세 조정 간의 불일치 및 부정 샘플 문제를 피한다. 이론적으로, DeepSets 헤드를 사용할 때 C-FREE는 1-Weisfeiler-Leman(1-WL) 테스트보다 명백히 더 표현력이 높으며, 계층적 목적 함수나 클러스터링 없이도 ESAN의 표현력에 부합한다.
최첨단 성능 (SOTA): 이 접근법은 MoleculeNet 및 기타 벤치마크에서 최상위 수준의 결과를 달성하며, 대조 학습, 생성 모델 및 기타 멀티모달 SSL 방법론들을 능가한다.

실험 결과
모델은 GEOM 데이터셋(약 33만 개의 3D 컨포머를 가진 분자)에서 사전 학습되었으며, 다양한 벤치마크에서 평가되었다:

MoleculeNet (Frozen Backbone): C-FREE는 8개 데이터셋에 대해 가장 우수한 평균 성능을 기록했으며, 베이스라인과 비교했을 때 8개 중 6개 태스크에서 더 나은 성능을 보였다. 멀티모달 변형인 C-FREMM이 일반적으로 2D 전용 변형보다 우수했으나, 2D 전용 C-FREE 역시 평균적으로 다른 모든 베이스라인을 앞질렀다.
MoleculeNet (Full Fine-Tuning): GEOM에서 사전 학습된 PaiNN 인코더를 사용했을 때, C-FREE는 훨씬 더 큰 데이터셋(최대 1,900만 개 분자)으로 학습된 거대 파운데이션 모델(예: UniMol, GEM)과 대등하거나 이를 능가하는 평균 ROC-AUC를 달est했다.
QM9 및 ZINC: QM9에서 C-FREE는 훨씬 적은 파라미터 수(910만 개)에도 불구하고 6개 타겟 중 4개에서 거대 모델인 UniMol2(11억 개 파라미터)를 능가했다. ZINC에서는 GraphJEPA보다 뛰어난 성능을 보였다.
라벨 효율성: Drugs-75K 데이터셋에서 사전 학습은 저라벨 환경(1%, 10% 라벨)에서 명확한 이득을 제공했으며, 처음부터 학습된 모델들을 일관되게 능가했다.
절제 연구 (Ablations):
- 양상(Modality): 3D 정보는 2D 단독보다 더 강한 신호를 제공했으나, 두 가지를 결합했을 때 최상의 결과를 얻었다.
- 예측기(Predictor): 예측기를 제거하면 훈련 붕괴가 발생했다. 트랜스포머 예측기가 MLP보다 우수한 성능을 보였다.
- EMA: EMA 타겟 인코더의 초기 감쇠율(decay rate)을 낮추는 것이 표현 품질을 향상시켰다.
- EgoNet 반경: $k=5$ 반경에서 최상의 성능을 보였는데, 이는 컨텍스트와 타겟 하위 그래프의 크기가 유사할 때 최적임을 시사한다. 반면 $k=1$ 은 충분한 구조적 신호를 포착하는 데 실패했다.

의의 및 주장
본 논문은 C-FREE가 멀티모달 분자 표현 학습을 위한 최초의 비대조적(non-contrastive), 비생성적(non-generative) 예측 프레임워크라고 주장한다. 그 의의는 다음과 같다:

복잡성 제거: 그래프 SSL의 흔한 병목 현상인 부정 샘플, 대규모 배치 크기, 값비싼 클러스터링, 위치 인코딩의 필요성을 없앴다.
3D 기하학 활용: 복잡한 생성 목적 함수 없이도 분자 모양에 의존적인 물성에 필수적인 3D 컨포머 다양성을 효과적으로 통합한다.
일반화: 이 방법은 자기지도 사전 학습이 다양한 화학 영역과 저데이터 환경으로 효과적으로 전이될 수 있는 강력한 초기값을 제공할 수 있음을 입증하며, 2D 위상 구조를 사용할 수 있는 상황에서도 3D 정보 기반 표현형의 중요성을 강조한다.

저자들은 자신들의 모델이 일부 파운데이션 모델보다 작음에도 불구하고, 그 성능은 아키텍처의 선택과 사전 학습 파이프라인(특히 EgoNet 기반의 예측 태스크)이 매우 효과적임을 시사한다고 언급했다. 향후 연구로는 더 큰 데이터셋으로의 확장, SMILES와 같은 추가적인 양상의 통합, 그리고 카이랄성 인식(chirality-aware) 인코더의 탐색 등을 제안하였다.