SELFormerMM: multimodal molecular representation learning via SELFIES, structure, text, and knowledge graph integration

이 논문은 SELFIES, 분자 구조, 텍스트 설명, 지식 그래프 기반 생물학적 상호작용 데이터를 통합하여 단일 모달리티 모델보다 우수한 성능을 보이는 다중 모달 분자 표현 학습 프레임워크인 SELFormerMM 을 제안합니다.

핵심

이 논문은 **"SELFormerMM"**이라는 새로운 인공지능 모델을 소개합니다. 이 모델은 약물 개발을 더 빠르고 정확하게 하기 위해 고안된 '만능 분자 해석기'라고 생각하시면 됩니다.

기존의 AI 모델들은 분자를 볼 때 한 가지 방법만 사용했습니다. 예를 들어, 분자의 구조만 보거나, 문자열만 읽는 식이었습니다. 하지만 실제 분자는 매우 복잡해서 한 가지 정보만으로는 그 성질을 완전히 이해하기 어렵습니다.

이 논문은 **"분자를 이해하려면 네 가지 눈을 모두 떠야 한다"**는 아이디어를 바탕으로, 네 가지 서로 다른 정보를 하나로 합쳐서 더 똑똑한 AI를 만들었습니다.

---

🧪 SELFormerMM: 분자를 위한 '4 인 1' 슈퍼 해설가

이 모델을 쉽게 이해하기 위해 **분자 (약물 후보 물질)**를 한 명의 사람이라고 상상해 보세요. 이 사람의 성격을 파악하려면 어떤 정보가 필요할까요?

1. 네 가지 정보 (모달리티) 의 통합

SELFormerMM 은 이 사람을 이해하기 위해 다음 네 가지 정보를 동시에 수집합니다.

• SELFIES (문자열): 사람의 이름표나 주소 같은 것입니다. 기존 방식 (SMILES) 은 이름표가 여러 개 있거나 틀릴 수도 있었지만, SELFormerMM 이 사용하는 'SELFIES'는 100% 정확한 공식 이름표입니다.
• 구조 (Structure): 사람의 외모와 몸매입니다. 뼈대가 어떻게 생겼고, 팔다리가 어떻게 연결되어 있는지 (분자의 2D 구조) 를 보여줍니다.
• 텍스트 (Text): 사람의 일기장이나 소개글입니다. 이 분자가 어떤 성질을 가졌는지, 어떤 약으로 쓰이는지에 대한 자연어 설명입니다.
• 지식 그래프 (Knowledge Graph): 사람의 인맥 관계도입니다. 이 분자가 어떤 단백질과 친구인지, 어떤 질병과 싸우는지에 대한 생물학적 연결 고리입니다.

2. 어떻게 작동할까요? (비유: 4 인 1 팀 회의)

기존 모델들은 이 네 가지 정보를 각각 따로따로 분석했습니다. 하지만 SELFormerMM 은 이 네 가지 정보를 한 방에 모아 팀 회의를 엽니다.

• 학습 단계 (프리트레이닝): 약 300 만 개의 분자에 대해, "이 분자의 이름표, 몸매, 일기, 인맥은 모두 같은 사람 (분자) 에 대한 정보다"라고 AI 에게 가르칩니다. 서로 다른 정보들이 서로를 보완하며 하나의 완벽한 프로필을 만들도록 훈련시킵니다.
• 실전 단계 (파인튜닝): 이제 이 훈련된 AI 에게 새로운 분자를 주고 "이게 뇌에 들어갈 수 있을까?", "독성이 있을까?" 같은 질문을 던지면, 네 가지 정보를 종합해서 가장 정확한 답을 내놓습니다.

3. 왜 이것이 중요할까요? (기존 모델과의 차이)

• 기존 모델: 분자의 '구조'만 보고 판단하면, "이건 약이 될 것 같아!"라고 말하지만, 실제 생물학적 반응 (인맥) 을 모르면 실패할 수 있습니다.
• SELFormerMM: "이 분자는 구조도 좋고, 일기장에 좋은 약이라고 적혀있고, 인맥도 좋은 질병과 연결되어 있네!"라고 종합적으로 판단합니다.

4. 실제 성과 (결과)

이 모델은 다양한 테스트에서 기존에 가장 잘하던 모델들보다 더 좋은 성적을 냈습니다.

• 뇌혈관 장벽 통과 (BBB): 약이 뇌까지 도달할 수 있는지 예측하는 데 매우 뛰어났습니다. (예: 뇌 질환 치료제인 '덱스트로암페타민'은 뇌로 잘 들어가고, 파킨슨병 치료제인 '벤세라지드'는 뇌로 들어가지 않는다는 것을 정확히 예측)
• 부작용 예측: 약이 어떤 부작용을 일으킬지도 잘 알아냈습니다.

💡 결론: 왜 이 연구가 혁신적인가요?

이 연구는 **"분자라는 복잡한 존재를 이해하려면, 한 가지 시선만으로는 부족하다"**는 것을 증명했습니다.

마치 추리 소설을 읽을 때, 주인공의 외모 (구조) 만 보고 범인을 잡는 게 아니라, 그의 일기 (텍스트), 친구 관계 (지식 그래프), 그리고 이름 (SELFIES) 을 모두 종합해서 진실을 파악하는 것과 같습니다.

이 SELFormerMM은 이제까지 따로 놀던 화학, 생물학, 텍스트 정보를 하나로 묶어, 더 안전하고 효과적인 신약 개발을 가능하게 하는 강력한 도구가 되었습니다. 연구진은 이 모델을 누구나 쓸 수 있도록 오픈소스로 공개했습니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 계산 약물 개발의 핵심인 분자 표현 학습 (Molecular Representation Learning) 은 분자의 특성을 벡터로 인코딩하여 물성 예측, 가상 스크리닝, 신약 설계 등 다양한 하위 작업에 활용됩니다.
• 문제점: 기존 대부분의 모델은 단일 모달리티 (분자 시퀀스인 SMILES 또는 분자 그래프) 에만 의존합니다. 이는 분자의 복잡한 행동을 포착하는 데 한계가 있습니다.
  • SMILES 의 한계: 동일한 분자가 여러 문자열로 표현될 수 있고, 문법적으로 유효하지만 화학적으로 무효인 구조가 생성될 수 있으며, 구조적 제약이 암시적으로만 표현됩니다.
  • 단일 모달리티의 한계: 분자는 문법적 인코딩 (SELFIES/SMILES), 위상적 구조 (그래프), 의미론적 주석 (텍스트), 생물학적 상호작용 맥락 (지식 그래프) 등 본질적으로 다중 모달리티를 가진 존재입니다. 그러나 이러한 이질적인 정보들을 통합하여 일관된 표현 공간을 만드는 것은 기존 연구에서 충분히 해결되지 않았습니다.

2. 방법론 (Methodology)

저자들은 SELFormerMM이라는 새로운 다중 모달 분자 표현 학습 프레임워크를 제안했습니다. 이는 SELFIES 표기법, 2D 분자 그래프, 자연어 기술, 그리고 지식 그래프 (KG) 에서 추출된 생물학적 상호작용 데이터를 통합합니다.

2.1 데이터 구성

• 시퀀스 (Sequence): ChEMBL v36 의 약 285 만 개 분자에서 SMILES 를 추출하여 SELFIES(Self-Referencing Embedded Strings) 로 변환. SELFIES 는 100% 유효한 화학 구조를 보장하는 문법 제약 표현입니다.
• 텍스트 (Text): M3-20M 데이터셋의 자연어 기술 (PubChem, GPT-3.5 생성 요약 등) 을 활용. InChIKey 및 SMILES 매핑을 통해 ChEMBL 분자와 연결 (약 49 만 개).
• 지식 그래프 (Knowledge Graph): CROssBARv2-KG 를 활용하여 화합물, 단백질, 유전자, 약물 간의 상호작용 (CTI, DTI, PPI 등) 을 포함하는 이종 그래프를 구축. 약 72 만 개 분자가 KG 노드에 연결됨.
• 구조 (Structure): SMILES 에서 직접 유도된 2D 분자 그래프.

2.2 모델 아키텍처

SELFormerMM 은 4 개의 모달리티별 브랜치와 공유 잠재 공간 (Shared Latent Space) 으로 구성됩니다.

1. 시퀀스 인코더: SELFormer (RoBERTa 기반) 를 사용하여 SELFIES 시퀀스를 인코딩.
2. 텍스트 인코더: 과학 텍스트에 특화된 SciBERT를 사용하여 분자 설명을 인코딩.
3. 구조 인코더: Uni-Mol을 사용하여 3D 구조 정보를 포함한 분자 임베딩을 생성.
4. 지식 그래프 인코더: DMGI(Deep Mutual Graph Infomax) 아키텍처를 사용하여 이종 그래프에서 화합물 노드 임베딩을 추출.
5. 정렬 (Alignment): 각 모달리티의 임베딩을 768 차원의 공유 공간으로 매핑하기 위해 비선형 프로젝션 네트워크 (MLP) 를 사용.
6. 학습 목표: SINCERELoss를 기반으로 한 다중 뷰 (Multi-view) 지도식 대비 학습 (Supervised Contrastive Learning) 을 수행. 동일한 분자의 서로 다른 모달리티 임베딩은 가깝게, 다른 분자의 임베딩은 멀게 배치되도록 최적화합니다.

2.3 학습 단계

1. 다중 모달 사전 학습 (Pretraining): 약 300 만 개의 분자 데이터셋에서 Contrastive Learning 을 통해 공유 표현 공간 학습.
2. 하위 작업 미세 조정 (Finetuning): MoleculeNet 벤치마크 (분류 및 회귀 작업) 에서 특정 작업 헤드를 추가하여 모델 성능 평가.

3. 주요 기여 (Key Contributions)

• 통합 프레임워크 제안: SELFIES, 구조적 그래프, 텍스트 설명, 생물학적 지식 그래프를 단일 프레임워크로 통합한 최초의 대규모 다중 모달 분자 표현 학습 모델 중 하나입니다.
• SELFIES 활용: SMILES 의 한계를 극복하고 SELFIES 를 사용하여 문법적 유효성과 구조적 견고성을 확보했습니다.
• 대규모 데이터 활용: 약 300 만 개의 분자로 사전 학습하여 다양한 하위 작업에 대한 일반화 능력을 입증했습니다.
• 오픈 소스 제공: 코드, 데이터셋, 사전 학습된 모델, 그리고 사전 계산된 임베딩을 GitHub 를 통해 공개했습니다.

4. 실험 결과 (Results)

MoleculeNet 벤치마크 (BBBP, SIDER, HIV, BACE, Tox21, ESOL, FreeSolv, Lipophilicity, PDBbind 등) 에서 다양한 단일 모달리티 및 다중 모달리티 모델과 비교 평가되었습니다.

• 분류 작업 (Classification):
  • SIDER (부작용 예측): SELFormerMM 이 가장 높은 성능 (ROC-AUC 0.749) 을 기록했습니다.
  • BBBP (혈액 - 뇌 장벽 투과성): 0.918 의 점수로 상위권 성능을 보였으며, 단일 모달리티 모델인 SELFormer(0.902) 보다 향상되었습니다.
  • 기타: HIV, Tox21 등에서도 경쟁력 있는 성능을 보였으나, 텍스트나 KG 데이터의 커버리지 부족으로 인해 일부 작업에서는 단일 모달리티 모델보다 점수가 낮거나 유사한 수준을 보였습니다.
• 회귀 작업 (Regression):
  • Lipophilicity (친유성): 다중 모달 모델 중 가장 낮은 RMSE(0.574) 를 기록하여 최상위 성능을 보였습니다.
  • PDBbind (단백질 - 리간드 결합 친화도): 구조 및 KG 정보의 통합으로 인해 단일 모달리티 모델 (1.437) 보다 성능이 향상된 RMSE(1.328) 를 기록했습니다.
  • ESOL (수용성): 단일 모달리티 모델 (0.386) 에 비해 다소 낮았으나 (0.603), 여전히 경쟁력 있는 수준이었습니다.
• Ablation Study (절제 실험):
  • 모달리티 기여도: 2D 그래프 정보가 가장 일관되게 성능 향상에 기여했습니다. 텍스트와 KG 는 커버리지가 낮아 최적화 불안정성을 유발할 수 있었으나, 통합되었을 때 특정 작업 (예: PDBbind) 에서 시너지 효과를 발휘했습니다.
  • 미세 조정의 중요성: 사전 학습된 백본을 미세 조정하는 것이 대부분의 작업에서 성능을 크게 향상시켰습니다.

5. 의의 및 결론 (Significance)

• 생물학적 맥락의 통합: 분자의 화학적 특성뿐만 아니라 생물학적 상호작용 네트워크와 텍스트 설명을 통합함으로써, 더 풍부하고 해석 가능한 분자 표현을 학습할 수 있음을 입증했습니다.
• 가설 기반 약물 발견: 이 프레임워크는 단순한 물성 예측을 넘어, 생물학적 맥락을 고려한 가설 기반의 약물 발견 전략을 지원할 수 있는 기반을 제공합니다.
• 미래 방향: 결측 모달리티 처리 (Zero-padding 대신 동적 손실 함수 등) 개선, 텍스트 데이터의 품질 향상, 그리고 실험 연구자를 위한 GUI 개발 등이 향후 연구 과제로 제시되었습니다.

결론적으로, SELFormerMM은 이질적인 분자 데이터 소스를 통합하여 기존 단일 모달리티 모델보다 우수한 또는 경쟁력 있는 성능을 보여주며, 차세대 계산 화학 및 약물 발견을 위한 강력한 다중 모달 표현 학습 프레임워크로 자리매김했습니다.