Assessing the Generalizability of Machine Learning and Physics Methods for DNA-Encoded Libraries

이 논문은 DNA-부호화 라이브러리 (DEL) 데이터로 훈련된 머신러닝 모델이 분포 외 (OOD) 화학 공간에서 일반화하는 데 한계가 있음을 규명하고, 표적과 리간드에 따라 최적의 접근법이 달라지므로 신뢰할 수 있는 가상 스크리닝을 위해 체계적인 파일럿 테스트가 필수적임을 주장하며, 이를 위한 오픈소스 도구 'DEL-iver'를 제공합니다.

핵심

🎬 줄거리: "거대한 도서관과 새로운 책 찾기"

상상해 보세요. 수십억 권의 책 (분자들) 이 있는 거대한 도서관이 있습니다. 이 책들은 모두 DNA 라는 꼬리표가 달려 있어서, 어떤 책이 어떤 책장 (단백질) 에 붙어 있는지 쉽게 찾을 수 있습니다. 이것이 바로 DEL 기술입니다.

연구자들은 이 도서관에서 "이 책장 (단백질) 에 가장 잘 맞는 책 (약물 후보)"을 찾아내고 싶었습니다. 그런데 문제는, 도서관에 있는 책들은 모두 비슷한 스타일 (화학적 구조) 로만 만들어져 있다는 점입니다.

이제 우리는 두 가지 방법을 시도해 봅니다:

1. AI (머신러닝): 도서관에 있는 수억 권의 책을 읽게 해서, "이런 책이 이 책장에 잘 어울려!"라고 학습시킵니다.
2. 물리 시뮬레이션 (도킹): 책과 책장의 실제 모양과 질감을 3D 로 만들어서, 물리 법칙에 따라 얼마나 잘 들어맞는지 직접 계산해 봅니다.

🔍 주요 발견 3 가지

1. AI 는 "익숙한 것"에는 천재지만, "낯선 것"에는 무능합니다.

• 비유: AI 는 도서관에 있는 유사한 책들 (In-Distribution) 을 보면 "아, 이 책은 이 책장에 딱이야!"라고 99% 정확도로 맞춥니다. 하지만 도서관에 전혀 새로운 스타일의 책 (Out-of-Distribution) 이 들어오면, AI 는 당황해서 "글쎄요... 모르겠어요"라고 아무거나 찍습니다.
• 결과: 최근의 거대한 AI 대회 (BELKA) 에서도, 어떤 팀도 AI 가 완전히 새로운 책들을 잘 예측하지는 못했습니다. AI 는 훈련된 데이터의 범위 밖으로 나가는 것을 매우 어려워합니다.

2. 데이터 양보다 '데이터의 맛'이 중요합니다.

• 비유: 도서관에 '나쁜 책 (약이 안 되는 것)'이 99% 있고, '좋은 책 (약이 되는 것)'이 1% 뿐입니다. 연구자들은 "나쁜 책을 90% 이상 버려도 AI 가 여전히 잘 작동할까?"라고 실험해 봤습니다.
• 결과: 놀랍게도 나쁜 책을 99% 버려도 AI 의 성능은 떨어지지 않았습니다. 즉, AI 를 훈련시키려면 수억 개의 데이터를 다 쓸 필요 없이, 가장 핵심적인 몇 백만 개의 데이터만 있으면 충분하다는 뜻입니다. 이는 AI 훈련 비용을 획기적으로 줄여줍니다.

3. "목표에 따라 최고의 도구가 다릅니다."

• 비유:
  • A 책장 (BRD4 단백질) 을 찾을 때는: AI 보다는 3D 시뮬레이션 (Boltz-2) 이 훨씬 잘 맞췄습니다. 마치 자물쇠와 열쇠의 모양을 직접 재어보는 것이 더 정확했던 셈입니다.
  • B 책장 (sEH 단백질) 을 찾을 때는: 또 다른 시뮬레이션 도구 (GALigandDock) 가 가장 잘 작동했습니다.
  • 결론: "무조건 AI 가 최고"나 "무조건 물리 시뮬레이션이 최고"라는 법칙은 없습니다. 찾고자 하는 대상 (단백질) 과 물질의 종류에 따라 가장 좋은 방법이 다릅니다.

💡 연구의 핵심 메시지 (교훈)

이 연구는 우리에게 **"한 가지 방법만 믿지 마라"**고 경고합니다.

• AI 는 익숙한 영역에서는 강력하지만, 완전히 새로운 영역 (신약 개발에서 가장 중요한 부분) 에서는 실패할 수 있습니다.
• 따라서, 대규모 프로젝트를 시작하기 전에 작은 규모로 먼저 시험해 보는 (파일럿 테스트) 것이 필수적입니다.
• 연구팀은 이 모든 과정을 쉽게 할 수 있도록 DEL-iver라는 무료 오픈소스 도구를 만들었습니다. 이는 마치 "약물 찾기용 만능 키트"처럼, 누구나 데이터를 분석하고 AI 를 훈련시킬 수 있게 해줍니다.

🚀 요약

이 논문은 **"약물 개발을 위해 AI 만 믿지 말고, 물리 시뮬레이션과 섞어서 쓰되, 무조건적인 신뢰보다는 작은 실험으로 먼저 검증하라"**는 현실적이고 실용적인 조언을 담고 있습니다. 마치 낚시를 할 때, 어떤 물고기가 잡히느냐에 따라 미끼와 낚시대를 바꿔야 하는 것과 같은 이치입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• DNA-부호화 라이브러리 (DEL) 의 한계: DEL 은 수십억 개의 분자를 동시에 스크리닝할 수 있는 초고처리량 기술이지만, 합성된 '하트 (hit)' 분자의 오프-DNA(Off-DNA) 합성 비용이 높고, DEL 분자 자체의 화학적 다양성이 제한적이라는 문제가 있습니다.
• ML 모델의 일반화 실패: 이러한 대규모 DEL 데이터를 기반으로 기계 학습 (ML) 모델을 훈련하여 DEL 외부의 구매 가능한 유사체 (Off-DNA analogues) 를 예측하려는 시도가 있었습니다. 그러나 NeurIPS 2024 'BELKA' 경진대회 (약 2,000 개 팀 참여) 에서 어떤 팀도 훈련 데이터 분포와 다른 (Out-of-Distribution, OOD) 화학 공간으로의 일반화에 실패했습니다.
• 핵심 질문: DEL 데이터로 훈련된 ML 모델이 OOD 화학 공간에서 신뢰할 수 있는 예측을 할 수 있을까? 만약 불가능하다면, 구조 기반 모델링 (도킹, 코-폴딩) 을 통합하여 이 격차를 해소할 수 있을까?

2. 연구 방법론 (Methodology)

저자들은 BELKA 데이터셋 (약 133M 개의 분자, 3 가지 단백질 타겟: sEH, BRD4, HSA) 을 활용하여 다음과 같은 체계적인 평가를 수행했습니다.

A. 데이터 분할 및 평가 기준

• 분포 정의: 테스트 세트를 다음과 같이 분류하여 일반화 능력을 평가했습니다.
  • In-Distribution (ID): 훈련 세트와 동일한 빌딩 블록 (BB) 과 트리아진 (triazine) 골격.
  • Near-Distribution (ND): 훈련 세트와 다른 골격이지만 동일한 BB 사용.
  • Out-of-Distribution (OOD): 훈련 세트와 완전히 다른 BB 와 골격 (예: 트리아진 없는 분자).
• 성능 지표: 평균 정밀도 (mAP), AUROC, Enrichment Factor (EF) 등을 사용했습니다.

B. 비교 대상 방법론

1. 리간드 기반 ML 모델: 다양한 분자 인코딩 (ECFP4, MACCS, APDP 등) 과 아키텍처 (MLP, GCN, Transformer 등) 를 비교. 특히 빌딩 블록의 순열 불변성 (Permutation Invariance) 을 고려한 모델 설계.
2. 물리 기반 구조 모델링:
   • 도킹 (Docking): Schrödinger Glide, Rosetta GALigandDock.
   • 코-폴딩 (Co-folding): Boltz-2 (생성형 모델).
   • 주의: DNA 태그를 PEG3 링커로 대체하여 스테릭 장애를 방지하고, DiffDock-L 을 사용하여 sEH 의 결합 부위를 예측했습니다.
3. 하이브리드 접근법: 구조 모델링에서 추출한 물리 기반 특징 (PLIP 지문) 을 ML 모델의 입력으로 결합하여 성능 향상 여부 검증.

C. 오픈소스 도구 개발

• 분석, 모델링, 결과 시각화를 위한 오픈소스 파이썬 패키지 DEL-iver 를 개발 및 공개했습니다.

3. 주요 결과 (Key Results)

A. ML 모델의 일반화 한계

• OOD 성능 부재: 모든 ML 모델은 ID 데이터에서는 높은 성능을 보였으나 (예: sEH ID AUROC 0.997), OOD 데이터에서는 거의 무작위 수준으로 떨어졌습니다 (예: sEH OOD AUROC 0.501).
• 데이터 구성의 영향:
  • 비하트 (Non-hit) 데이터를 99% 까지 제거해도 (훈련 데이터 1 억 개 → 100 만 개) 성능 저하가 발생하지 않아, 데이터의 '양'보다 '구성'과 '품질'이 중요함을 시사했습니다.
  • 무작위 분할 (Random Split) 을 통해 OOD 분자를 훈련에 포함시켰을 때, BRD4 타겟에서는 성능이 크게 향상되었으나, sEH 와 HSA 타겟에서는 오히려 성능이 저하되었습니다. 이는 타겟과 데이터 분포에 따라 최적의 전략이 다름을 보여줍니다.

B. 구조 기반 방법의 우위와 타겟 의존성

• OOD 예측 능력: 순수 리간드 기반 ML 모델보다 구조 기반 방법 (도킹, 코-폴딩) 이 OOD 데이터에서 더 나은 성능을 보였습니다.
• 타겟별 최적 방법:
  • BRD4: Boltz-2 (코-폴딩) 가 가장 우수한 성능 (AUROC 0.947) 을 보였습니다.
  • sEH: Rosetta GALigandDock이 가장 우수했습니다 (AUROC 0.915).
  • HSA: 모든 방법이 OOD 에서 낮은 성능을 보였습니다.
• 결론: "하나의 만능 방법"은 존재하지 않으며, 타겟과 리간드 화학 공간에 따라 최적의 접근법이 달라집니다.

C. 물리 기반 특징 통합의 한계

• 도킹 결과에서 추출한 PLIP (단백질 - 리간드 상호작용) 지문을 ML 모델에 추가한 결과, 성능 향상이 일관되지 않았습니다.
• 특정 방법 (예: Boltz-2) 이 높은 결합 확률을 예측하더라도, 그로부터 추출된 PLIP 특징이 ML 모델의 성능을 높이지는 않았습니다. 이는 도킹 포즈의 정확도가 ML 특징 추출의 핵심 병목 현상임을 시사합니다.

4. 주요 기여 및 의의 (Contributions & Significance)

1. 현실적인 벤치마킹: DEL 데이터를 이용한 ML 모델의 일반화 한계를 명확히 규명했습니다. 현재 기술로는 OOD 화학 공간으로의 예측은 여전히 매우 어렵다는 사실을 재확인했습니다.
2. 하이브리드 전략의 제안: 단일 방법론 (ML 또는 도킹) 에 의존하기보다, 타겟과 화합물 클래스에 따라 최적의 방법 (ML vs. 물리 기반) 을 선택하거나 조합해야 함을 강조했습니다.
3. 실용적 가이드라인:
   • DEL 데이터의 불균형 문제 해결을 위해 비하트 데이터의 대량 제거가 가능함을 입증했습니다.
   • 대규모 예측 캠페인을 시작하기 전에 엄격한 파일럿 테스트 (Pilot Testing) 를 통해 각 방법론의 적용 범위를 정의해야 함을 강조했습니다.
4. 오픈소스 생태계 구축: 연구에 사용된 워크플로우, 분석 도구, 모델 코드를 DEL-iver 패키지로 공개하여 재현성과 향후 연구를 촉진했습니다.

5. 결론

이 논문은 DEL 기반 가상 스크리닝에서 기계 학습과 물리 기반 방법의 역할을 재평가했습니다. ML 은 훈련 분포 내 (In-Distribution) 에서 탁월하지만, 새로운 화학 공간 (OOD) 으로 확장하는 데는 한계가 있습니다. 반면, 구조 기반 방법은 OOD 에서 더 나은 성능을 보일 수 있으나 타겟에 의존적입니다. 따라서 신뢰할 수 있는 가상 스크리닝을 위해서는 특정 타겟과 화합물 유형에 맞는 엄격한 파일럿 테스트와 유연한 방법론 선택이 필수적이며, 이를 지원하기 위해 DEL-iver 같은 통합 도구의 활용이 권장됩니다.