PoseBusters: AI-based docking methods fail to generate physically valid poses or generalise to novel sequences

이 논문은 현재의 딥러닝 기반 단백질-리간드 도킹 방법들이 필수적인 물리적 원리를 더 잘 반영하는 전통적인 도킹 도구들에 비해 성능이 떨어지며, 물리적으로 타당한 구조를 생성하거나 새로운 서열로 일반화하는 데 종종 실패한다는 점을 입증하는 검증 도구인 PoseBusters를 소개한다.

핵심

당신이 매우 구체적이고 복잡한 자물쇠에 딱 맞는 완벽한 열쇠를 찾으려 한다고 상상해 보십시오. 신약 개발의 세계에서 이 '자물쇠'는 우리 몸속의 단백질이며, '열쇠'는 잠재적인 약물(분자)입니다. 이 열쇠가 자물쇠에 정확히 어떻게 끼워지는지 알아내는 과정을 **도킹(docking)**이라고 합니다.

수년 동안 과학자들은 이를 위해 전통적인 규칙 기반 컴퓨터 프로그램을 사용해 왔습니다. 최근에는 "AI"(딥러닝) 프로그램이라는 새로운 물결이 등장하여, 이 작업을 더 빠르고 더 잘 수행할 수 있다고 약속하고 있습니다. 이 AI 모델들은 마치 수백만 개의 열쇠와 자물쇠 사례를 암기한 똑똑한 학생들과 같습니다.

하지만 **포즈버스터즈(PoseBusters)**라는 새로운 연구는 이 AI 학생들이 열쇠의 모양을 외우는 데는 매우 뛰어나지만, 그 열쇠가 실제로 어떻게 작동하는지에 대한 물리학을 이해하는 데는 형편없다는 점을 시사합니다.

다음은 이 논문이 발견한 내용을 간단히 정리한 것입니다.

1. "RMSD"의 함정: 서류상으로는 완벽함

과학자들은 보통 RMSD를 측정하여 도킹 프로그램이 얼마나 잘 작동하는지 판단합니다. RMSD를 자로 생각하십시오. 만약 AI가 예측한 열쇠의 위치가 실제 사진(결정 구조) 속의 위치와 2밀리미터(옹스트롬) 이내라면, AI는 합격 점수를 받습니다.

이 논문은 많은 AI 프로그램이 이 자 측정 테스트에서 높은 점수를 받는다는 것을 발견했습니다. 그들은 "보십시오! 우리는 90% 정확합니다!"라고 말합니다.

2. 현실 점검: "불가능한" 열쇠

문제는 이 AI 프로그램들이 자 측정치에 너무 집중한 나머지, 때때로 물리적으로 불가능한 열쇠를 만들어낸다는 점입니다.

AI가 다음과 같은 열쇠를 예측한다고 가정해 봅시다:

• 결합(원자 사이의 연결)이 너무 가늘게 늘어나서 마른 나뭇가지처럼 툭 끊어져 버릴 것 같은 상태.
• 고리 모양이 평평한 팬케이크 같아야 하는데, 마치 프레첼처럼 뒤틀려 있는 상태.
• 두 대의 자동차가 동시에 같은 문을 통과하려고 할 때처럼, 열쇠의 두 부분이 서로 충돌하고 있는 상태.

논문은 이를 **"물리적으로 타당하지 않다(physically implausible)"**고 부릅니다. 이는 마치 AI가 멀리서 보면 그럴싸해 보이지만, 실제로 만들려고 하면 무너지거나 부서져 버릴 열쇠 그림을 그린 것과 같습니다.

3. 포즈버스터즈(PoseBosters)의 등장: 검사관

이런 잘못된 예측을 잡아내기 위해 저자들은 포즈버스터즈라는 도구를 만들었습니다. 포즈버스터즈를 엄격한 건축 검사관이나 품질 관리 매니저라고 생각하십시오.

단순히 자(RMSD)로 측정하는 대신, 포즈버스터즈는 모든 예측에 대해 "물리 법칙"을 확인합니다:

• 화학적 타당성: 분자가 화학적으로 말이 되는가? (예: 전하가 올바른가? 원자들이 제대로 연결되어 있는가?)
• 기하학적 구조: 고리가 평평한가? 결합 길이는 적절한가?
• 충돌: 열쇠가 자물쇠나 기계의 다른 부품과 충돌했는가?

만약 어떤 예측이 이 검사들을 통과하지 못하면, 자 측정 결과가 아무리 좋아도 "유효하지 않음"으로 표시됩니다.

4. 대반전: 구식 vs 신식

연구진은 다섯 가지의 새로운 AI 도킹 방식과 두 가지의 기존 전통 방식(AutoDock Vina 및 Gold)을 테스트했습니다.

• 익숙한 자물쇠 (훈련 데이터): AI가 훈련 과정에서 이미 보았던 자물쇠에 대해 테스트했을 때, AI는 자 측정 테스트에서 놀라운 모습을 보였습니다. 한 AI(DiffDock)는 기존 방식보다 더 뛰어난 것처럼 보였습니다.
• "물리" 필터: 하지만 포즈버스터즈가 물리를 체크하자, AI의 성능이 급격히 떨어졌습니다. 많은 "완벽한" 예측들이 사실은 불가능한 구조였습니다. 기존의 전통적인 방식들은 비록 조금 더 느릴지라도, 정확하면서도 동시에 물리적으로 가능한 열쇠를 만들어냈습니다.
• 새롭고 알려지지 않은 자물쇠 (벤치마크 세트): 연구진이 AI가 한 번도 본 적 없는 완전히 새로운 자물쇠를 테스트했을 때, AI는 심하게 고전했습니다. 일반화 능력이 부족했던 것입니다. 패턴 암기가 아닌 물리 법칙에 의존하는 기존 방식들이 이러한 새로운 자물쇠를 훨씬 더 잘 다루었습니다.

5. "수정"만으로는 해결되지 않는다

저자들은 예측 후에 물리 엔진(포스 필드라고 불리는)을 사용하여 이상한 모양을 매끄럽게 다듬는 "폴리싱(polishing)" 단계를 추가하여 AI를 돕고자 했습니다.

• 결과: 이것은 AI가 깨진 열쇠를 고치는 데 도움이 되었지만, AI를 기존의 전통적인 방식보다 더 낫게 만들지는 못했습니다. 기존 방식은 이미 탄탄한 기초에서 시작한 반면, AI는 부서진 기초를 수리해야 했기 때문입니다.

결론

이 논문은 AI 기반 도킹 방식이 아직 전통적인 도구를 대체할 준비가 되지 않았다고 결론짓습니다.

AI는 빠르고 위치를 잘 추측할 수 있지만, 종종 화학과 물리의 기본 법칙을 무시합니다. 진정한 "최첨단(state-of-the-art)" 방식이 되려면 두 가지 테스트를 통과해야 합니다:

1. 자 테스트: 제 위치에 있는가?
2. 물리 테스트: 그것이 실제 제작 가능한 물체인가?

현재로서는 전통적인 방식이 이 두 가지를 모두 통과합니다. AI 방식은 첫 번째는 통과하지만, 두 번째에서는 자주 실패합니다. 저자들은 개발자들이 물리 법칙을 더 잘 이해하도록 이 "포즈버스터즈" 도구를 사용하여 AI 모델을 개선함으로써, 향가 더욱 정확한 약물 예측을 실현하기를 희망하고 있습니다.

기술 요약

문제점
최근 몇 년 동안 구조 기반 신약 개발을 위한 속도와 정확도의 획기적인 향상을 약속하는 수많은 딥러닝(DL) 기반 단백질-리간드 도킹 방법들이 등장했습니다. 그러나 결정 구조 대비 예측된 결합 모드의 루트 평균 제곱 편차(RMSD)를 기준으로 최첨단 성능을 보고하는 이러한 방법들에는 중대한 결함이 있음이 확인되었습니다. 즉, 이 방법들은 종종 물리적으로 불가능한 분자 구조를 생성합니다. 이러한 구조는 잘못된 결합 길이, 왜곡된 방향족 고리, 또는 리간드와 단백질 사이의 심각한 입체적 충돌(steric clashes)과 같은 기본적인 화학적 규칙을 위반할 수 있습니다. 결과적으로, 도킹 방법의 평가를 단순히 RMSD에만 의존하는 것은 불충분하며, 특히 화학적 일관성과 물리적 실재성을 보장하기 위한 "귀납적 편향(inductive biases)"이 결여될 수 있는 딥러닝 기반 접근 방식의 경우 더욱 그러합니다.

방법론
이러한 격차를 해결하기 위해, 저자들은 RDKit 화학 정보학 툴킷을 활용하여 도킹 예측에 대한 종합적인 품질 검사를 수행하는 파이썬 패키지인 PoseBusters를 소개합니다. 이 테스트 스위트는 세 가지 범주의 속성을 검증합니다:

1. 화학적 유효성 및 일관성: RDKit 새니티제이션(sanitization), 분자식 보존, 결합 연결성, 사면체 카이랄성, 그리고 입력 리간드 대비 이중 결합 입체 화학 검사가 포함됩니다.
2. 분자 내 유효성: 이 그룹은 결합 길이 및 각도(거리 기하학 경계의 25% 이내), 방향족 고리 및 이중 결합의 평면성(0.25 Å 이내), 내부 입체 충돌, 그리고 형태 에너지 비율(Universal Force Field 사용)을 포함하여 리간드 자체의 물리적 타당성을 평가합니다.
3. 분자 간 유효성: 이 그룹은 반데르발스 반경(0.75 임계값 적용)을 기반으로 한 단백질-리간드 및 리간드-보조 인자 간의 충돌과 부피 중첩(교차 영역을 7.5% 미만으로 제한)을 확인하여 리간드와 주변 환경 사이의 상호작용을 평가합니다.

저자들은 7가지 도킹 방법을 평가하기 위해 PoseBusters를 적용했습니다: 5가지 딥러学习 기반 접근법(DeepDock, DiffDock, EquiBind, TankBind, Uni-Mol)과 2가지 확립된 고전적 방법(AutoDock Vina, CCDC Gold)입니다. 평가는 두 가지 데이터셋에서 수행되었습니다:

• Astex Diverse Set: 85개의 복합체를 포함하는 표준 벤치마크로, 상당수가 딥러닝 방법들의 학습 데이터와 중복됩니다.
• PoseBusters Benchmark Set: 2021년 이후에 발표된 고품질 복합체 308개를 포함하는 새롭고 엄격한 테스트 세트로, 테스트된 딥러닝 방법들의 학습 데이터(PDBbind General Set v2020)와 중복되지 않음을 보장합니다. 이 세트는 새로운 서열과 구조에 대한 일반화 능력을 평가하는 데 사용되었습니다.

또한, 저자들은 딥러닝 예측에 대해 분자 역학 힘의 장(AMBER ff14sb 및 Sage)을 이용한 포스트 도킹 에너지 최소화(post-docking energy minimization)를 수행하여, 물리적 타당성을 고전적 정밀화(refinement)를 통해 회복할 수 있는지 확인했습니다.

주요 기여

• PoseBusters 테스트 스위트: 단순한 RMSD 지표를 넘어, 화학적으로 일관되지 않거나 물리적으로 불가능한 리간드 포즈를 체계적으로 식별하는 오픈 소스 도구의 개발.
• 엄격한 벤치마킹: 현재의 딥러닝 기반 도킹 방법들이 물리적 타당성이 고려될 때 낮은 RMSD 점수를 달성하더라도, 새로운 서열에 대해 일반화하는 데 실패하며 유효하지 않은 구조를 생성한다는 것을 보여주는 비교 분석.
• 누락된 물리학의 식별: 딥러닝 방법들이 화학적 기하 구조 및 입체적 제약에 관한 특정 귀납적 편향이 부족하다는 증거 제시 (이는 고전적 힘의 장에는 자연스럽게 인코딩되어 있음).

결과

• Astex Diverse Set 성능: RMSD 기준으로는 DiffDock이 우수해 보였으나(예측의 72%가 2 Å 이내), 물리적 타당성을 고려했을 때 성능이 크게 하락했습니다(47% PB-valid). 물리적 타당성과 RMSD가 모두 요구될 경우, 고전적 방법(Gold 및 AutoDock Vina)이 모든 딥러닝 방법보다 뛰어난 성능을 보였습니다.
• PoseBusters Benchmark Set 성능: 보지 못한 데이터에 대해서는 그 격차가 더 벌어졌습니다. Gold와 AutoDock Vina가 최상위 성능을 유지했습니다. 가장 우수한 딥러닝 방법인 DiffDock은 12%의 PB-validity만을 달성했으며, 다른 딥러닝 방법들(Equi-Bind, Uni-Mol, TankBind)은 물리적으로 유효한 포즈를 거의 생성하지 못했습니다.
• 일반화 및 과적합: 딥러닝 방법들은 학습 세트와 서열 동일성이 낮은(<30%) 단백질에서 훨씬 더 낮은 성능을 보였으며, 이는 학습 대상에 대한 심각한 과적합을 시사합니다.
• 에너지 최소화의 영향: 포스트 도킹 에너지 최소화를 적용하면 딥러닝 예측의 물리적 타당성이 유의미하게 개선되었습니다(유효한 포즈의 수 증가). 이는 힘의 장이 현재의 딥러닝 모델에서 누락된 도킹 관련 물리학을 포함하고 있음을 나타냅니다. 그러나 이러한 정밀화 후에도 딥러닝 방법들은 고전적 도구를 능가하지 못했습니다.
• 특정 실패 모드: 본 연구는 각 딥러닝 방법의 뚜렷한 실패 패턴을 식별했습니다. 예를 들어 TankBind는 입체 화학을 간과하고, Uni-Mol은 비표준 결합 길이를 예측하며, EquiBind는 단백질-리간드 충돌을 생성합니다.

의의
본 논문은 도킹 방법을 오직 RMSD로만 평가하는 현재의 표준이 부적절하며 오해의 소지가 있다고 주장합니다. 저자들은 어떤 방법이 "최첨단(state-of-the-art)"으로 간주되기 위해서는, 천연 상태와 유사한 결합 모드를 예측할 뿐만 아니라 화학적으로 일관되고 물리적으로 타당한 구조를 생성해야 한다고 상정합니다. 저자들은 PoseBusters가 딥러닝 모델에서 누락된 귀납적 편향을 식별하기 위한 필수적인 프레임워크를 제공한다고 주장합니다. 현재의 딥러닝 방법들이 물리적 실재성을 고려할 때 아직 고전적 도킹 도구보다 뛰어나지 않다는 점을 강조함으로써, 이 연구는 딥러닝의 속도와 고전적 힘의 장의 물리적 엄격함을 통합하는 더 정확하고 현실적인 예측 방법의 개발을 촉진하는 것을 목표로 합니다.