🧬 biology

A z-averaged ensemble of three orthogonal models improves protein–ligand virtual screening on leakage-controlled benchmarks

본 논문은 세 개의 표현론적 직교성을 가진 딥러닝 모델을 z-평균 앙상블로 결합하는 것이 누출 제어 벤치마크에서 진정한 분포 외 일반화(out-of-distribution generalization)를 달성함으로써 단일 모델 방식의 한계를 극복하고 단백질-리간드 가상 스크리닝 성능을 유의미하게 향상시킨다는 것을 입증한다.

원저자: Yuguang Mu, Yang Liu, weifeng li

게시일 2026-07-06

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yuguang Mu, Yang Liu, weifeng li

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ⚕️ 이것은 동료 심사를 거치지 않은 프리프린트의 AI 생성 설명입니다. 의학적 조언이 아닙니다. 이 내용을 바탕으로 건강 관련 결정을 내리지 마세요. 전체 면책 조항 읽기

큰 문제: "커닝 페이퍼"의 함정

당신이 특정 바이러스에 어떤 약물이 효과가 있을지 예측하는 어려운 시험을 치르고 있다고 상상해 보세요. 수년 동안 컴퓨터 모델들은 스스로를 천재라고 주장하며, 연습 시험(벤치마크)에서 90% 이상의 높은 점수를 기록해 왔습니다.

하지만 연구자들은 이 모델들이 커닝을 하고 있었다는 사실을 발견했습니다. 이 연습 시험들은 "상동성 누출(homology leakage)"을 포함하고 있었습니다. 이는 마치 학생에게 교과서에 나온 내용과 거의 똑같은 질문들로 구성된 연습 시험을 주는 것과 같습니다. 모델들은 실제로 새로운 약물을 찾는 법을 배우고 있었던 것이 아니라, 이미 훈련 과정에서 보았던 단백질들의 패턴을 단순히 암기하고 있었던 것입니다.

과학자들이 "누출이 통제된(leakage-controlled)" 테스트—즉, 모델의 훈련 데이터에 친척 관계인 단백질이 전혀 없는 완전히 새로운 바이러스를 대상으로 한 테스트—를 만들었을 때, 모델들의 점수는 폭락했습니다. 점수는 90%에서 약 70~75%로 떨어졌습니다. 결국, 하나의 초강력한 모델을 만드는 방식은 더 이상 효과가 없다는 것이 드러났습니다.

해결책: "세 머리 달린 괴물"

저자들은 하나의 완벽하고 초지능적인 모델을 만들려고 노력하는 대신, 다른 접근 방식을 시도했습니다. 바로 팀워크입니다.

그들은 서로 매우 다르게 구축된 세 가지 기존 모델을 가져와 결합했습니다. 이것은 미스터리를 풀기 위해 세 명의 서로 다른 탐정을 고용하는 것과 같습니다:

탐정 A (BIND-z): 단백질의 유전 코드(서열)만을 봅니다.
탐정 B (SaProt-v2): 유전 코드를 보면서 동시에 단백질이 접히는 3D 형태(folding)에도 주목합니다.
탐정 C (DrugCLIP): 코드를 전혀 보지 않습니다. 대신 단백질 포켓의 3D 물리적 구조를 보고 그것을 약물의 모양과 비교합니다.

결합 방법: "Z-점수" 평균

그들이 사용하는 언어가 다르기 때문에 단순히 점수를 더할 수는 없습니다. 탐정 A는 100점을 줄 수 있지만, 탐정 C는 0.5점을 줄 수도 있습니다.

저자들은 **z-점수 평균화(z-score averaging)**라는 영리한 기술을 사용했습니다.

비유: 세 명의 심사위원이 있는 오디션 프로그램을 상상해 보세요. 심사위원 1은 엄격해서 1점에서 5점 사이의 점수를 줍니다. 심사위원 2는 관대해서 80점에서 100점 사이의 점수를 줍니다. 심사위원 3은 독특해서 -10점에서 +10점 사이의 점수를 줍니다.
만약 단순히 숫자들을 더한다면, 심사위원 2의 의견이 전체를 지배하게 됩니다.
대신, 저자들은 "이 참가자가 이 특정 심사위원의 기준에서 평균보다 얼마나 더 나은가?"라고 물었습니다.
그들은 모든 점수를 "상대적 순위"(z-점수)로 변환한 다음 그 평균을 냈습니다. 이를 통해 각 탐정이 어떤 점수 스타일을 가졌든 상관없이 모든 탐정이 동등한 목소리를 낼 수 있게 했습니다.

결과: 왜 하나보다 셋이 더 나은가

이 "세 명의 탐정 팀"을 (누출이 통제된) 어려운 새로운 바이러스들에 테스트했을 때, 그들은 놀라운 사실을 발견했습니다.

그들은 크게 일치하지 않았습니다: 세 모델은 동일한 약물에 대해 종종 서로 다른 답을 내놓았습니다. 그들의 의견은 "직교(orthogonal)"했습니다(독립적이었습니다). 한 모델이 혼란스러워할 때, 다른 모델들은 옳은 경우가 많았습니다.
팀이 승리했습니다: 이들의 독립적인 의견을 평균 낸 결과, 정확도가 통계적으로 유의미한 수준으로 향상되었습니다 (0.817에서 0.834로).
"누출" 격차가 줄어들었습니다: 이 팀은 이전에 유사한 바이러스를 본 경험에 덜 의존했습니다. 세 번째 탐정(DrugCLIP)을 추가함으로써, 팀 전체가 암기를 통한 "커닝"에 더 강한 내성을 갖게 되었습니다.

핵심 요약

이 논문은 다양성이 원초적인 힘보다 더 중요하다고 주장합니다.

과거의 방식: 하나의 거대하고 초능력을 가진 모델을 만들려고 노력함. (이 방식은 정체기에 접어들었습니다.)
새로운 방식: 문제를 완전히 다른 각도에서 바라보는 세 가지 서로 다른 중간 능력의 모델을 가져와 투표하게 함.

모델들이 저지르는 실수의 종류가 다르기 때문에, 평균을 내면 오류가 상쇄됩니다. 논문은 진정으로 새로운 타겟에 대한 신약을 찾는 데 있어서는, 단순히 모델을 더 크게 만들거나 더 똑똑하게 만드는 것이 아니라, **모델 간의 직교성(inter-model orthogonality, 서로 다른 관점을 갖는 것)**이 비결이라고 결론짓습니다.

저자들이 주장하지 않은 것

이 기술이 질병을 치료하거나 아직 병원에서 사용될 수 있다고 주장하지 않았습니다.
이 기술이 모든 벤치마크에서 작동한다고 주장하지 않았습니다 (실제로 LIT-PCBA라는 특정 데이터셋에서는 어려움을 겪었습니다).
네 번째 모델을 추가하면 반드시 도움이 될 것이라고 주장하지 않았습니다. 첫 번째 두 모델과 비슷하게 생각하는 네 번째 모델을 추가하는 것은 무용지물이라는 점을 시사했습니다. 새로운 이득을 얻으려면 새로운 관점이 필요합니다.

기술 요약: 단백질-리간드 가상 스크리닝을 위한 세 가지 직교 모델의 z-평균 앙상블

문제 정의
단백질-리간드 가상 스크리닝(VS)을 위한 딥러닝 모델들은 DUD-E와 같은 표준 벤치마크에서 높은 성능(AUROC > 0.90)을 보고해 왔다. 그러나 저자들은 이러한 지표가 두 가지 주요 실패 모드로 인해 부풀려졌다고 주장한다:

훈련-테스트 서열 상동성 누출(Training-Test Sequence Homology Leakage): 대부분의 벤치마크 단백질은 BindingDB 또는 PDBBind로 훈련된 모델의 훈련 세트에 거의 동일한 상동체를 포함하고 있다. 사전 훈련된 단백질 언어 모델 임베딩은 이러한 경우 일반화를 용이하게 만들어, 모델이 진정한 결합 물리 법칙이 아닌 상동성에 의존하게 만든다.
디코이 편향(Decoy Bias): DUD-E와 같은 벤치마크는 활성 화합물과 디코이가 물리화학적 기술자(예: 회전 가능한 결합 수, 극성 표면적) 측면에서 서로 다른 구조적 비대칭성을 포함하고 있어, 모델이 단백질에 대한 조건 없이도 분류할 수 있게 한다.

누출이 제어된 타겟(훈련-테스트 상동성이 엄격히 필터링된 경우, 예: 동일성 <30%)에서 평가했을 때, 단일 모델의 성능은 0.70–0.75 AUROC 범위에서 정체된다. 최근의 구조적 개선(미세 조정, 포켓 인식 레이어, 대조 학습 등)은 진정으로 새로운 타겟에 대해 이 간극을 좁히는 데 실패했다.

방법론
저자들은 더 복잡한 단일 모델을 구축하는 대신, 사후적(post-hoc)이고 모델 불가지론적인(model-agnostic) 앙상블 전략을 제안한다. 이 접근 방식은 독립적으로 훈련된 세 가지 표현적 직교성을 가진 스코어링 모델을 결합하는 것이다:

BIND-z: 결합력(affinity)을 위해 Huber 손실 함수를 사용하는 cross-attention 및 고정된 ESM-2 인코더를 사용하며, 상동성이 필터링된 BindingDB 하위 집합으로 훈련된 서열 전용 모델.
SaProt-v2: 대조적 InfoNCE 손실과 attention-pool 헤드를 사용하여 훈련된 구조 인식 서열 인코더 (AA+3Di 토큰을 사용하는 고정된 SaProt-650M).
DrugCLIP: 3D 포켓-원자 특징(Uni-Mol)과 2D 리간드 특징을 정렬하는 공개된 CLIP 스타일의 검색 모델.

융합 전략:
모델들은 서로 다른 척도의 점수를 생성한다. 이를 결합하기 위해 저자들은 타겟별 z-점수 정규화를 적용한 후 산술 평균을 구한다. 각 타겟 $t$ 에 대해, 모델 $m$ 의 리간드 $i$ 에 대한 원시 점수 $s_{m,t,i}$ 는 다음과 같이 정규화된다:
$z_{m,t,i} = \frac{s_{m,t,i} - \mu_{m,t}}{\sigma_{m,t}}$
여기서 $\mu$ 와 $\sigma$ 는 해당 특정 타겟에 대한 모든 리간드에 대한 모델 점수의 평균과 표준 편차이다. 앙상블 점수는 다음과 같다:

ens2: BIND-z와 SaProt-v2의 평균.
ens3: BIND-z, SaProt-v2, 그리고 DrugCLIP의 평균.

주요 기여

직교성의 식별: 저자들은 세 모델이 리간드 수준에서 약하게 상관되어 있음을 입증했다. 두 서열 기반 모델(BIND-z와 SaProt-v2) 사이의 피어슨 상관 계수는 $r \approx 0.22$ 이며, DrugCLIP은 두 서열 모델 모두와 거의 zero에 가까운 상관관계( $r \approx 0.05\text{--}0.08$ )를 보인다. 이는 DrugCLIP이 진정으로 독립적인 정보를 제공함을 시사한다.
통계적으로 유의미한 이득: 세 모델 앙상블(ens2)은 204개의 풀링된 DUD-E 및 DUD-AD 평가에 대해 0.834의 평균 AUROC를 달성하였으며, 이는 가장 우수한 두 모델 앙상블(ens2)의 0.817과 비교된다. 이는 +0.017 AUROC 이득을 나타낸다 (paired $t=3.50$ , $p=5.8 \times 10^{-4}$ ). 이 이득은 엄격한 누출-클린 하위 집합을 포함한 6개의 벤치마크에서 방향성 있게 일관되게 나타났다.
상동성 의존성 감소: 앙상블은 훈련-테스트 상동성에 대한 의존도를 줄인다. "누출 간극"(상동성이 풍부한 타겟에서 누출-클린 타겟으로 이동할 때의 성능 저하)은 ens2의 +0.091에 비해 ens3의 경우 +0.085이다. 이는 앙상블이 분포 외(out-of-distribution) 타겟에 대해 더 잘 일반화됨을 나타낸다.

결과

제로샷 성능: 주요 풀링 벤치마크( $n=204$ )에서 ens3는 ens2보다 통계적으로 매우 유의미하게 높은 성능을 보였다. 엄격한 누출-클린 하위 집합(예: DUD-E-strict, $n=7$ )에서 ens3는 0.779 AUROC에 도달하여 단일 모델보다 유의미한 개선을 보였으나, 샘플 크기로 인해 통계적 유의성은 제한적이다.
실패 모드: 앙상블은 현재의 서열/포켓 전용 모델에 저항하도록 설계된 LIT-PCBA 벤치마크(절대 AUROC ~0.608)를 해결하지 못했다.
인-디스트리뷰션 배포: 훈련 데이터에 테스트 타겟의 상동체가 포함되는 "인-디스트리뷰션" 환경에서 평가했을 때(모든 데이터를 사용하는 SaProt 타워와 BIND-full을 결-합), 앙상블은 여전히 가장 강력한 단일 구성 요소보다 +0.012 ~ +0.015 AUROC의 이득을 보여, 직교성의 이점이 제로샷 제약 조건 없이도 배포 시에도 유효함을 확인했다.
단일 모델의 한계: 저자들은 단일 모델 개선 사항(인코더 미세 조정, 포켓 재설계, 대안적 손실 함수, 포즈 인식 레이어 등)을 체계적으로 테스트했으며, 이것들이 누출-클린 타겟에서 미미하거나 오히려 부정적인 이득을 준다는 것을 발견했다. 이는 병목 현상이 모델 용량이 아니라 훈련 분포에 있음을 시사한다.

의의 및 주장
본 논문은 새로운 단백질 타겟에 대한 가상 스크리닝을 개선하는 실질적인 레버는 단일 모델의 용량이 아니라 모델 간의 직교성이라고 주장한다.

메커니즘: 이 이득은 통계적으로 거의 독립적인 오차 구조에 대한 분산 감소에서 발생한다. 유사한 아키텍처를 가진 네 번째 모델(예: 또 다른 ESM 기반 스코어러)을 추가하는 것은 오차 상관관계가 높기 때문에 수확 체감의 법칙에 따라 낮은 이득만을 가져올 가능성이 크다.
실질적 함의: 기존의 다양한 모델들을 사후적으로 융합하는 것이 단일 모델을 더 크거나 복잡하게 만드는 것보다 더 효과적이다.
벤치마킹: 저자들은 암기(memorization)와 진정한 일반화(generalization)를 구분하기 위해 표준 벤치마크와 함께 "누출-클린" 하위 집합을 정기적으로 보고할 것을 권장한다.
범위: 이 앙상블은 근접한 훈련 상동체가 없는 타겟을 위한 견고한 솔루션으로 제시되며, 상동체가 존재하고 추론 비용이 부차적인 문제인 시나리오를 위해서는 별도의 "배포 앙상블"(필터링되지 않은 훈련 데이터를 사용하는)이 권장된다.

저자들은 결론적으로, 신뢰할 수 있는 가상 스크리닝의 미래는 단일 모델 패밀리 내에서의 점진적인 아키텍처 용량 증대가 아니라, 다양하고 직교하는 신호들을 결합하는 데 있다고 본다.