Local structure-activity landscape roughness detects the activity-cliff failure mode that standard QSAR reliability methods miss

기술 요약: QSAR 신뢰성을 위한 국소 구조-활성 지형 거칠기(Local Structure–Activity Landscape Roughness)

문제 정의
정량적 구조-활성 관계(QSAR) 모델과 딥러닝 접근 방식은 근본적으로 구조적으로 유사한 분자가 유사한 성질을 가진다는 '분자 유사성 원리'에 의존한다. 그러나 '활성 절벽(activity cliffs)'—구조적으로는 매우 유사하지만 활성 차이는 큰 분자 쌍—은 이 가정이 실패하는 원칙적인 예외 사례를 나타낸다. 최근의 벤치마크(예: MoleculeACE)는 머신러닝 모델이 활성 절벽이 존재하는 화합물에서 다른 화합물들에 비해 성능이 현저히 떨어진다는 점을 확인해 준다.

핵심적인 문제는 표준적인 화합물별 신뢰성 추정치들이 이러한 특정 실패 모드를 감지하지 못한다는 점이다. 랜덤 포레스트 앙상블 분산, 거리 기반 적용 영역(AD) 분석, Sheridan의 3가지 척도 오차 모델, 그리고 신뢰도-밀도-이웃(RDN) 방법 등을 포함한 기존 도구들은 모두 훈련 데이터와의 '근접성(proximity)' 개념을 중심으로 구성되어 있다. 활성 절벽은 밀도가 높고 샘플링이 잘 된 인접 유사체들 사이에서 발생하기 때문에, 근접성 기반 방법들은 절벽 화합물에 대해 높은 신뢰도를 보고함으로써 사실상 실패를 놓치게 된다.

방법론
본 연구는 새로운 지표인 **국소 구조-활성 지형 거칠기(local structure–activity landscape roughness)**를 기준으로 표준 신뢰성 추정치들을 벤치마킹한다.

• 데이터: 분석은 MoleculeACE 벤치마크(30개 거대 분자 표적, 약 48.7K 개의 측정값)와 외부 물리화학적 벤치마크(ESOL 용해도 및 친유성)를 대상으로 수행되었다.
• 모델: 기본 분석에는 랜덤 포레스트(트리 200개)를 사용하였으며, 일반성 검증을 위해 그래디언트 부스팅 트리(Gradient Boosted Trees), 서포트 벡터 회귀(SVR, RBF 커널), 그래프 동형 네트워크(GIN)를 사용하였다.
• 기술자(Descriptors):
  • 표준 베이스라인: 앙상블 분산, 거리 기반 AD (최근접 이웃과의 타니모토 유사도 1 - 유사도), Sheridan의 오차 모델, 그리고 RDN의 회귀 변형 모델.
  • 제안된 지표 (국소 거칠기): 쿼리(query) 화합물 자신의 활성($y_i$)을 사용하지 않고, 해당 화합물의 최근 훈련 이웃($N_k$)으로부터 계산되는 일련의 함수들. 주요 기술자는 다음과 같다:
    • 이웃 활성 분산 ($D$): 이웃들 간의 활성 표준 편차.
    3. 쌍별 SALI 밀도 ($S_{mean}$): 이웃 쌍들에 대한 $|y_a - y_b| / \max(1-s_{ab}, \epsilon)$의 평균값.
    • 지형 기술자: 쿼리 자신의 활성을 사용하는 디리클레 에너지(Dirichlet energy)나 리프시츠 상수(Lipschitz constants)와 같은 변형 모델 (이들은 배포 가능한 신호가 아닌 이론적 경계값으로 사용됨).
• 평가: 성능은 고오차 화합물을 순위화하고 라벨링된 활성 절벽을 식별하는 능력에 대한 ROC-AUC로 측정되었다. 통계적 유의성은 스피어먼 상관계수, 부분 상관계수(AD 제어), 그리고 선형 혼합 효과 모델을 통해 평가되었다.

주요 결과

1. 활성 절벽 탐지: 표준 신뢰성 방법들은 활성 절벽을 식별할 때 우연(chance) 수준이거나 그보다 못한 성능을 보였다. 예를 들어, 거리 기반 AD는 ROC-AUC 0.35(역전된 값)를 기록했고, 앙상블 분산은 0.51(우연 수준)을 기록했다. 반면, 국소 거칠기는 절벽을 식별하는 데 있어 0.69의 중앙 ROC-AUC를 달적했다.
2. 독립적인 신뢰성 축: 국소 거칠기는 적용 영역(AD)과 통계적으로 구별된다. 부분 상관계수 및 혼합 효과 모델을 통해 최근접 이웃 유사성과 국소 밀도를 제어한 후에도, 거칠기는 여전히 유의미한 오차 예측 인자로 남았다 (제어 후 이웃 분산 상관관계 $\rho \approx 0.23$). 이는 거칠기가 근접성 기반 지표가 놓치는 실패 모드(밀집 지역에서의 절벽)를 포착함을 입증한다.
3. 일반화 가능성: 거칠기와 오차 사이의 관계는 다양한 모델 클래스(Random Forest, Gradient Boosting, SVR)와 다양한 분자 표현식(ECFP4, ECFP6, 물리화학적 기술자) 전반에 걸쳐 유지되었다. 또한 이 신호는 외부 물리화학적 벤치마크(용해도 및 친유성)에서도 재현되었다.
4. 운영적 분류(Operational Triage): 앙상블 분산은 일반적인 고오차 예측을 찾아내는 데 가장 강력한 단일 지표(상위 4분위 오차의 38% 복구)이지만, 절벽을 식별하는 데는 실패한다. 거칠기는 절벽을 식별하는 데 있어 우월한 지표로, 상위 20%의 플래그된 화합물 중 라벨링된 절벽을 33% 복구한 반면, 분산은 우연 수준(1.0배 농축)에 그쳤다.
5. 컨포멀 예측(Conformal Prediction) 보정: 국소 거칠기에 따라 컨포멀 예측을 조건화하면 활성 절벽에서도 유효한 커버리지를 복원할 수 있다. 분산이나 AD에 기반하여 조건화하는 표준 방식은 절벽에서의 커버리지가 명목 목표치보다 낮게 나타난다 (예: 목표 90% 대비 86%). 거칠기 계층화 몬드리안(Mondrian) 예측기는 거칠기 범위 전체에서 평탄한 커버리지를 유지하며 절벽 커버리지를 **89.5%**까지 끌어올렸다.

의의 및 주장
본 논문은 국소 지형 거칠기가 훈련 데이터로부터의 거리와는 구별되는 보완적인 화합물별 신뢰성 축을 제공한다고 주장한다. 본 연구의 주된 기여는 불확실성 정량화(UQ)를 대체하는 것이 아니라, 표준 방법들이 체계적으로 놓치는 "절벽 실패 모드"에 대한 특정한 민감도를 추가하는 것이다.

훈련 이웃만을 기반으로 구조-활성 지형이 얼마나 "거친지"(급격히 변하는지)를 식별함으로써, 이 방법은 **절벽 인식 컨포멀 예측기(cliff-aware conformal predictors)**를 구축할 수 있게 한다. 이를 통해 예측 구간은 QSAR 모델이 가장 실패하기 쉽고, 동시에 가장 확신에 차서 틀리는 지점에서도 유효한 범위를 유지하게 된다. 저자들은 이 접근 방식이 실용적이고 재현 가능하며, 쿼리 화합물의 실험 데이터 없이도 배포 가능하다는 점을 강조하며, 이는 신뢰할 수 있는 계산 약물 발견 도구의 핵심적인 공백을 메워준다.