기술 요약: PROTAC 활성 예측에서의 일반화 격차 분해

문제 제기

생화학 활성, 특히 PROTAC(단백질 분해 표적화 키메라) 에 대한 기계 학습 예측 모델은 상당한 "일반화 격차"를 보입니다. 무작위 분할 교차 검증 하에서 모델은 높은 AUROC 값 (0.85~0.91) 을 보고하지만, 한 표적 제외 (LOTO, leave-one-target-out) 프로토콜 하에서는 성능이 급격히 약 0.67 로 떨어집니다. 이 격차는 잘 문서화되어 있지만 이전에는 분해되지 않았습니다. 핵심 질문은 이러한 성능 붕괴가 새로운 표적에 대한 외삽의 근본적인 불가능성 (학습 실패) 을 반영하는지, 아니면 실험실 간 측정 변동성과 레이블 이질성과 같은 데이터 내의 회복 불가능한 노이즈에 의해 주도되는지 여부입니다.

방법론

저자들은 173 개 표적에 걸친 10,748 개의 분해 측정을 포함한 PROTAC-Bench라는 큐레이션 벤치마크를 도입했습니다. 이는 원시 코퍼스 크기보다 표적 내 측정 밀도와 다중 간행물 반복 구조를 우선시합니다. 본 연구는 일반화 격차를 특정 구성 요소로 귀속시키기 위해 분산 분해 프레임워크를 사용합니다:

1. 평가 프로토콜: 본 연구는 무작위 분할 교차 검증, 스캐폴드 분할, 그리고 표준 LOTO 프로토콜을 비교합니다. 또한, 다중 간행물을 가진 표적에 대해 하나의 간행물 데이터를 홀드아웃하여 실험실 간 변동을 분리하는 "표적 내 실험실 간 (within-target cross-lab)" 평가를 도입합니다.
2. 아키텍처 및 규모 불변성: 저자들은 DeepPROTACs, DegradeMaster, PROTAC-STAN 및 Morgan 지문과 같은 표준 베이스라인 (Random Forest 포함) 을 포함한 8 가지 아키텍처를 평가하고, ESM-2 의 8M 에서 3B 파라미터까지 단백질 언어 모델 (PLM) 의 규모를 확장합니다.
3. 하이퍼파라미터 최적화 (HPO): 공격적인 최적화가 성능 한계를 깨뜨릴 수 있는지 테스트하기 위해 2,000 회 시도로 21 차원 HPO 검색을 수행합니다. 결과는 선택 편향에 대한 Bailey-López de Prado 폐형식 예측과 비교하여 분석됩니다.
4. 분산 분해: 격차는 네 가지 독립적인 경계를 사용하여 삼각측량됩니다:
   • 실험실 간 측정 변동성 (실험실 간 캐스케이드를 통해).
   • 네 가지 라벨링 방식에 따른 이진화 임계값 선택.
   • 교차 DOI 충돌 제거.
   • 잔차 분포 이동.
5. 퓨샷 (Few-Shot) 보정: 본 연구는 ADMET 특성과 결합된 표적별 퓨샷 데이터 ($k=5$) 로의 재학습이 측정 노이즈로 인해 손실된 성능을 회복할 수 있는지 테스트합니다.

주요 결과

1. 보편적 성능 천장

평가된 8 가지 아키텍처와 ESM-2 PLM 규모 전반에 걸쳐 LOTO 성능은 0.668 에서 0.678 AUROC의 좁은 밴드 내에서 정체됩니다.

• PLM 확장: 더 큰 PLM(최대 30 억 파라미터) 은 LOTO 성능을 향상시키지 않습니다. 오히려 성능은 비단조적으로, 1.5 억 파라미터에서 정점 (0.691) 을 찍고 더 큰 규모에서는 후퇴합니다. 이는 더 큰 모델이 학습 가능한 분해 메커니즘을 학습하기보다는 사전 학습 중 문자 그대로 본 표적 가족을 식별하는 "우연한 분류학자"로 작용함을 시사합니다.
• HPO 후퇴: 2,000 회 HPO 시도에서 최상위 구성 (단일 시드 목표 0.764) 은 다중 시드 검증 하에서 0.603으로 후퇴하여 0.161 AUROC 의 감소를 보였습니다. 이는 선택 편향에 대한 이론적 예측 (Bailey-López de Prado) 과 일치하며, 단일 시드 HPO 가 노이즈에 과적합되었음을 나타냅니다.

2. 분산 귀속

본 연구는 무작위 분할에서 LOTO 로의 격차 (약 0.18~0.20 AUROC) 를 분해하고 실험실 간 측정 변동성을 지배적인 구성 요소로 식별합니다:

• 실험실 간 경계: 표적 내 실험실 간 캐스케이드 (무작위-CV 0.802 $\to$ 실험실 간 0.678 $\to$ LOTO 0.653) 는 실험실 간 기여도를 0.124 AUROC로 고정합니다.
• 실증적 앵커: 다른 간행물에서 측정된 동일한 화합물은 중앙값 3.7 배의 DC50 변동을 보이며, 합성 노이즈 보정 하에서 약 23% 의 동등한 레이블 플립률로 변환됩니다.
• 기타 요인: 이진화 선택은 약 0.05 AUROC 에 기여하는 반면, 기타 요인 (충돌 제거, 잔차 이동) 은 무시할 수 있습니다. 격차는 주로 학습 실패가 아닌 측정 변동성 문제입니다.

3. 퓨샷 보정을 통한 회복

"천장"이 제로샷 예측의 경우 고정되어 있지만, 본 연구는 표적별 퓨샷 재학습이 손실된 성능의 일부를 회복할 수 있음을 보여줍니다:

• Morgan 지문, ADMET 특성, 그리고 계층적 $k=5$ 재학습을 결합하면 65 개 표적 LOTO AUROC 를 0.668 에서 0.7050으로 높입니다.
• 이 접근법은 메타러닝 베이스라인 (MAML, ProtoNet) 보다 우수하며, 소수의 표적별 측정치가 사용 가능하다면 실험실 간 변동성 구성 요소를 회복할 수 있음을 시사합니다.
• 보정: 사후 Platt 스케일링은 원시 출력의 기대 보정 오차 (ECE) 를 0.150 에서 0.031 로 회복시켜 0.05 의 잘 보정된 임계값 이하로 끌어내립니다.

4. 구조적 및 기하학적 접근법

3D 구조적 특징 (EGNN, Boltz-2, AlphaFold 예측 포켓) 에 대한 평가는 2D Morgan 지문보다 최대 0.013 AUROC만 기여함을 보여줍니다. 포켓 셔플 제어 (포켓 잔기를 무작위로 순열) 는 성능을 0.013 AUROC 미만으로 저하시키며, 이는 현재 구조 예측 도구가 실험실 간 노이즈 바닥을 극복할 만큼 강력한 신호를 제공하지 못함을 나타냅니다.

중요성 및 주장

본 논문은 PROTAC 활성 예측에서 관찰되는 일반화 격차가 모델 아키텍처나 용량의 실패가 아니라, 기초 실험 데이터의 실험실 간 재현성 바닥을 반영한다고 주장합니다.

• 방법론적 기여: 이 작업은 "더 나은 모델"에서 "측정 노이즈에 대한 더 나은 평가"로 초점을 이동시키는 분산 분해 프레임워크와 벤치마크 (PROTAC-Bench) 를 제공합니다. 보유된 표적 예측의 운영상 천장은 알고리즘적 한계가 아닌 데이터 품질 (0.668~0.678 AUROC) 에 의해 현재 제한된다고 주장합니다.
• 실용적 함의: 배포를 위해 본 논문은 3 단계 프로토콜을 권장합니다: Morgan 베이스라인 (0.668), ADMET 특성으로 보강된 것 (0.687), 그리고 퓨샷 표적별 재학습으로 추가 개선된 것 (0.705). 데이터 노이즈가 정밀한 순위 매기를 불가능하게 하므로, 예측기는 정밀한 순위 매기보다는 "활성 대 비활성 풍부화"에 사용되어야 함을 강조합니다.
• 일반화 가능성: 저자들은 이 분해 방법론—학습 실패가 아닌 측정 변동성에 일반화 격차를 귀속시키는 것—이 실험실 간 또는 사이트 간 변동성이 노이즈의 주요 원인인 다른 소규모 데이터 치료 설정에 대한 템플릿으로 작용한다고 제시합니다.

저자들은 명시적으로 현재 데이터 제약 하에서 표준 화학정보학 도구를 사용하는 분야 전문가가 달성할 수 있는 예측 정확도를 본 작업의 어떤 모델도 초과하지 않으며, 주요 기여는 평가 프로토콜 및 분산 귀속에 관한 방법론적 투명성이라고 밝힙니다.