Critical Assessment of ML models for ADMET Prediction in TDC leaderboards

이 논문은 TDC ADMET 리더보드 상위 모델들의 대부분이 코드 부재, 실행 환경 불일치, 데이터 누출 및 과적합 등 심각한 재현성 문제를 안고 있음을 비판적으로 분석하고, 이를 해결하기 위해 숨겨진 테스트 세트와 엄격한 벤치마킹 프로토콜의 필요성을 강조합니다.

핵심

이 논문은 **"약물 개발을 돕는 인공지능 **(AI)에 대한 날카로운 비판과 분석입니다.

약물을 개발할 때는 약이 몸속에서 어떻게 움직이고 (흡수, 분포, 대사, 배설), 독성이 있는지 (독성) 를 미리 예측하는 것이 매우 중요합니다. 이를 ADMET이라고 부르는데, 최근에는 이 예측을 위해 머신러닝 (AI) 모델을 많이 사용합니다.

연구진은 세계적인 데이터 플랫폼인 TDC에서 "가장 성능이 좋은 AI 모델"로 선정된 22 가지 모델을 하나하나 직접 다시 시험해 보았습니다. 그 결과는 충격적이었습니다. 마치 실제 시험 문제를 미리 보고 답을 외운 학생들처럼, 많은 모델이 실제 실력보다는 '시험 문제'에 맞춰져 있을 뿐이었습니다.

이 복잡한 내용을 쉽게 이해할 수 있도록 세 가지 핵심 비유로 설명해 드리겠습니다.

---

1. "열린 시험지"의 함정: 문제와 답이 공개된 시험

지금 TDC 랭킹은 **시험 문제 **(데이터)와 **정답 **(테스트 데이터)이 모두 공개되어 있는 상태입니다.

• 비유: 수학 시험을 치는데, 문제집과 정답지가 모두 공개되어 있다고 상상해 보세요.
• 현실: 많은 AI 연구자들은 이 공개된 정답지를 보고, "아, 이 문제는 이런 식으로 풀면 점수가 잘 나오네?"라고 학습합니다.
• 결과: AI 는 진짜 수학 실력 (새로운 약을 예측하는 능력) 이 늘어난 게 아니라, 그 특정 시험 문제만 완벽하게 외운 상태가 됩니다. 이를 연구진은 "테스트 세트 과적합 (Overfitting)"이라고 부릅니다.
• 논문 발견: 연구진이 인위적으로 "정답지를 보고 답을 외우게" 만든 모델을 만들어 보았더니, 평범한 모델도 순식간에 랭킹 1 위로 올라가는 것을 확인했습니다. 즉, 랭킹 1 위가 반드시 "가장 똑똑한 AI"를 의미하지는 않는다는 뜻입니다.

2. "유령"과 "불량품": 코드가 사라진 우승자들

TDC 랭킹 상위권 모델 중 상당수는 실제로 실행조차 불가능했습니다.

• 비유: 요리 대회에서 우승한 요리를 먹어보려고 하는데, **요리 레시피 **(코드)이거나, 재료를 구할 수 없거나, 요리하는 도구가 고장 난 경우입니다.
• 현실: 논문에서 조사한 상위 모델들 중 많은 수가 코드가 열려 있지 않거나, 설치 방법을 설명해 주지 않아서 다른 사람이 따라 할 수 없었습니다.
• 결과: 22 개의 상위 모델 중 오직 3 개만 "코드가 있고, 설치도 되고, 결과가 재현 가능"한 진짜 우승자였습니다. 나머지는 "보이는 것만 화려한 유령"이었습니다.

3. "복사한 시험지": 데이터 유출 (Data Leakage)

어떤 모델은 훈련할 때, **시험에 나올 문제 **(테스트 데이터)를 실수로 (혹은 고의로) 훈련 데이터에 섞어버렸습니다.

• 비유: 시험을 보기 전에, 시험지 한 장을 미리 구해서 그 내용을 공부해 버린 것입니다.
• 현실: 연구진은 "미니몰 (MiniMol)"이라는 유명한 모델이, 훈련 데이터에서 테스트 데이터와 분자 구조가 똑같은 물질을 제거했다고 주장했지만, 실제로는 **거울에 비친 모습 **(입체 이성질체)이나 다른 이름으로 불린 같은 물질을 제거하지 못해 유출이 발생했음을 발견했습니다.
• 결과: 이 유출 때문에 모델의 점수가 실제 능력보다 훨씬 높게 나왔습니다.

---

🏆 결론: 누가 진짜 우승자인가?

연구진은 이 모든 문제를 거쳐 진짜로 신뢰할 수 있는 모델 3 개를 찾아냈습니다.

1. CaliciBoost
2. MapLight
3. MapLight+GNN

이 세 모델만이 코드가 열려 있고, 설치도 되며, 데이터 유출 없이 공정하게 테스트된 진짜 실력자들이었습니다.

💡 이 논문이 우리에게 주는 교훈

1. 랭킹 1 위를 맹신하지 마세요: 공개된 데이터로 만든 랭킹은 "시험 문제 암기왕"일 뿐, "실전 전문가"가 아닐 수 있습니다.
2. 코드와 환경이 중요합니다: 좋은 모델이라도 코드가 없거나 실행 환경이 다르면 아무 소용이 없습니다.
3. 더 나은 시스템이 필요합니다: 앞으로는 **시험 문제 **(테스트 데이터)를 숨겨야 하고, 데이터 버전을 명확히 관리하며, 모델 자체를 제출하는 방식으로 바뀌어야 합니다.

한 줄 요약:

"지금의 AI 약물 개발 랭킹은 '시험 문제'를 미리 보고 답을 외운 학생들의 성적표일 뿐, 진짜 실력을 보여주는 것이 아닙니다. 우리는 더 투명하고 공정한 '실전 시험'이 필요합니다."

기술 요약

논문 요약: TDC 리더보드 내 ADMET 예측을 위한 머신러닝 모델의 비판적 평가

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 신약 개발 과정에서 실패의 주요 원인은 치료 효능 부족이 아닌 흡수, 분포, 대사, 배설, 독성 (ADMET) 특성의 불리함입니다. 머신러닝 (ML) 을 활용한 ADMET 예측은 신약 개발 비용과 시간을 절감하는 핵심 도구로 자리 잡았습니다.
• 문제점: Therapeutics Data Commons (TDC) 는 ADMET 예측 모델 비교를 위한 '골드 스탠다드' 리더보드를 제공하지만, 공개된 테스트 세트 (Test Set) 를 기반으로 한 벤치마킹 방식에는 심각한 결함이 존재합니다.
  • 데이터 누출 (Data Leakage): 공개된 테스트 세트에 모델이 과도하게 적응 (Overfitting) 하여 실제 일반화 성능이 떨어질 수 있음.
  • 재현성 부재: 많은 상위 랭킹 모델이 소스 코드 부재, 실행 환경 구성 불가, 의존성 충돌 등으로 인해 재현이 불가능함.
  • 과적합 의심: 일부 모델이 실험적 측정 오차보다 높은 정확도를 기록하여, 데이터의 노이즈나 체계적 오류를 학습했을 가능성이 제기됨.

2. 연구 방법론 (Methodology)

저자들은 TDC 리더보드의 22 개 ADMET 엔드포인트에 대해 상위 3 위 모델 (총 10 개 아키텍처: ADMETrix, CFA, GradientBoost+, MapLight, MiniMol 등) 을 선정하여 다음과 같은 4 단계의 엄격한 검증 프로토콜을 적용했습니다.

1. 재현성 확인 (Reproducibility Check): 로컬 환경에서 모델 실행 및 코드 가용성 확인. 보고된 지표와 재현된 지표의 비교.
2. 데이터 누출 평가 (Data Leakage Assessment): 훈련 세트와 테스트 세트 간의 Tanimoto 유사도 (Morgan 지문 기반) 를 계산하여 화학적 공간의 중첩 여부 및 동일한 분자의 존재 여부를 확인. 특히 사전 학습 (Pre-training) 데이터와 테스트 세트 간의 누출을 검증.
3. 최적화 절차 검증 (Optimization Verification): 하이퍼파라미터 튜닝 과정에서 테스트 세트가 사용되었는지 (데이터 누출) 확인.
4. 최종 재평가 (Final Re-evaluation): 모든 검증을 통과한 모델에 대해 TDC 공식 프로토콜로 다시 평가하고 리더보드 순위를 재계산.

또한, 저자들은 **Mol2Vec 기반의 자체 개발 모델 (LightGBM)**을 구축하여 다음과 같은 비교 실험을 수행했습니다.

• 정직한 모델 (Honest Model): 교차 검증 (Cross-validation) 만을 사용한 최적화.
• 의도적 과적합 모델 (Deliberately Overfitted Model): 테스트 데이터를 검증 세트로 사용하여 의도적으로 과적합시킨 모델.
• 이를 통해 공개 테스트 세트에 대한 과적합이 리더보드 순위가 얼마나 쉽게 조작될 수 있는지 정량화했습니다.

3. 주요 결과 (Key Results)

• 재현성 및 실행 불가:

  • 선정된 상위 모델 중 3 개 (CaliciBoost, MapLight, MapLight+GNN) 만 모든 검증을 통과하고 재현 가능한 성능을 보였습니다.
  • 나머지 모델들은 코드 링크 끊김 (CFA), 실행 환경 구축 불가 (ADMETrix, SimGCN), 라이브러리 호환성 문제 (ZairaChem) 등으로 인해 평가가 중단되었습니다.

• 데이터 누출 발견:

  • MiniMol: 사전 학습 데이터 (LargeMix) 에서 테스트 세트 분자를 제거했다고 주장했으나, SMILES 문자열 기반 필터링만으로는 입체이성질체 (Stereoisomer) 및 타우토머 (Tautomer) 차이를 구분하지 못해 간접적인 데이터 누출이 발생했음이 확인되었습니다.
  • GradientBoost 및 XGBoost: 하이퍼파라미터 최적화 과정에서 검증 세트와 테스트 세트가 중첩되는 직접적인 데이터 누출이 발생했습니다. 이를 수정 후 재평가한 결과, 순위가 급격히 하락했습니다 (GradientBoost: 1 위→3 위, XGBoost: 2 위→8 위).

• 과적합의 영향:

  • 저자의 의도적 과적합 모델은 22 개 엔드포인트 중 10 개 (약 45%) 에서 상위 3 위에 진입했습니다.
  • 반면, 정직한 모델은 상위 3 위 진입이 2 회에 불과했습니다. 이는 공개 테스트 세트에 대한 최적화가 리더보드 순위를 인위적으로 높일 수 있음을 시사합니다.
  • 그러나 MapLight와 MapLight+GNN은 22 개 중 각각 17 회, 15 회 상위 3 위를 차지하여, 단순 과적합만으로는 설명하기 어려운 강력한 아키텍처와 특징 선택 (Feature Selection) 능력을 가진 것으로 판단됩니다.

• 재현된 성능:

  • 통과한 3 개 모델 (CaliciBoost, MapLight 등) 의 재현된 지표는 TDC 보고 값과 매우 유사했으나, bioavailability_ma와 같은 일부 엔드포인트에서는 데이터 버전 관리 부재로 인한 불일치가 관찰되었습니다.

4. 연구의 의의 및 기여 (Significance)

• 현실적 경고: 현재 TDC 리더보드의 높은 순위가 반드시 모델의 우수성이나 실제 예측 능력을 보장하지 않으며, 데이터 누출과 재현성 부재로 인해 신뢰도가 낮을 수 있음을 경고합니다.
• 벤치마킹 기준의 재정의 필요성:
  • 숨겨진 테스트 세트 (Hidden Test Sets): 테스트 데이터를 공개하지 않고 모델 제출 시 자동 평가하는 방식으로 전환해야 함.
  • 엄격한 버전 관리: 데이터셋의 버전, 체크섬 (Checksum), 변경 로그를 명확히 하여 재현성을 보장해야 함.
  • 표준화된 제출 형식: 모델 결과값이 아닌, 실행 환경이 포함된 모델 자체를 제출하여 자동화된 품질 관리와 재현성을 확보해야 함.
• 학술적 영향: 머신러닝 기반 신약 개발 분야에서 벤치마킹의 신뢰성을 높이고, 과적합된 모델이 실제 신약 개발에 적용될 때 발생할 수 있는 위험을 예방하는 데 기여합니다.

5. 결론

이 연구는 TDC 리더보드가 유용한 참조점이지만, 공개된 테스트 세트의 존재로 인해 과적합과 데이터 누출의 위험이 상존함을 지적합니다. 상위 랭킹 모델 중 상당수가 재현 불가능하거나 방법론적 결함을 가지고 있으며, 의도적 과적합만으로도 상위권에 진입할 수 있음을 증명했습니다. 따라서 차세대 ADMET 벤치마크는 숨겨진 테스트 세트, 엄격한 데이터 버전 관리, 표준화된 모델 제출 프로세스를 도입하여 과학적 엄밀성을 확보해야 한다고 결론지었습니다.