CardioSafe: Multi-task prediction of cardiac ion channel activity with reverse-leak audited benchmarking

CardioSafe는 화학적 및 전사체학적 특성을 통합하여 심장 이온 채널 활동을 예측하는 다중 작업 신경망으로, Nav1.5 및 Cav1.2 채널에 대한 기존 벤치마크 결과를 부풀렸던 훈련 데이터 오염을 역누출 감사를 통해 발견하고 제거한 후 기존 방법들보다 우수한 성능을 입증했습니다.

핵심

당신이 새로운 맛있는 레시피 (새로운 약물) 를 만들려고 노력하는 요리사라고 상상해 보세요. 하지만 함정이 하나 있습니다. 일부 재료는 맛있지만, 부주의하게 주방의 가장 중요한 안전 시스템인 심장의 전기 배선을 중독시킬 수 있습니다. 구체적으로 한 가지 재료 (hERG 채널) 는 심장이 맥박을 놓치게 만드는 것으로 악명 높습니다. 그러나 새로운 요리 규칙 (CiPA 프레임워크) 에 따르면, 단순히 그 한 가지 재료만 확인해서는 안 됩니다. 안전을 보장하기 위해 레시피가 심장의 세 가지 다른 전기 스위치 (Nav1.5, Cav1.2, IKs) 에 미치는 영향을 테스트해야 합니다.

문제: "속임수" 테스트
과학자들은 약물이 이러한 심장 스위치를 망칠지 예측하는 컴퓨터 프로그램을 개발했습니다. 하지만 이러한 프로그램이 과거에 어떻게 테스트되었는지에는 숨겨진 결함이 있었습니다. 시험 시작 전에 학생의 주머니에 비밀리에 정답을 넣어주는 것과 같습니다. 기존 컴퓨터 프로그램들은 훈련 중에 이미 "본" 약물들로 테스트를 받았습니다. 이로 인해 실제 능력보다 더 똑똑한 것처럼 보였으며, 점수를 부풀려 허위 안도감을 주었습니다.

해결책: CardioSafe
연구진은 CardioSafe라는 새로운 초지능 컴퓨터 두뇌를 구축했습니다. 이를 세 개의 머리를 가진 탐정으로 생각하세요:

1. 첫 번째 머리는 약물의 화학적 모양을 살펴봅니다 (재료 목록을 확인하는 것과 같습니다).
2. 두 번째 머리는 고급 언어 도구를 사용하여 약물의 "성격"을 읽습니다 (재료 뒤에 숨은 이야기를 이해하는 것과 같습니다).
3. 세 번째 머리는 약물이 신체의 내부 지시를 어떻게 변화시키는지 예측합니다 (재료가 냄비 안에서 어떻게 반응할지 추측하는 것과 같습니다).

이 세 개의 머리는 "크로스 어텐션 (cross-attention)" 시스템을 통해 서로 대화하며, 약물이 심장의 전기 스위치를 차단할지 여부에 대한 단일하고 매우 정확한 예측을 위해 메모를 공유합니다.

훈련: 거대한 도서관
CardioSafe 를 가르치기 위해 연구진은 작은 공책만 사용한 것이 아니라, 수백만 건의 기록을 결합한 세계 최대 규모의 약물 데이터 도서관을 구축했습니다. 그들은 결과가 불분명한 "지저분한" 데이터를 버리지 않도록 매우 주의했습니다. 읽기 어렵다는 이유만으로 경고 표지판을 무시하는 것과 같기 때문입니다.

대단한 드러냄: "역-누출" 감사
가장 흥미로운 부분입니다. 연구진은 다른 컴퓨터 프로그램들을 대상으로 탐정 놀이를 하기로 결정했습니다. 그들은 "역-누출 감사 (reverse-leak audit)"를 수행했는데, 이는 다른 학생들의 쓰레기통을 확인하여 시험 정답을 가지고 있는지 살펴보는 것과 같습니다.

그들은 Nav1.5 스위치를 테스트하는 데 사용된 약물의 **22%**와 Cav1.2 스위치를 위한 약물의 **21%**가 실제로 다른 프로그램들의 훈련 데이터에 포함되어 있음을 발견했습니다. 즉, 그 프로그램들은 규칙을 배우는 것이 아니라 정답을 암기하고 있었던 것입니다.

결과
연구진이 이러한 "속임수" 약물들을 테스트에서 제거하자 다음과 같은 결과가 나왔습니다:

• CardioSafe는 여전히 잘 수행되어 실제로 규칙을 배웠음을 입증했습니다.
• 암기에 의존했던 다른 프로그램들은 갑자기 훨씬 더 나빠진 것으로 나타났습니다.

경쟁 환경이 공정해지고 "속임수" 데이터가 제거되었을 때, CardioSafe 는 더 작고 테스트하기 어려운 심장 스위치에 대한 안전성을 예측하는 데 통계적으로 가장 뛰어난 것으로 입증되었습니다. 이 연구는 이전의 비교들이 데이터 누출을 잡아내지 못했기 때문에 불공정했음을 보여주며, 약물 안전성 예측을 위한 새롭고 정직한 기준을 확립합니다.

기술 요약

기술 요약: CardioSafe

문제 제기
본 연구가 다루는 주요 과제는 심장 안전성에 결정적인 요소인 인간 에테르 -a -고 -고 관련 유전자 (hERG) 칼륨 채널의 약물 유발 억제로 인한 높은 약물 탈락률입니다. 포괄적 in vitro 부정맥 평가 (CiPA) 프레임워크는 hERG, Nav1.5, Cav1.2 를 포함한 여러 심장 이온 채널의 활동 데이터를 통해 부정맥 유발 위험을 평가하는 방식으로 패러다임을 전환했으나, 이러한 데이터를 실험적으로 생성하는 것은 자원 집약적입니다. 기존 계산 모델들은 종종 다양한 데이터 모달리티를 통합할 능력이 부족하거나, 비교 벤치마크에서 테스트 화합물이 훈련 데이터와 중복되는 평가 편향을 겪습니다.

방법론
저자들은 hERG, Nav1.5, Cav1.2 의 차단제 상태와 효능을 예측하고, IKs 에 대한 탐색적 헤드를 갖춘 3-브랜치 멀티태스크 신경망인 CardioSafe를 소개합니다. 이 아키텍처는 세 가지 서로 다른 데이터 모달리티를 통합하기 위해 크로스 어텐션 퓨전을 사용합니다:

1. 화학 지문: 화합물의 구조적 표현.
2. ChemBERTa 임베딩: 사전 훈련된 언어 모델에서 파생된 문맥적 분자 표현.
3. 예측된 L1000 전사체 특징: 생물학적 맥락을 포착하도록 예측된 유전자 발현 프로파일.

이 모델은 현재까지 보고된 가장 대규모의 공개 멀티채널 심장 이온 채널 데이터셋으로 훈련되었습니다. 이 데이터셋은 ChEMBL 36과 hERGCentral 데이터베이스를 결합하여 다음을 포함합니다:

• 331,127 개의 hERG 화합물
• 3,160 개의 Nav1.5 화합물
• 1,138 개의 Cav1.2 화합물
• 115 개의 IKs 화합물

데이터셋 큐레이션의 핵심 방법론적 엄격성은 모호한 데이터 포인트를 폐기하는 대신 중첩된 측정치를 유지하고 억제율 투표를 활용하는 약리학 인식 정책이었습니다.

주요 기여 및 결과

• 데이터가 풍부한 타겟에서의 성능: 훈련 세트와 테스트 세트 간의 구조적 유사성 누출을 방지하는 Tanimoto 유사도 제어 분할 하에서 CardioSafe 는 hERG 예측 헤드에서 특히 CToxPred2와 CardioGenAI를 포함한 주요 공개 비교 대상들을 능가했습니다.
• 소규모 타겟에서의 통계적 불명확성: 초기 평가에서 동일한 벤치마크와 비교했을 때, 더 작은 Nav1.5 및 Cav1.2 헤드에 대한 결과는 통계적으로 불명확한 결과를 낳았습니다.
• 역누출 감사: 이 연구의 중요한 기여는 이전 벤치마크의 데이터 오염을 조사한 "역누출 감사"입니다. 이 감사는 이전 연구에서 사용된 **Nav1.5 테스트 화합물의 22%**와 **Cav1.2 테스트 화합물의 21%**가 경쟁 모델의 훈련 데이터에 존재했으며 (92% 는 정확한 화합물 일치), 이를 드러냈습니다.
• 수정된 벤치마킹: 이러한 오염된 화합물을 제거한 후, CardioSafe 의 Nav1.5 및 Cav1.2 헤드 성능은 비교 대상에 대해 통계적 유의성에 도달했습니다. 이 발견은 이러한 채널에 대한 이전의 교차 출판 벤치마크가 훈련 데이터 중복으로 인해 인위적으로 과장되었음을 보여줍니다.

의의
본 논문은 CardioSafe 가 화학 및 전사체 데이터를 효과적으로 융합함으로써 멀티태스크 심장 안전성 예측 분야에서 견고한 진전을 이루었다고 주장합니다. 그 주요 의의는 예측 정확도뿐만 아니라 해당 분야의 평가 기준을 방법론적으로 교정했다는 점에 있습니다. 이전 벤치마크의 데이터 누출을 폭로하고 시정함으로써, 저자들은 이전의 Nav1.5 및 Cav1.2 모델 평가가 결함이 있음을 입증했습니다. CardioSafe 는 엄격하게 감사된 새로운 기준선을 수립하여, 진정한 독립 데이터로 평가될 때 다양한 특징 통합을 통한 멀티태스크 학습이 기존 단일 작업 또는 덜 통합된 접근 방식을 크게 능가할 수 있음을 증명합니다.