Quantifying the Provenance-to-Function Gap in Antidiabetic Peptide Prediction: Homology-Aware Evaluation and the ADP-Hybrid Baseline

당뇨병은 신체가 혈당을 조절하는 데 어려움을 겪는 질환으로, 전 세계 수억 명의 사람들에게 영향을 미치고 있습니다. 이를 치료하기 위해 과학자들은 생물학적 신호 역할을 하는 짧은 아미노산 사슬인 펩타이드에 점점 더 많은 관심을 기울이고 있습니다. 이 중 일부 펩타이드는 혈당을 낮추는 데 도움을 줄 수 있으며, 연구자들은 이를 약물로 사용할 수 있는 새로운 펩타이드를 찾기를 희망합니다. 가능한 펩타이드 서열은 수십억 개에 달하기 때문에, 이를 실험실에서 모두 테스트하는 것은 불가능합니다. 대신, 과학자들은 어떤 서열이 효과가 있을지 예측하기 위해 컴퓨터 프로그램을 사용하여, 실험에 시간과 비용을 들이기 전에 쓸모없는 것들을 걸러내고자 합니다. 이 프로그램들은 기존의 데이터를 통해 학습합니다. 즉, 작동하는 것으로 알려진 펩타이드와 그렇지 않은 펩타이드의 사례를 보여주면, 프로그램은 무엇이 그 차이를 만드는지에 대한 패턴을 찾아내려 노력합니다. 목표는 컴퓨터가 진정한 생물학적 규칙을 학습하여, 이전에 본 적 없는 새롭고 유망한 펩타이드를 포착해 내는 것입니다.

그러나 최근 한 연구는 이러한 작업을 수행하는 데 사용되는 컴퓨터 프로그램들이 잘못된 교훈을 얻고 있을 수도 있다고 시사합니다. 연구진은 이러한 예측 도구들을 테스트하는 데 사용되는 표준 데이터셋인 유명한 벤치마크를 가져와 데이터가 어떻게 구성되어 있는지 면밀히 살펴보았습니다. 그들은 컴퓨터가 당뇨병에 효과적인 펩타이드가 무엇인지 배우는 것이 아니라, 그 펩타이드가 어떤 거대 단백질에서 유래했는지를 인식하는 법을 배우고 있다는 사실을 발견했습니다. 생물학의 세계에서 펩타이드는 종종 훨씬 더 큰 단백질에서 잘려 나온 작은 조각, 마치 퍼즐의 한 조각과 같습니다. 연구진은 훈련 데이터 내에서 특정 유형의 당뇨병 치료제가 특정 기원 단백질에서 유래한 펩타이드와 거의 항상 연관되어 있다는 것을 발견했습니다. 예를 들어, 한 종류의 당뇨병과 연결된 펩타이드는 거의 예외 없이 인간 인슐린에서 유래한 반면, 다른 종류의 당뇨병과 연결된 펩타이드는 소의 우유 단백질에서 유래했습니다. 컴퓨터는 이러한 패턴을 반복적으로 목격했기 때문에, 펩타이드를 실제로 작동하게 만드는 화학적 성질을 이해하는 대신, 단순히 기원 단백질을 식별함으로써 정답을 추측하는 법을 배웠습니다.

이 문제는 "기원-기능 간극(provenance-to-function gap)"이라고 알려져 있습니다. 이는 컴퓨터가 테스트받고 있는 대상과 예측해야 할 실제 기능 사이의 거리가 너무 멀다는 것을 의미합니다. 연구진은 데이터를 무작위로 나누어 테스트했을 때, 컴퓨터가 이전에 보았던 기원 단백질을 쉽게 인식할 수 있기 때문에 매우 높은 점수를 기록한다는 것을 보여주었습니다. 하지만 훈련 그룹과 테스트 그룹 모두에서 동일한 기원 단백질의 펩타이드가 나타나지 않도록 테스트 방식을 변경하여 다시 실행하자, 점수가 크게 떨어졌습니다. 컴퓨터는 더 이상 기원을 인식하는 데 의존할 수 없게 되었고, 실제 화학적 신호에 의頼해야 했습니다. 이 더 엄격한 테스트에서, 이전에 최첨단 기술로 칭송받던 복잡한 다층 구조 모델들의 성능은 훨씬 더 단순한 모델들의 수준으로 떨어졌습니다. 실제로, 하나의 단순하고 직관적인 컴퓨터 모델이 이전의 정교한 다중 부품 시스템만큼이나 잘 수행하면서도, 훨씬 더 빠르고 적은 컴퓨팅 자원을 사용했습니다.

연구는 또한 펩타이드 자체의 길이가 컴퓨터가 활용하는 주요 단서였다는 점을 밝혀냈습니다. 한 종류의 당뇨병에 효과적인 펩타이드는 다른 종류의 펩타이드보다 평균적으로 훨씬 짧았습니다. 펩타이드의 길이만을 고려하는 단순한 모델조차도 당뇨병의 유형을 약 62%의 확률로 정확히 식별해 냈는데, 이는 매우 기초적인 특징치고는 놀라울 정도로 높은 결과입니다. 이는 복잡한 모델들이 심오하고 숨겨진 생물학적 비밀을 찾아낸 것이 아니라, 길이와 기원 단백질 같은 눈에 띄기 쉬운 명백한 특징들에 의존했다는 것을 시사합니다. 연구진은 박테리아나 바이러스와 싸우는 것과 같은 다른 유형의 펩타이드 활성에 대해 16개의 다른 데이터셋을 테스트했으며, 기원 단백질 편향이라는 동일한 문제가 대부분의 데이터셋에서 나타난다는 것을 발견했습니다. 이는 데이터가 수집되는 방식이 의도치 않게 정답을 기능이 아닌 기원과 연결해 버리는, 데이터 구축 과정에서의 흔한 결함으로 보입니다.

연구진은 문제점을 지적하는 데 그치지 않고 해결책을 제시했습니다. 그들은 각 예측 층마다 하나의 결정 트리(decision-making tree)를 사용하는 더 단순한 모델인 ADP-Hybrid를 만들었습니다. 이 모델은 첫 번째 단계의 테스트에서 기존에 발표된 복잡한 모델들과 동일한 정확도에 도달했을 뿐만 아니라, 실행 속도는 20배에서 38배 더 빨랐습니다. 더 중요한 것은, 연구진이 기원 단백질 인식과 같은 쉬운 지름길을 제거했을 때 이 단순한 모델이 더 잘 버텼다는 점입니다. 이 연구는 지난 몇 년간 보고된 높은 점수들이 데이터 분할 방식에 의해 부풀려졌을 가능성이 높으며, 이로 인해 컴퓨터가 펩타이드의 과학적 원리를 배우는 대신 기원을 암기할 수 있었다고 결론지었습니다. 저자들은 향히 연구들이 이러한 숨겨진 패턴을 점검해야 하며, 훈련 데이터와 테스트 데이터가 생물학적 기원 측면에서 진정으로 분리되어 있는지 확인해야 한다고 주장합니다. 그렇게 함으로써, 과학자들은 단순히 펩타이드의 출처를 잘 맞히는 도구가 아니라, 실제로 새로운 약물을 발견하는 데 도움이 되는 도구를 구축할 수 있을 것입니다.