A novel benchmark dataset for enzyme function prediction reveals the limitations of state-of-the-art models

생명의 거대한 도서관에서, 모든 생명체는 DNA라고 불리는 코드로 작성된 일련의 지침을 지니고 있습니다. 이 지침 안에는 효소라고 알려진 아주 작은 생물학적 기계에 대한 설계도가 들어 있습니다. 이 효소들은 세포의 일꾼으로서, 음식 소화부터 손상된 조직의 복구에 이르기까지 유기체를 살아가게 하는 화학 반응을 가속화합니다. 과학자들이 발견한 수백만 가지의 서로 다른 효소를 추적하기 위해, 그들은 효소 번호(Enzyme Commission numbers)라고 불리는 표준화된 라벨링 시스템을 사용합니다. 이 번호들을 특정 효소가 정확히 어떤 일을 수행하는지 연구자에게 알려주는 보편적인 카탈로그 시스템이라고 생각하면 됩니다. 과학자들이 점점 더 많은 유기체의 게놈을 해독함에 따라, 그들은 놀라운 속도로 새로운 효소들을 발견하고 있습니다. 이제의 과제는 실험실에서 각각의 효소를 일일이 테스트하지 않고도 이 새로 발견된 효소들이 무엇을 하는지 알아내는 것인데, 이는 수 세기가 걸릴 수도 있는 작업입니다. 이를 해결하기 위해 연구자들은 컴퓨터로 눈을 돌렸으며, 인공지능이 효소의 서열을 보고 이미 학습한 패턴을 바탕으로 그 기능을 예측하도록 훈련시키고 있습니다.

최근 한 연구팀은 이 컴퓨터 모델들이 효소가 작동하는 방식을 진정으로 이해하고 있는지, 아니면 단순히 지름길을 택하고 있는 것인지 테스트하기로 결정했습니다. 그들은 현재 최고의 프로그램들이 작동하는 효소와 고장 난 효소를 구별할 수 있는지 확인하기 위해 'EnzymARC'라는 새로운 테스트 데이터 세트를 만들었습니다. 이 테스트를 구축하기 위해, 그들은 이미 작동하는 것으로 알려진 효소들로부터 시작하여 체계적으로 그것들을 손상시켰습니다. 효소의 3차원 구조 모델을 사용하여, 그들은 화학 반응이 일어나는 특정 지점인 활성 부위(active site)를 표적으로 삼았습니다. 그런 다음 그들은 효소의 기능을 파괴할 수 있는 방식으로 구조를 변경하여, 그들이 '디코이(decoy, 미끼)' 서열이라고 부르는 것을 만들어냈습니다. 이 디코이들은 원래의 작동하는 효소와 거의 똑같아 보이도록 설계되었지만, 작동을 만드는 기계 장치에는 결정적인 손상이 가해진 상태였습니다. 그들은 활성 부위로부터 매우 좁은 5 옹스트롬(Angstrom)에서 넓은 15 옹스트롬 반경에 이르기까지, 특정 거리 내의 구조를 변경함으로써 이 고장 난 버전들을 만들었으며, 이를 통해 나머지 효소 부분은 거의 변하지 않도록 보장했습니다.

연구진은 이 고장 난 디코이들을 세 가지 다른 유형의 컴퓨터 예측 도구에 입력하여 기계들이 무엇이라고 말하는지 관찰했습니다. 한 도구는 데이터베이스에서 유사한 서열을 찾는 것에 의존했고, 다른 하나는 서로 다른 단백질 모양을 비교함으로써 학습하는 방법을 사용했으며, 세 번째는 작동하지 않는 효소를 인식하도록 특별히 훈련된 딥러닝 모델이었습니다. 결과는 시사하는 바가 컸습니다. 컴퓨터 모델들이 약간 손상된 효소들을 살펴보았을 때, 그들은 거의 완전히 실패했습니다. 촉매 기구가 파괴되었음에도 불구하고, 모델들은 고장 난 효소에 대해 원래의 올바른 직무 설명을 자신 있게 부여했습니다. 실제로, 손상이 가장 적은 디코이의 경우, 모델들은 90퍼센트 이상의 높은 확률로 잘못된 예측을 했습니다. 이는 모델들이 효소가 작동하는 물리적 규칙을 실제로 배우고 있는 것이 아니라, 대신 지름길에 의존하고 있음을 시사합니다. 모델들은 전체적인 유사성을 보고, 만약 그것이 오리처럼 보인다면 설령 오리가 망가졌을지라도 반드시 오리일 것이라고 가정하며 패턴 매칭을 하고 있는 것입니다.

고장 난 효소를 인식하도록 훈련된 가장 진보된 모델조차도, 활성 부위에 집중했을 때 특정 손상을 식별하는 데 어려움을 겪었습니다. 비록 이 모델이 손상이 더 심각할 때는 더 나은 성능을 보였지만, 여률을 무용지물로 만드는 표적화된 교란은 여전히 놓쳤습니다. 이 연구는 현재의 컴퓨터 프로그램들이 계통 발생적 지름길(phylogenetic shortcuts)에 매우 취약하다는 점을 보여주는데, 이는 즉, 프로그램들이 실제 기능보다는 단백질의 가족력을 바탕으로 쉽게 속을 수 있음을 의미합니다. 연구진은 진정으로 신뢰할 수 있는 생물학적 도구를 구축하기 위해서는 차세대 모델이 이러한 구조를 인식하는 고장 난 버전들을 포함하여 훈련되어야 한다고 결론지었습니다. 컴퓨터에게 단순히 패턴을 맞추는 것이 아니라, 기능하는 기계와 고장 난 기계의 차이를 인식하도록 가르칠 수 있어야만, 우리는 효소 기능의 복잡한 현실을 다룰 수 있을 만큼 견고한 모델을 개발할 수 있을 것입니다.