TaxoFormer: Hierarchical Transformer for Predicting the Full Taxonomic Lineage of Protein Sequences

수십억 년 전까지 거슬러 올라가는, 지구상의 모든 생명체를 포함하는 거대하고 고대적인 가계도가 있다고 상상해 보세요. 이 나무는 너무나 거대해서 130만 개 이상의 가지와 잎을 가지고 있습니다. 이제 당신은 신비로운 단백질 하나(생명의 아주 작은 구성 요소)를 발견했고, 당신의 임무는 이 거대한 가계도에서 그것이 정확히 어디에 위치하는지 알아내는 것입니다.

이것이 바로 TaxoFormer라는 논문이 해결하고자 하는 도전 과제입니다. 연구진이 이를 어떻게 해결했는지 쉽게 설명해 드리겠습니다.

문제점: 책이 너무 많은 도서관

보통 컴퓨터가 무언가의 범주를 추측할 때, 모든 범주를 서로 관련 없는 별개의 선택지로 취급합니다. 하지만 생물학에서 범주는 가계도처럼 서로 연결되어 있습니다. 만약 어떤 것이 "포유류"라는 것을 안다면, 그것은 자동으로 "동물"이자 "진핵생물"이라는 것도 알게 됩니다.

연구진은 컴퓨터가 단순히 최종 라벨을 맞히는 것이 아니라, 단백질의 서열(유전 코드)만을 보고 그 단백질의 전체 가족사를 예측하도록 가르치고 싶었습니다.

해결책: 나무를 위한 특별한 "지퍼"

연구진은 TaxoFormer라고 불리는 새로운 AI 모델을 구축했습니다. 그들의 가장 큰 비결은 컴퓨터에게 가계도를 "읽는" 법을 가르치는 방식이었습니다.

• 기존 방식: 130만 페이지에 달하는 책을 모든 페이지의 모든 단어를 나열하여 설명하려고 노력하는 것과 같습니다. 이는 너무 방대하고 무질서할 것입니다.
• TaxoFormer 방식: 그들은 마치 지퍼처럼 작동하는 특별한 "어휘"(15,000개의 고유한 코드 세트)를 발명했습니다. 이 지퍼는 130만 개의 노드로 이루어진 전체 가계도를 세부 사항을 놓치지 않으면서도 압축되고 조직된 형식으로 결합할 수 있습니다. 이는 마치 사방으로 뻗어 나간 엉킨 숲을, 구슬의 순서가 전체 이야기를 들려주는 깔렬한 구슬 줄로 바꾸는 것과 같습니다.

작동 원리: 이야기꾼

그들은 이미 단백질에 대해 많은 것을 알고 있는 똑똑한 AI(ESM-2라고 불림)를 데려와 새로운 직업을 주었습니다. 바로 이야기꾼 역할입니다.

AI는 단순히 라벨을 지목하는 대신, 가장 넓은 범주에서부터 가장 구체적인 범주에 이르기까지 단백질의 가족사를 단어 하나하나씩 써 내려가도록 요청받습니다. 이는 마치 탐정에게 용의자의 최종 목적지만 맞히라고 하는 대신, 용의자의 이동 경로 전체를 단계별로 재구성하라고 요청하는 것과 같습니다.

그들은 1억 8,800만 개의 단백질로 이루어진 거대한 도서관을 사용하여 이 이야기꾼을 훈련시켰습니다. 복잡하고 특수한 규칙을 사용하지 않고, 단순히 표준적인 "오류 수정" 방식(크로스 엔트로피)을 사용했습니다.

결과: 지도를 학습하다

결과는 인상적이었습니다. 모델은 단순히 정답을 맞힌 것이 아니라, 실제로 지도를 학습했습니다.

AI는 정답을 얻기 위해 전체 가계도를 직접 써 내려가야 했기 때문에, 자연스럽게 서로 다른 생명체 그룹들이 어떻게 연관되어 있는지 스스로 이해하게 되었습니다. AI는 명시적으로 배우지 않았음에도 불구하고, 서로 밀접하게 관련된 단백질은 가까이 있고 멀리 떨어진 것들은 멀리 떨어져 있는 정신적 공간을 만들어냈습니다.

핵심 요약

이 논문은 AI에게 전체 그림(전체 가계도)을 볼 수 있는 명확하고 구조화된 방법을 제공하고, 그 그림을 단계별로 묘사하도록 요청하면, AI가 자연 속에 숨겨진 연결 고리를 이해하는 데 놀라울 정도로 능숙해진다는 것을 보여줍니다. 이는 모든 단백질과 하나하나 비교할 필요 없이 단백질을 분류할 수 있는 빠르고 효율적인 방법입니다.