Rewriting protein alphabets with language models

본 논문은 대비 학습을 통해 언어 모델 임베딩에서 유도된 새로운 20 글자 단백질 알파벳인 TEA 를 소개하며, 이는 기존 서열 검색 알고리즘을 활용하면서도 구조 기반 방법과 경쟁할 수 있는 빠르고 민감한 원격 동족성 검출을 가능하게 한다.

핵심

단백질이 매우 복잡하고 고대적인 언어로 쓰인 문장이라고 상상해 보세요. 오랫동안 과학자들은 이러한 '문장'들 사이의 연결고리를 찾아내어 그 기능이 무엇인지 또는 어떻게 구성되는지 이해하려고 노력해 왔습니다. 문제는 이 언어가 너무 복잡하여 유사한 문장을 찾는 것이 방대하고 혼란스러운 건초더미 속에서 특정 바늘을 찾는 것과 같으며, 그렇게 느리게 진행하다 보면 아예 바늘을 놓쳐버릴 수도 있다는 점입니다.

이 논문은 TEA라는 새로운 교묘한 도구를 소개하는데, 이는 만능 번역기와 단축 경로가 하나로 합쳐진 것과 같습니다. 간단한 비유를 들어 그 작동 원리를 설명해 보겠습니다.

1. 문제: 글자가 너무 많습니다
현재 단백질 '문장'은 20 자의 알파벳으로 쓰여 있습니다. 이는 작동하지만, 이 20 자를 사용하여 두 개의 매우 다른 단백질 사이의 유사성을 찾는 것은 같은 언어의 서로 다른 방언으로 쓰인 두 권의 책 사이의 매칭을 찾으려는 것과 같습니다. 이는 느리며, 때로는 연결고리가 너무 희미하여 눈에 띄지 않을 수도 있습니다.

2. 해결책: 더 똑똑한 새로운 알파벳
연구자들은 수백만 개의 단백질 문장을 읽고 숨겨진 패턴을 학습한 AI(단백질 언어 모델이라고 함) 를 사용했습니다. 그런 다음 대조 학습이라는 특수 기법을 사용하여 이러한 20 자 문장을 TEA라는 새로운 간소화된 20 자 알파벳으로 다시 썼습니다.

TEA 를 다른 언어가 아니라 매우 효율적인 코드로 생각하세요. 길고 구불구불한 지도를 직선이고 고속인 고속도로로 압축하는 것과 같습니다. AI 는 원래 단백질 '단어' 중 어떤 부분이 연결고리를 찾는 데 실제로 중요한지 학습하고 노이즈를 제거했습니다.

3. 결과: 속도와 정확도의 만남
과학자들이 이 새로운 TEA 알파벳을 사용하여 단백질 매칭을 검색할 때, 두 가지 세계의 장점을 모두 얻을 수 있습니다.

• 시퀀스 검색의 속도: 순서대로 글자만 보는 오래된 단순한 방법만큼 빠르게 실행됩니다.
• 구조 검색의 정확도: 단백질의 3 차원 구조를 알아야 하는 방법만큼 깊고 숨겨진 연결고리(원격 동源性) 를 찾아냅니다.

큰 그림
보통 이러한 깊은 연결고리를 찾으려면 단백질의 3 차원 구조를 알아야 합니다 (접힌 종이접기를 보는 것과 같습니다). 하지만 TEA 는 그렇게 할 필요가 없습니다. AI 의 학습 덕분에 글자 순서만 보고도 이를 파악해냅니다.

이 논문은 이 도구가 현대 AI 의 발전과 생물학을 연구하는 과학자들이 사용하는 고전적인 세기 전 도구를 연결한다고 주장합니다. 이를 통해 연구자들은 기존 검색 도구를 더 빠르고 똑똑하게 만들기 위해 강력한 새로운 AI 통찰력을 활용할 수 있게 되며, 복잡한 구조 데이터가 나오기를 기다리지 않고도 새로운 생물학적 비밀을 발견할 수 있게 됩니다.

기술 요약

기술 요약: 언어 모델을 활용한 단백질 알파벳 재작성

문제 제기
이 연구가 다루는 핵심 과제는 단백질에서 원격 동源性을 신속하고 민감하게 탐지할 필요성입니다. 이 능력은 기능 주석 및 구조 예측을 포함한 하류 생물학적 작업의 기초가 됩니다. 기존 방법들이 진화해 왔음에도 불구하고, 전통적인 서열 기반 검색의 속도와 구조 기반 방법의 민감도 사이에는 여전히 간극이 존재하며, 후자는 종종 사용 가능하지 않을 수 있는 구조 데이터를 필요로 합니다.

방법론
저자들은 이 간극을 메우기 위해 단백질 언어 모델 (pLM) 을 활용하는 새로운 프레임워크를 제안합니다. 방법론의 핵심은 pLM 이 생성한 고차원 임베딩을 정제하는 데 사용되는 대조 학습 (contrastive learning) 기법에 있습니다. 저자들은 이러한 복잡한 임베딩을 직접 활용하는 대신, pLM 임베딩을 새로운 이산적 20 개 문자 알파벳인 TEA(Tokenized Embedding Alphabet) 로 매핑하도록 모델을 훈련시킵니다.

이 변환은 단백질 서열 표현을 효과적으로 "재작성"합니다. 연속적인 pLM 임베딩을 표준 20 개 문자 형식으로 변환함으로써, TEA 알파벳은 지난 세기에 걸쳐 개발된 방대한 서열 생물정보학 알고리즘 생태계와 고급 표현 학습을 통합할 수 있게 합니다. 이 설계는 전통적으로 표준 아미노산 서열에 최적화된 매우 효율적인 대규모 동源性 검색 도구의 사용을 가능하게 합니다.

주요 기여

1. TEA 알파벳: 대조 학습을 통해 pLM 임베딩에서 유래된 새로운 20 개 문자 알파벳의 도입.
2. 알고리즘 통합: 현대 언어 모델 표현을 레거시 서열 검색 알고리즘과 호환되는 형식으로 변환하여 직접 임베딩 비교의 계산 오버헤드를 피하는 방법.
3. 구조 무관 민감도: 명시적 구조 정보를 요구하지 않고 언어 모델 지식으로 풍부해진 서열 데이터에만 의존하여 높은 민감도를 달성하는 검색 접근법.

결과
논문에 따르면 TEA 알파벳을 사용한 검색은 구조 기반 방법과 비슷한 수준으로 수행되며 이를 보완합니다. 중요하게도, 이 성능은 서열 검색의 속도로 달성됩니다. 이 접근법은 TEA 알파벳이 전통적인 서열 방법들이 종종 놓치는 원격 동源性 신호를 효과적으로 포착하면서도 대규모 스크리닝에 필요한 계산 효율성을 유지할 수 있음을 보여줍니다.

의의 및 주장
저자들은 이 연구를 생물학적 발견을 위한 강력한 새로운 도구로 위치시킵니다. 주요 의의는 "단백질 언어 모델 표현 학습의 흥미로운 발전"을 더 넓은 생물정보학 공동체를 위한 실용적 유용성으로 성공적으로 전환했다는 점에 있습니다. 이러한 고급 표현을 표준 서열 알고리즘을 통해 접근 가능하게 함으로써, 이 연구는 기능 주석 및 구조 예측 파이프라인의 능력을 향상시키는 것을 목표로 합니다. 논문은 알려진 단백질 구조를 전제로 하지 않으면서도 구조 분석의 민감도와 서열 기반 접근법의 속도 및 확장성을 결합한 해결책을 제공한다고 주장합니다.