💻 생물정보학

pLM-bVAE: protein language model-enhanced binary representation improves quantum annealing-based protein sequence design

이 논문은 단백질 언어 모델이 강화된 이진 변이형 오토인코더인 pLM-bVAE를 소개하며, 이는 이진 인코딩 및 서열 재구성 정확도를 향상시켜 표준 방식에 비해 양자 어닐링이 더 높은 점수와 더 다양한 단백질 서열을 생성할 수 있도록 한다.

원저자: Ueda, H. H., Tucs, A., Tsuda, K., Umetsu, M., Saito, Y.

게시일 2026-11-06

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ueda, H. H., Tucs, A., Tsuda, K., Umetsu, M., Saito, Y.

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ⚕️ 이것은 동료 심사를 거치지 않은 프리프린트의 AI 생성 설명입니다. 의학적 조언이 아닙니다. 이 내용을 바탕으로 건강 관련 결정을 내리지 마세요. 전체 면책 조항 읽기

새로운 단백질을 설계하는 것은 수십억 개의 자물쇠가 가득한 방에서 단 하나의 완벽한 열쇠를 찾는 것과 같습니다. 단백질은 생명력을 불어넣는 분자 기계이며, 그 기능은 아미노산이라고 불리는 구성 블록들의 특정 배열 순서에 의해 결정됩니다. 이러한 블록들을 배열할 수 있는 방법이 너무나 많기 때문에, 바이러스에 결합하거나 어둠 속에서 빛을 내는 것과 같이 원하는 특성을 가진 단백질을 찾는 것은 압도적인 복잡성을 가진 과업입니다. 과학자들은 이 광대한 공간을 탐색하기 위해 컴퓨터의 도움을 받기 시작했으며, 특히 '양자 어닐링(quantum annealing)'이라 불리는 특별한 유형의 컴퓨팅을 사용하고 있습니다. 이 기술은 복잡한 퍼즐을 풀기 위해 가장 낮은 에너지 상태를 찾아내도록 설계되었으며, 이 맥맥락에서 이는 최적의 단백질 서열에 해당합니다. 하지만 양자 컴퓨터가 이 문제를 해결하기 위해서는 단백질 서열을 기계가 이해할 수 있는 언어인 0과 1의 문자열로 번역해야 합니다.

문제는 이 번역 과정에 있습니다. 만약 단백질 서열을 0과 1의 문자열로 변환하는 과정이 서투르면, 컴퓨터는 서로 다른 단백질 사이의 미묘한 관계를 놓치게 되고, 그 결과물은 종종 형편없는 설계가 됩니다. 한동안 연구자들은 이 번역을 처리하기 위해 '이진 변이형 오토인코더(binary variational autoencoder)'라는 도구를 사용해 왔습니다. 이 도구를 길고 복잡한 문장을 짧은 코드로 압축한 다음 그 코드를 바탕으로 다시 문장을 쓰려고 시도하는 번역기에 비유할 수 있습니다. 이 방식은 작동하긴 하지만, 본래 단백질의 독특한 문법이 아닌 인간의 언어를 위해 만들어진 것입니다. 우에다 히로미와 사이토 유타카가 이끄는 이번 연구의 연구진은, 번역 작업이 시작되기도 전에 이 번역기에 단백질에 대한 더 깊은 이해를 제공함으로써 이를 개선할 수 있을지 자문했습니다.

이에 답하기 위해 연구팀은 pLM-bVAE라고 부르는 새로운 시스템을 개발했습니다. 그들은 기존의 번역 도구를 가져와서 '단백질 언어 모델(protein language model)'로부터 얻은 정보를 주입함으로써 이를 강화했습니다. 이 모델은 이미 수백만 개의 단백질 서열을 읽고 수천 번의 대화를 들으며 언어의 문법을 배우는 아이처럼, 단백질들이 어떻게 서로 결합하는지에 대한 규칙을 학습한 거대한 컴퓨터 프로그램입니다. 이 사전 학습된 지식이 번역 과정을 안내하도록 함으로써, 새로운 시스템은 양자 컴퓨터가 작업하기에 훨씬 더 정확한 코드를 생성합니다. 연구진은 이 접근 방식을 세 가지 다른 유형의 단백질 데이터에 대해 테스트했습니다: 면역 체계에 결합하는 짧은 사슬, 암세포를 표적으로 하는 항체의 일부, 그리고 유전자 치료에 사용되는 바이러스의 외각 껍질입니다. 모든 경우에서 새로운 시스템은 우수함을 입증했습니다. 이 시스템은 단백질 서열을 받아 이를 이진 코드로 변환한 뒤, 다시 원래의 단백질 서열로 되돌리는 데 있어 기존 방식보다 훨씬 더 높은 정확도를 보여주었습니다.

개선된 점은 단순히 정확도뿐만 아니라 검색 자체의 품질에 있었습니다. 연구팀이 새로운 단백질을 설계하기 위해 양자 컴퓨터를 안내할 때, 그 결과는 놀라웠습니다. 컴퓨터는 유의미하게 더 많은 수의 고성능 단백질 서열을 생성했습니다. 더 중요한 것은, 이 새로운 설계들이 컴퓨터가 학습 과정에서 보았던 예시들과 더 뚜렷하게 구별되었다는 점입니다. 이전의 시도들에서 컴퓨터는 익숙한 패턴을 재활용하는 데 갇히곤 했지만, 새로운 시스템은 컴퓨터가 더 멀리 탐험하도록 장려하여 효과적이면서도 독특한 새로운 해결책을 찾아냈습니다. 연구진은 또한 검색 과정이 더 집중되었다는 것을 관찰했습니다. 컴퓨터가 가능성 속을 정처 없이 헤매는 대신, 더 나은 해결책을 향해 더 명확한 경로를 따라갔는데, 이러한 변화는 새로운 시스템이 제공한 단백질 코드의 품질 향상과 직접적으로 연결되어 있었습니다.

이 연구는 생물학적 정보를 디지털 코드로 번역하는 방식이 매우 중요하다는 것을 보여줍니다. 단백질이 자연적으로 진화하고 기능하는 방식에 대한 깊은 지식을 빌려옴으로써, 연구진은 양자 컴퓨터가 생물학 영역에서 훨씬 더 효과적으로 작동할 수 있게 하는 가교를 만들었습니다. 이 연구가 단백질 설계 문제를 완전히 해결했다고 주장하는 것은 아니지만, 명확하고 측정 가능한 진전을 보여줍니다. 새로운 방법은 현대 인공지능의 패턴 인식 능력과 양자 컴퓨팅의 가공할 최적화 속도를 결합하면 두 기술이 단독으로는 달성할 수 없는 결과를 낼 수 있음을 시사합니다. 분야가 앞으로 나아감에 따라, 이 접근 방식은 방대한 단백질 가능성의 혼돈스러운 공간을 탐색 가능한 풍경으로 바꾸며 차세대 의약품과 생물학적 도구를 설계할 수 있는 유망한 경로를 제시합니다.

기술 요약: pLM-bVAE: 단백질 언어 모델 강화 이진 표현을 통한 양자 어닐링 기반 단백질 서열 설계 개선

문제 정의
양자 어닐링(Quantum Annealing, QA)은 단백질 서열 설계의 방대한 조합 공간을 탐색하는 데 있어 유망한 접근 방식을 제공한다. 그러나 QA를 이 영역에 적용하려면 아미노산 서열을 최적화를 위한 이진 벡터로 매핑하고, 이후 최적화된 이진 벡터를 다시 아미노산 서레로 디코딩하는 과정이 필요하다. 이 파이프라인의 효능은 이진 인코딩의 품질과 서열 재구성의 정확도에 달려 있다. 기존 연구들은 서열과 이진 공간 사이를 연결하기 위해 이진 변이형 오토인코더(bVAE)를 활용했다. 그러나 표준 bVAE 아키텍처는 본래 자연어 모델링을 위해 개발되었으며, 단백질 특유의 서열 표현을 명시적으로 포함하지 않는다. 이러한 한계는 기존 방법론이 단백질 서열 간의 관계를 최적으로 보존하거나 높은 충실도의 재구성을 달성하는 데 실패할 가능성을 제기하며, 이는 QA 기반 최적화 성능을 제한하게 된다.

방법론
저자들은 사전 학습된 단백질 언어 모델(pLM)로부터 유도된 잔기 수준(residue-level)의 표현을 bVAE 프레임워크에 통합하는 새로운 아키텍처인 pLM-bVAE를 제안한다.

아키텍처: 이 모델은 동결된(frozen) pLM 인코더와 학습 가능한 bVAE 구성 요소로 이루어진다. pLM 인코더(예: ESM2, ProtT5, Ankh)는 전체 길이의 단백질 서열을 진화적 정보가 반영된 표현 벡터로 임베딩한다. 그 후 bVAE는 특정 변이 영역(각 데이터셋에 대해 잔기 수준으로 정의됨)에 해당하는 벡터를 처리하여 이진 잠재 벡터를 생성하고 서열을 재구성한다.
데이터셋: 이 방법은 세 가지 공개 단백질 변이 데이터셋에 대해 평가되었다:
1. MHC-I 결합 펩타이드 (HLA-A*02:01).
2. Trastuzumab-scFv CDRH3 변이체.
3. AAV 캡시드 표면 영역 변이체.
학습 및 최적화: 저자들은 레이어 수, 학습률, 드롭아웃 비율을 포함한 pLM-bVAE의 하이퍼파라미터를 튜닝하기 위해 베이지안 최적화(Optuna 사용)를 채택하였다. 또한 다양한 pLM 인코더(서로 다른 크기 및 아키텍처)를 비교하여 최적의 구성을 식별하였다.
QA 프레임워크: 학습된 pLM-bVAE는 다목적 양자 어닐링(MOQA) 프레임워크에 통합되었다. 이 워크플로우에서는 다음과 같이 진행된다:
1. BiLSTM 예측기를 사용하여 목적 함수 점수(예: 결합 친화도, 생존력)를 서열으로부터 추정하도록 학습시킨다.
2. 팩터라이제이션 머신(Factorization Machine, FM)이 목적 함수 점수의 대리 모델 역할을 수행하여, 문제를 이차 무제약 이진 최적화(QUBO) 형식으로 변환한다.
3. D-Wave Advantage 양자 어닐러가 QUBO를 최적화하여 높은 점수를 가진 이진 벡터를 탐색한다.
4. 결과로 나온 이진 벡터는 pLM-bVAE 디코더를 통해 아미노산 서열로 디코딩된다.

주요 기여

pLM-bVAE 개발: pLM에 내재된 진화적 지식을 활용하여 단백질 서열을 위한 bVAE의 이진 표현 능력을 향상시키는 하이브리드 아키텍처를 도입하였다.
체계적 평가: 재구성 정확도(Levenshtein 거리 및 BLOSUM62 점수 사용)와 이진 인코딩 성능(Hamming 거리와 Levenshtein/BLOSUM 거리의 Spearman 상관관계를 통한 서열 간 관계 보존 여부)에 대한 종합적인 평가를 수행하였다.
QA와의 통합: 개선된 이진 표현이 고득점의 새로운 서열을 생성하는 데 있어 QA 기반 서열 설계의 실질적인 이득으로 어떻게 이어지는지를 입증하였다.

결과

재구성 및 인코딩 정확도: 세 가지 데이터셋 모두에서 pLM-bVAE(특히 ESM2_650M 인코더 사용 시)는 표준 bVAE에 비해 우수한 성능을 보였다. pLM-bVAE는 더 높은 서열 재구성 정확도(낮은 Levenshtein 거리, 높은 BLOSUM62 점수)와 이진 잠재 공간에서의 더 나은 서열 관계 보존 능력을 달 나타냈다. 하이퍼파라미터 최적화(pLM-bVAE HPO)는 이러한 지표를 더욱 개선하였으며, 펩타이드 데이터셋의 경우 거의 모든 서열에 대해 Levenshtein 거리가 0에 가까운 완벽한 재구성을 보여주었다.
전체 모델 성능: 순위 정규화된 총 성능 점수( $S_{total}$ )는 pLM-bVAE (HPO)가 표준 bVAE 및 다른 pLM-bVAE 구성보다 우수함을 확인해주었다. 특히, 중간 크기의 모델(ESM2_650M)이 더 큰 변체(ESM2_3B)보다 우수한 성능을 보였는데, 이는 이 특정 맥락에서 파라미터 크기를 키우는 것이 선형적인 성능 향상으로 이어지지는 않음을 시사한다.
QA 기반 설계 성능: QA 프레임워크에 통합되었을 때, pLM-bVAE (HPO)는 bVAE에 비해 훨씬 더 많은 수의 고득점 서열(훈련/검증 데이터의 상위 10번째 점수를 초과하는 서열)을 생성하였다. 또한, 이러한 고득점 서열들은 훈련 데이터와 더 큰 차이(신규성)를 보였으며, 이는 효과적인 서열 공간 탐색 능력이 향상되었음을 나타낸다.
최적화 역학: 이진 잠재 공간에서의 최적화 과정 분석 결과, pLM-bVAE (HPO)를 사용한 QA는 더 직접적인 탐색 패턴을 따르는 것으로 나타났다. 이는 초기 분포와 최적화된 분포 사이의 더 큰 최대 평균 불일치(Maximum Mean Discrepancy, MMD) 값과 반복 횟수에 따른 최적 오라클 점수의 더 빠른 증가로 입증되었으며, 이는 더 높은 최적화 효율성을 시사한다.

의의
본 논문은 pLM-bVAE가 단백질 서열 설계에서 표준 bVAE의 한계를 해결하는 효과적인 이진 표현을 제공한다고 주장한다. 사전 학습된 언어 모델을 통해 단백질 특유의 진화적 정보를 통합함으로써, 이 방법은 서열 재구성의 충실도와 이진 잠재 공간에서의 서열 관계 보존 능력을 모두 향상시킨다. 결과적으로, 이는 더 효율적인 양자 어닐링 최적화를 가능하게 하여, 고성능의 새로운 단백질 서열을 더 많이 발견할 수 있게 한다. 본 연구는 인코딩 메커니즘을 사전 학습된 언어 모델로 강화하는 것이 단백질 공학을 위한 양자 컴퓨팅 응용의 효능을 높이는 데 있어 결정적인 단계임을 확립한다.

유사한 논문