📄 molecular biology

FlexRibbon: Joint Sequence and Structure Pretraining for Protein Modeling

FlexRibbon은 마스크 언어 모델링과 확산 기반 디노이징의 결합을 사용하여 아미노산 서열과 3차원 구조를 공동으로 사전 학습함으로써, 다중 서열 정렬(MSA)에 의존하지 않고도 기존의 MSA 기반 방식들이 어려움을 겪는 변이가 풍부한 영역을 중심으로 다양한 작업에서 최첨단 성능을 달성하는 새로운 단백질 파운데이션 모델입니다.

원저자: Zhu, J., Shi, Y., Bi, R., Jin, P., Liu, C., Zhang, Z., Huang, H., Guo, Z., Hu, P., Ju, F., Huang, L., Tai, X., Li, C., Gao, K., Wei, X., Xia, H., Zhang, J., Min, Y., Wang, Z., Wang, Y., He, L., Liu, H

게시일 2026-07-09

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhu, J., Shi, Y., Bi, R., Jin, P., Liu, C., Zhang, Z., Huang, H., Guo, Z., Hu, P., Ju, F., Huang, L., Tai, X., Li, C., Gao, K., Wei, X., Xia, H., Zhang, J., Min, Y., Wang, Z., Wang, Y., He, L., Liu, H., Qin, T.

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ⚕️ 이것은 동료 심사를 거치지 않은 프리프린트의 AI 생성 설명입니다. 의학적 조언이 아닙니다. 이 내용을 바탕으로 건강 관련 결정을 내리지 마세요. 전체 면책 조항 읽기

단백질의 세계를 거대하고 북적이는 도시라고 상상해 보십시오. 오랫동안 이 도시를 이해하려 노력했던 과학자들은 매우 다른 두 가지 종류의 지도 중 하나를 선택해야만 했습니다.

첫 번째 지도는 문법 교과서와 같았습니다. 이 지도는 단백질을 구성하는 글자(아미노산)의 서열만을 바라보았고, 도시가 실제로 어떻게 생겼는지는 무시했습니다. 이는 생명의 "언어"를 이해하는 데는 탁월했지만, 건물의 3D 형태를 파악하려고 할 때는 길을 잃기 일쑤였습니다.

두 번째 지도는 크라우드소싱 설문조사와 같았습니다. 이 지도는 수천 개의 유사한 도시(진화적 친척들)를 관찰하여 새로운 도시가 어떤 모습일지 추측하는 방식에 의존했습니다. 이는 표준적인 건물들을 파악하는 데는 매우 정확했지만, 만약 아주 새롭고 기괴한 모양의 마천루나 레이아웃이 너무 많이 변해버린 도시를 지도화하려고 한다면, 비교할 만한 유사한 사례가 없기 때문에 설문조사는 실패했습니다.

이때, 문법과 설문조사 사이에서 하나를 선택하는 대신, 문법을 읽는 동시에 설계도까지 함께 파악하기로 결정한 새로운 종류의 지도 제작자, FlexRibbon이 등장했습니다.

비결: 양방향 통행

기존의 대부분의 모델은 일방통행 도로와 같았습니다. 즉, 글자의 서열을 입력받아 그 형태를 추측하는 방식이었습니다. 하지만 FlexRibon은 양방향 통행로를 구축했습니다. 이 모델은 글자가 형태를 결정한다는 점뿐만 아니라, 형태 또한 어떤 글자가 와야 하는지를 알려준다는 사실을 학습했습니다.

이를 가르치기 위해 연구진은 영리한 훈련 게임을 사용했습니다. 그들은 단백질을 가져온 뒤, 노이즈를 섞어 3D 형태를 뒤섞어 놓았습니다(마치 스노우볼을 흔드는 것처럼). 그리고 모델에게 이를 다시 깨끗하게 정리하도록 요청했습니다. 동시에 서열에서 일부 글자를 숨긴 뒤, 모델에게 그 글자들을 맞히도록 요구했습니다. 여기서 핵심적인 반전은, 모델이 올바른 답을 맞히기 위해 반드시 지저리진(messy) 3D 형태를 힌트로 사용해야 했다는 점입니다. 이 과정을 통해 모델은 서열과 구조가 서로 분리될 수 없는 자물쇠와 열쇠처럼 단단히 결합되어 있다는 것을 강제로 학습하게 되었습니다.

왜 중요한가: "지저분한" 부분들

진정한 마법은 도시의 지저리진 부분에서 일어납니다. 생물학에서 어떤 단백질들은 유연하고 흐느적거리는 팔(항체의 루프 같은 것)을 가지고 있거나, 무언가를 붙잡을 때 형태가 변하기도 합니다. 기존의 "설문조사" 모델들(진화적 친척들에게 의존하는 모델들)은 이런 부분에서 종종 막히곤 하는데, 왜냐하면 이 흐느적거리는 부분들은 진화적 데이터에서 명확한 패턴을 찾을 수 없을 만큼 너무 많이 변하기 때문입니다.

하지만 FlexRibbon은 이러한 까다로운 영역을 다르게 처리합니다. 패턴을 찾기 위해 "친척들의 군중"에 의존하는 대신, 그 설문조사의 필요성을 완전히 우회합니다. 개별 서열과 구조 사이의 연결 고리를 직접 모델링함으로써, 진화적 신호가 약하거나 사라진 경우에도 이러한 유연하고 변이가 심한 영역을 놀라운 정확도로 예측할 수 있습니다.

증거: 12가지의 도전 과제

팀은 단순히 작동한다고 말하는 데 그치지 않고, 실제 현실 문제를 해결할 수 있는지 확인하기 위해 FlexRibbon을 12가지의 서로 다른 과제라는 가혹한 시험대에 올렸습니다. 결과는 다음과 같습니다.

항체 설계: 바이러스에 달라붙는 항체(우리 몸의 방어군)를 설계하도록 요청했을 때, FlexRibbon은 표준 항체에 대해 61.3%, 나노바디(작은 항체)에 대해 **51.1%**의 성공률을 기록했습니다. 이는 이전의 최고 방법들이 각각 **46.7%**와 44.0% 수준에 머물러 있던 것에 비해 큰 도약입니다.
펩타이드 결합: 작은 단백질 사슬(펩타이드)이 더 큰 단백질에 어떻게 달라붙는지 예측하는 데 있어, FlexRibbon은 **91.4%**의 성공률을 달성하며 다음으로 뛰어난 방법보다 7.0%에서 10.2% 더 높은 성적을 냈습니다.
신약 개발: 약물 분자가 단백질에 얼마나 잘 결합하는지 추측할 때, FlexRibbon은 0.848의 상관계수와 1.150의 오차율을 기록하며 테스트된 모든 다른 방법들을 능가했습니다.
형태 변화: 이 모델은 약물이 결합할 때 단백질이 어떻게 형태를 바꾸는지도 예측할 수 있었으며, 한 테스트 케이스에서 실제와 매우 흡사한 0.985의 구조적 유사도(TM-score)를 달려냈습니다.

이것이 "아닌" 것

FlexRibbon이 하지 못하는 것을 아는 것도 중요합니다. 이 모델은 기존 모델들이 예측을 위해 사용했던 "크라우드소싱 설문조사"(다중 서열 정렬, MSA)에 의존하지 않습니다. 만약 진화적 친척이 거의 없는 단백질을 준다면, 기존 모델들은 데이터가 부족하여 어려움을 겪을 수 있지만, FlexRibbon은 서열과 구조 사이의 직접적인 연결에 대한 내부적 이해를 바탕으로 성공하며, 정렬 신호가 약한 영역에서도 길을 찾아냅니다.

결론

이 논문은 모델에게 서열과 구조를 차례대로 배우게 하는 것이 아니라, 함께 배우도록 가르치는 것이 훨씬 더 유연하고 정확한 도구를 만들어낸다는 점을 시사합니다. 이것은 단순히 더 나은 추측기가 아니라, 더 나은 '설계자'입니다. 질병과 싸우기 위한 새로운 항체를 만들든, 약물이 표적에 어떻게 들어맞는지 알아내든, FlexRibbon은 서열과 구조가 서로 대화하게 할 때 전체 시스템이 더 잘 작동한다는 것을 보여줍니다.

저자들은 CASP15 챌린지와 PoseBusters V1 데이터셋 같은 특정 벤치마크를 통해 결과를 측정했으며, Flex-Ribbon이 특히 다른 방법들이 자주 넘어지는 까다롭고 변이가 많은 영역에서 지속적으로 새로운 최고 기록을 경신함을 발견했습니다. 이는 우리가 문장을 쓰는 것만큼이나 쉽게 단백질을 처음부터 설계할 수 있는 미래를 향한 한 걸음입니다.

기술 요약: FlexRibbon

문제 정의

단백질 파운데이션 모델(PFM)은 급격히 발전해 왔으나, 일반적으로 뚜렷한 한계를 지닌 두 가지 지배적인 패러다임으로 나뉩니다. 서열 기반 언어 모델(예: ESM-2, ProtT5)은 대규모로 서열 의미론을 포착하지만 물리적 관련성과 3차원 기하학적 정보가 부족하여, 단백질 기능의 구조적 기초를 모델링하는 데 한계가 있습니다. 반대로, MSA 기반 예측 모델(예: AlphaFold 2/3)은 진화적 결합을 활용하여 높은 정확도를 달나지만, 상동 서열(homologous sequences)에 크게 의존합니다. 이러한 의존성은 상동성이 희박하거나, 변이가 심한 영역, 또는 유연한 인터페이스(항체 CDR 루프 및 내재적 무질서 영역과 같은) 환경에서 신뢰도를 떨어뜨립니다. 또한, 기존의 결합 모델들은 구조를 양방향으로 모델링하기보다는 보조적인 신호로 취급하거나, 서열 의미론과 함께 전체 원자 수준의 구조 학습을 시도할 때 메모리 병목 현상을 겪습니다.

방법론

FlexRibbon은 다중 서열 정렬(MSA) 없이 아미노산 서열과 3차원 구조를 공동으로 학습하도록 설계된 30억 개의 파라미터를 가진 사전 학습된 단백질 모델입니다.

1. 사전 학습 전략

핵심 혁신은 **마스크 언어 모델링(MLM)**과 **확산 기반 디노이징(Diffusion-based Denoising)**을 결합한 통합 사전 학습 목적 함수입니다. 이를 통해 양방향 서열-구조 학습이 가능해집니다:

구조 정보 기반 마스크 언어 모델링 (SIMLM): 이 모델은 서열 복구 과정에서 확산 노이즈를 구조적 표현에 통합합니다. 세 가지 학습 모드를 채택합니다: (1) 서열-구조 (표준 확산), (2) 결합된 섭동 (잔기 마스킹 및 국소 구조에 노이즈 추가), (3) 서열 마스크 기반 전역 섭동 (잔기 마스킹 및 모든 구조에 노이즈 적용). 이는 서열 정체성과 3D 형태 사이의 양방향 관계를 견고하게 학습하도록 유도합니다.
확산 사전 학습: 모델은 중원자(heavy atoms)의 3D 좌표를 디노이징하기 위해 분산 팽창(variance-exploring) 확산 프로세스를 사용합니다. 무거운 등변(equivariant) 아키텍처 대신 데이터 증강(무작위 SO(3) 회전)을 통해 회전 불변성을 강제하며, 구조를 질량 중심에 배치함으로써 병진 자유도를 제거합니다.

2. 아키텍처

FlexRibbon은 효율성과 표현력을 균형 있게 맞추기 위해 계층적인 3단계 아키텍처를 활용합니다:

서열 모듈: 단백질 잔기와 저분자 원자를 공동으로 임베딩하는 트랜스포머 인코더입니다. 학습된 투영을 통해 2D 공유 결합 특징을 포함함으로써, 모델이 원자 정체성으로부터 결합 패턴을 복구할 수 있게 합니다.
거친 입자 구조 모듈 (Coarse-Grained Structure Module): 서열 임베딩을 조건으로 하여 단백질의 잔기 수준 및 저분자의 원자 수준에서 좌표를 디노이징하는 확산 트랜스포머(DiT)입니다.
전원자 구조 모듈 (All-Atom Structure Module): 거친 입자 출력을 전원자 해상도로 정밀화하는 두 번째 DiT입니다. 화학적 타당성을 보장하기 위해 공유 결합에 대한 학습 가능한 어텐션 바이어스를 사용하여, 전역적인 잔기 맥락과 세부적인 원자 간 상호작용을 조화시킵니다.

3. 학습 및 손실 함수

학습 목적 함수는 네 가지 구성 요소로 통합됩니다:

확산 손실 ( $L_{MSE}$ ): 구조 재구성을 위한 디노이징 손실.
MLM 손실 ( $L_{MLM}$ ): 마스킹된 잔기 예측을 통한 서열 복구.
거리 손실 ( $L_{Dist}$ ): 현실적인 3차 구조 기하학을 유지하기 위해 예측된 잔기 간 거리를 규제합니다.
Smooth-lDDT 손실 ( $L_{smooth-lDDT}$ ): 국소 기하학적 정확도 지표와 학습을 일치시킵니다.
적응형 가중치 부여: pLDDT 유래 시그모이드 가중치에 기반한 신뢰도 가중치 확산 손실을 사용하여, 저신뢰도 영역(예: AlphaFold 2로부터 예측된 구조)의 노이즈를 줄이고 신뢰할 수 있는 신호를 강조합니다.

학습은 서열 길이(384 $\to$ 768 $\to$ 1024 잔기)를 점진적으로 늘리고 후기 단계에서 MLM 및 신뢰도 헤드 학습을 도입하는 세 가지 단계(A, B, C)로 진행됩니다.

주요 기여

새로운 사전 학습 전략: FlexRibon은 MLM과 확산 기반 디노이징을 결합하여 단백질 구조 예측과 설계를 통합하며, 단방향 서열-구조 매핑이 아닌 양방향 서열-구조 매핑을 학습합니다.
계층적 모델링: 서열 및 구조 표현 간의 확장 가능한 용량을 균형 있게 맞추는 전략을 도입하여, 기존 전원자 모델의 메모리 병목 현상을 극복하고 효과적인 대규모 구조 학습을 가능하게 합니다.
공동 설계 능력: 모델은 단백질 서열과 구조의 공동 설계를 가능하게 하며, 특히 MSA 기반 방법들이 어려움을 겪는 유연하고 변이가 많은 영역(예: 항체/나노바디 CDR 루프)에서 탁월한 성능을 보입니다.
광범위한 일반화: 12가지 다양한 작업에서 일관된 이득을 보여줌으로써, 서열-구조 사전 학습이 단순한 단백질 폴딩을 넘어 광범위하게 전이됨을 입증했습니다.

실험 결과

FlexRibbon은 세 가지 작업군인 유연한 인터페이스 예측/설계, 분자 간 상호작용 예측, 단백질 기능 예측에 대해 평가되었습니다.

유연한 인터페이스: 항체 및 나노바디 인터페이스 예측(SAb23H2)에서 FlexRibbon은 항원-항체 관계에서 61.3%, 항원-나노바디 관계에서 **51.1%**의 성공률을 달성하여, IgGM보다 각각 14.6% 및 7.1% 더 높은 성능을 보였습니다. 단백질-펩타이드 인터페이스 예측(FoldBench)에서는 **91.4%**의 성공률을 기록하며 AlphaFold 3와 PepGLAD를 능가했습니다.
항체/나노바디 설계: FlexRibbon은 항체에서 41.4%, 나노바디에서 **21.8%**의 아미노산 복구율(AAR)을 달성하였으며, 각각 **46.0%**와 **43.7%**의 성공률을 기록하여 dyMEAN 및 IgGM과 같은 베이스라인을 앞질렀습니다.
분자 간 상호작용:
- 도킹: PoseBusters V1 벤치마크에서 FlexRibbon은 71.82%(random-1) 및 78.70%(oracle)의 성공률을 달성하여, AlphaFold 3와 같은 MSA 기반 방법들과 대등한 수준에 도달했으며, 단일 서열 베이스라인들을 크게 압도했습니다.
- 구조 변화: 리간드 유도 구조 변화 예측에서 FlexRibbon은 제로샷(zero-shot)으로 0.889의 TM-ens 점수를 기록하여 ESMDiff보다 0.038 향상되었습니다.
- 결합 친화도: CASF-2016에서 FlexRibbon은 비교된 베이스라인 중 가장 낮은 RMSE(1.150)와 가장 높은 피어슨 상관계수(0.848)를 달성했습니다.
기능 예측: Gene Ontology (GO) 및 Enzyme Commission (EC) 작업에서 FlexRibbon은 EC에서 0.891, GO-BP에서 0.539, GO-MF에서 0.694, GO-CC에서 0.560의 F1 점수를 기록하며 서열 전용 및 하이브리드 베이스라인들을 능가했습니다.
구조 예측: CASP15에서 FlexRibbon은 0.703의 TM-score를 달성하여 ESMFold와 ESM3를 능가했습니다.
신뢰도 추정: 모델이 예측한 pTM 점수는 CASP15의 관측된 TM-score와 강력한 상관관계(R = 0.89)를 보였습니다.

의의 및 주장

본 논문은 FlexRibbon이 12가지 다양한 작업에서 새로운 SOTA(State-of-the-art) 성능을 확립했다고 주장하며, 특히 MSA 기반 방법들이 실패하기 쉬운 변이가 풍부한 설정에서 강력한 이점을 보인다고 명시합니다. 저자들은 이러한 결과가 결합된 서열-구조 사전 학습의 일관된 이점을 강조하며, 이러한 접근 방식이 서열과 구조의 공동 설계를 가능하게 하고 생물학적 기능에 중요한 유연한 형태를 포착할 수 있음을 보여준다고 주장합니다. MSA에 의존하지 않고 양방향 의존성을 성공적으로 모델링함으로써, FlexRibbon은 단백질 폴딩을 넘어 복잡한 설계 및 상호작용 예측 작업까지 범위를 확장하는 범용 파운데이션 모델로 제시됩니다.