🧬 biology

Protein Folding with Neural Ordinary Differential Equations

본 논문은 AlphaFold 와 같은 기존 딥러닝 모델에 대한 경량화되고 적응적인 대안을 제시하며, 단백질 구조 예측 능력을 유지하면서 계산 비용과 메모리 사용량을 크게 줄이는 Evoformer 아키텍처의 연속 깊이 신경 ODE 수식을 제안합니다.

원저자: Arielle Sanford, Shuo Sun, Christian B. Mendl

게시일 2026-05-14

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Arielle Sanford, Shuo Sun, Christian B. Mendl

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ⚕️ 이것은 동료 심사를 거치지 않은 프리프린트의 AI 생성 설명입니다. 의학적 조언이 아닙니다. 이 내용을 바탕으로 건강 관련 결정을 내리지 마세요. 전체 면책 조항 읽기

복잡한 종이접기 기러기를 한 장의 종이로 접으려 한다고 상상해 보세요. 생물학 세계에서 단백질은 이러한 종이와 같지만, 아미노산으로 이루어진 긴 사슬로 구성되어 있으며 작동하려면 특정한 3 차원 형태로 꼬이고 구부러져야 합니다. 잘못 접히면 기능을 하지 못합니다.

오랫동안 이러한 단백질이 어떻게 접히는지 예측하는 데 있어 '골드 스탠더드'로 여겨져 온 시스템은 AlphaFold입니다. AlphaFold 를 거대한 단계별 설명서를 사용하는 장인 종이접기 예술가로 생각하세요. 최종 형태를 올바르게 만들기 위해 이 예술가는 48 개의 서로 다른 단계( '블록'이라고 함) 를 거쳐야 합니다. 각 단계에서 그들은 종이를 보고 미세하게 조정하며 다음 단계로 넘깁니다. 48 단계를 모두 마치면 종이는 완벽하게 접힙니다.

그러나 함정이 하나 있습니다: 48 단계를 거치는 것은 느리고 많은 에너지 (컴퓨팅 성능) 를 필요로 합니다. 마치 48 층짜리 계단을 한 걸음씩 올라가면서, 각 층마다 도착할 때마다 지도를 확인하며 멈추는 것과 같습니다.

새로운 아이디어: 계단이 아닌 매끄러운 미끄럼틀

이 논문의 저자들인 Arielle Sanford, Shuo Sun, Christian B. Mendl 은 단순한 질문을 던졌습니다: 만약 매 단계마다 멈출 필요가 없다면 어떨까요? 매끄러운 경사로를 따라 미끄러져 내려갈 수 있다면요?

그들은 Neural Ordinary Differential Equations(Neural ODEs) 라는 수학적 개념에서 영감을 얻었습니다. 간단히 말해, 접는 과정을 48 개의 분리되고 경직된 점프 (이산적 단계) 의 연속으로 취급하는 대신, 이를 연속적인 흐름으로 모델링했습니다.

다음의 차이를 상상해 보세요:

**옛 방식 **(AlphaFold): 계단을 48 개의 뚜렷한 단계로 올라가는 것. 당신은 1 단계, 2 단계, 그리고 48 단계까지 정확히 어디에 있었는지 기억해야 합니다. 이는 많은 정신 공간 (메모리) 과 시간을 차지합니다.
**새로운 방식 **(Neural ODE Evoformer): 매끄럽고 구부러진 미끄럼틀을 따라 내려가는 것. 당신은 특정 지점에서 멈추지 않고 위에서 아래로 흐르기만 합니다. 매 인치마다 위치를 '저장'하기 위해 멈추지 않기 때문에, 덜 기억하면 됩니다.

그들이 어떻게 했는지

연구자들은 이 매끄러운 미끄럼틀처럼 작동하는 AlphaFold 의 '엔진' (Evoformer) 의 새로운 버전을 구축했습니다.

엔진: 48 개의 서로 다른 설명서 세트 대신, 시간이 흐름에 따라 약간 변하는 단 하나의 설명서 세트를 사용했습니다.
결과: 그들은 48 단계 계단을 단일한 연속 수학 함수로 대체했습니다.

그들이 발견한 것

그들은 단백질 데이터 세트를 사용하여 이 새로운 '미끄럼틀'을 원래 '계단'과 비교 테스트했습니다. 다음과 같은 일이 발생했습니다:

훨씬 더 빠르고 저렴함: 새로운 모델은 놀라울 정도로 효율적이었습니다. 원래 AlphaFold 가 단백질의 형태를 예측하는 데 약 65 초가 걸렸던 반면, 새로운 모델은 약 5 초 만에 완료했습니다. 이는 10 배 이상 빠른 것입니다.
메모리 절약: 모델이 연속적으로 흐르기 때문에 각 단계의 '스냅샷'을 저장할 필요가 없습니다. 이는 거대한 슈퍼컴퓨터가 필요하지 않고, 게이밍 PC 에서 찾을 수 있는 표준 단일 컴퓨터 그래픽 카드 (GPU) 에서 실행될 수 있음을 의미합니다.
학습이 매우 쉬움: 원래 AlphaFold 는 수백 개의 강력한 칩에서 중단 없이 11 일간 컴퓨팅하여 학습했습니다. 이 새로운 모델은 단일의 소박한 컴퓨터에서 단 17.5 시간 만에 동일한 작업을 학습했습니다.
품질: 새로운 모델은 아직 완벽하지 않습니다. 훌륭한 견습 종이접기 예술가와 같습니다. 큰 그림은 올바르게 잡습니다—주요 '팔'과 '다리'(알파 나선) 를 올바르게 접고 일반적인 형태를 이해합니다. 그러나 원래 48 단계의 장인이 올바르게 처리하는 고리나 빽빽한 꼬임과 같은 작고 정교한 세부 사항에서는 때때로 어려움을 겪습니다.

결론

이 논문은 단백질 접기를 완전히 해결했다고 주장하거나 즉각적인 의학적 사용에 준비되었다고 주장하지 않습니다. 대신, 그것은 개념 증명을 제공합니다.

약간의 정밀함을 희생하여 엄청난 속도와 효율성 향상을 얻을 수 있음을 보여줍니다. 경직된 48 단계 과정을 매끄러운 연속 흐름으로 변환함으로써, 연구자들은 경량화되고 빠르며 일상적인 하드웨어에서 실행될 수 있는 강력한 단백질 접기 도구를 구축할 수 있음을 증명했습니다. 때로는 48 단계 사다리를 올라가는 것보다 매끄러운 경사로를 따라 미끄러져 내려가는 것이 바닥에 도달하는 훨씬 더 나은 방법이라는 것을 보여주는 시연입니다.

기술 요약: 신경 상미분 방정식을 이용한 단백질 접힘

문제 제기

AlphaFold 2 와 3 으로 대표되는 최근의 단백질 구조 예측 분야에서의 획기적인 발전은 Evoformer 와 같은 심층 신경 아키텍처에 의존하여 복잡한 공간적 및 진화적 제약을 포착합니다. Evoformer 는 다중 서열 정렬 (MSA) 과 쌍별 잔기 표현을 반복적으로 정제하는 48 개의 스택된 비-가중 공유 블록으로 구성됩니다. 매우 정확하지만, 이 아키텍처는 그 깊이와 경직된 계층별 이산화로 인해 학습과 추론 모두에서 상당한 계산 비용을 초래합니다. 또한, 고정된 깊이는 실행 시간과 정확도 간의 동적 트레이드오프를 제한합니다. 본 연구는 Evoformer 의 핵심 표현 능력을 유지하면서 자원 요구 사항을 줄이는 더 효율적이고 경량화되며 해석 가능한 대안을 필요로 하는 문제를 해결합니다.

방법론

저자들은 신경 상미분 방정식 (Neural ODEs) 을 사용하여 Evoformer 의 연속 깊이 공식화를 제안합니다. 48 개의 이산 블록을 스택하는 대신, 모델은 은닉 상태의 미분을 시간 (깊이) 의 연속 함수로 매개변수화하고 수치 ODE 솔버를 사용하여 이를 적분합니다.

아키텍처 설계

제안된 Neural ODE Evoformer는 이산 스택을 단일 공유 벡터장 $f(m, z, t, \theta)$ 로 대체하며, 이는 연속 깊이 변수 $t$ 에 걸쳐 MSA( $m$ ) 와 쌍 ( $z$ ) 표현의 진화를 지배합니다.

벡터장 구성: 이 함수는 단일 Evoformer 블록의 누적 변환을 근사합니다. Evoformer 스타일의 업데이트를 전체 수행하여 중간 상태 $(m', z')$ 를 생성한 후, 차이 $(m'-m, z'-z)$ 를 계산합니다.
시간 의존적 게이팅: 부드러운 진화를 보장하기 위해, 차이는 스칼라 깊이 변수 $t$ 에 대한 얕은 MLP 를 통해 구현된 학습된 게이팅 함수 $\sigma_m(t)$ 및 $\sigma_z(t)$ 에 의해 스케일링됩니다. 결과적인 ODE 는 다음과 같습니다:
$\frac{d(m, z)}{dt} = (\sigma_m(t) \cdot (m' - m), \sigma_z(t) \cdot (z' - z))$
단순화된 연산: 메모리 오버헤드를 줄이고 적분을 가능하게 하기 위해, 이 아키텍처는 원래 AlphaFold 와 비교하여 여러 구성 요소를 단순화합니다:
- 삼각형 어텐션 모듈 (유입/유출) 생략.
- 청크 소프트맥스나 퓨즈드 커널 없이 직관적인 QKV 프로젝션 사용.
- 전체 외적 대신 저랭크 외적 평균 사용.
- 삼각형 업데이트를 위한 대칭 근사.
- 쌍 전이를 위한 기본 2 층 MLP.
메모리 효율성: 모델은 역전파를 위해 **접속 민감도 방법 (adjoint sensitivity method)**을 활용하여, 중간 활성화가 순전파 동안 저장될 필요가 없으므로 깊이에 대한 일정한 메모리 비용을 가능하게 합니다.

학습 전략

모델은 OpenFold 를 참조하여 실제 값 (ground-truth) 궤적을 생성하는 데 사용되었습니다.

데이터셋: 학습을 위해 500 개의 단백질 모노머 (길이 필터링 후 370 개), 검증용 50 개, 테스트용 50 개의 단백질. 입력에는 1 차 서열, MSA(최대 64 개 서열로 클러스터링됨), PDB70 의 구조 템플릿이 포함되었습니다.
2 단계 학습:
1. 예비 단계: 점진적 진화 역학을 포착하기 위해 OpenFold Evoformer 의 블록 0, 8, 16, 24, 32, 40, 48 에서 샘플링된 중간 표현에 대해 지도 학습 수행.
2. 주 단계: 완전한 변환 궤적을 학습하기 위해 끝점 (블록 1 입력 대 블록 48 출력) 에 대해서만 지도 학습 수행.
구성: 모델은 MSA 및 쌍 스트림에 대해 균일한 64 의 은닉 차원 (AlphaFold 의 384/128 과 비교) 과 고전적인 4 차 룽게 - 키타 (RK4) 솔버를 사용했습니다. 학습은 단일 NVIDIA Quadro P4000 GPU 에서 17.5 시간 동안 수행되었습니다.

주요 결과

계산 효율성

50 개의 테스트 단백질 (21~852 잔기) 에 대한 벤치마킹은 상당한 속도 개선을 보여주었습니다:

실행 시간: Neural ODE Evoformer 는 단백질당 평균 4.85 초를 소요한 반면, 표준 OpenFold Evoformer 는 65.06 초가 소요되었습니다 (잔기당 7 배 이상의 속도 향상).
확장성: Neural ODE 모델은 서열 길이에 대해 선형 확장을 보였습니다 ( $time \approx 0.0046 \times residues$ ), 반면 OpenFold 는 이차 확장을 보였습니다 ( $time \approx 0.0006 \times residues^2$ ). 이는 연속 깊이 접근 방식이 긴 단백질에 특히 유리함을 시사합니다.

구조적 정확도

1fv5, 4epq, 1ujs 단백질에 대한 예측 구조의 시각적 검토는 다음과 같은 결과를 보여주었습니다:

강점: 모델은 특히 $\alpha$ -나선을 포함한 2 차 구조 요소를 신뢰성 있게 포착하며 단백질의 주요 글로벌 토폴로지를 반영합니다.
한계: 모델은 원래 48 블록 아키텍처의 정확도를 완전히 재현하지는 못합니다. 미세한 세부 사항, 특히 루프 영역과 글로벌 패킹에서 편차가 눈에 띕니다.
비교: 이러한 편차에도 불구하고, ODE 기반 모델은 잘라낸 24 블록 OpenFold 모델보다 더 조직화된 구조를 더 높은 신뢰도로 생성했습니다.

의의 및 주장

이 논문은 생체 분자 모델링에서 연속 깊이 모델을 위한 개념 증명으로서 이 작업을 위치시킵니다. 저자들은 다음과 같이 주장합니다:

실현 가능성: 연속 시간 모델은 48 개의 이산 Evoformer 블록의 누적 효과를 근사할 수 있으며, 점진적 정교화가 부드러운 동적 시스템으로 모델링될 수 있다는 가설을 검증합니다.
자원 효율성: 이 접근 방식은 AlphaFold 의 원래 학습에 필요한 거대한 컴퓨팅 클러스터 (수백 개의 TPU) 에 비해 단일 GPU 에서 17.5 시간이라는 극히 적은 자원으로 합리적인 구조 예측을 달성합니다.
유연성: 적응형 ODE 솔버의 사용은 실행 시간과 정확도 간의 원칙적인 트레이드오프를 도입하며, 이는 고정 깊이 아키텍처에는 없는 유연성입니다.
해석 가능성: 이 공식화는 심층 스택 아키텍처에 대한 경량화되고 이론적으로 해석 가능한 대안을 제공하여 효율적인 단백질 구조 예측 프레임워크를 위한 새로운 방향을 엽니다.

저자들은 현재 모델이 AlphaFold 의 전체 정확도와 일치하지는 않지만, 연속 깊이 근사가 계산 비용을 크게 줄이면서 대규모 모델 행동을 효과적으로 표현할 수 있음을 보여준다고 명시적으로 지적합니다. 향후 연구는 성능 격차를 더 좁히기 위해 더 큰 MSA 클러스터, 증가된 은닉 차원, 적응형 솔버, 제한 없는 서열 길이를 포함할 것으로 제안됩니다.