🤖 machine learning

SE(3)-MeanFlow: Few-Step Protein Backbone Generation on Lie Groups

이 논문은 MeanFlow를 리 군(Lie group) 기하학으로 확장하여 단백질 백본 설계를 위한 SE(3)-MeanFlow를 소개하며, 이는 폐쇄형 훈련 타겟(closed-form training targets)과 특화된 SE(3) alpha-Flow 목적 함수를 활용함으로써 기존의 확산 또는 플로우 매칭 모델보다 현저히 적은 샘플링 단계만으로도 고품질 생성을 달성한다.

원저자: Yikun Bai, Binghang Lu, Yikai Liu, Elaheh Akbari, Soheil Kolouri, Linxuan Wang, Ping He, Shuchan Wang, Ruqi Zhang, Guang Lin

게시일 2026-07-31

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Yikun Bai, Binghang Lu, Yikai Liu, Elaheh Akbari, Soheil Kolouri, Linxuan Wang, Ping He, Shuchan Wang, Ruqi Zhang, Guang Lin

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 아주 작고 유연한 레고 브릭으로 새로운 종류의 살아있는 기계를 만들려는 건축가라고 상상해 보십시오. 이 기계들은 단백질이라 불리며, 화학 공장에서부터 면역 체계의 병사에 이르기까지 생명의 일꾼 역할을 합니다. 처음부터 이 새로운 기계를 설계하려면 단순히 브릭을 무작위로 쌓는 것이 아니라, 복잡한 종이접기 학처럼 특정한 3D 형태로 배치해야 합니다. 만약 모양이 틀리면, 그 기계는 작동하지 않습니다. 수십 년 동안 과학자들은 컴퓨터에게 이 종이접기 학을 설계하는 법을 가르치려 노력해 왔지만, 문제가 하나 있습니다. 컴퓨터는 3D 공간에서 각 브릭을 어떻게 비틀고 돌릴지 결정해야 하는데, 이는 수학적으로 매우 까다로운 춤과 같습니다.

문제는 컴퓨터가 빠르게 작동하기를 원할 때 더욱 어려워집니다. 현재의 방식은 컴퓨터가 단백질의 최종 포즈를 결정하기 위해 수백 번의 미세한 단계를 거치는 슬로우 모션 영화와 같습니다. 정확하긴 하지만, 의사들과 제약 회사들이 질병에 맞서 싸우기 위해 필요한 수백만 개의 새로운 단백질을 한꺼번에 설계하기에는 너무 느립니다. 이 뒤에 숨겨진 수학은 "리 군(Lie groups)"이라는 특별한 종류의 기하학을 포함하는데, 이는 이름은 무시무시하게 들리지만 사실 물체가 3D 공간의 규칙을 깨뜨리지 않고 어떻게 회전하고 움직이는지를 설명하는 세련된 방법일 뿐입니다. 이것은 장난감 자동차를 평평한 테이블 위에서 미끄러지듯 움직이는 것(쉬움)과 구형의 표면 위에서 공을 굴리는 것(어려움, 표면이 휘어져 있기 때문)의 차이와 같습니다.

이 논문은 단백질의 형태를 설계하는 데 있어 "빨리 감기" 버튼 역할을 하는 SE(3)-MeanFlow라는 새로운 기술을 소개합니다. 이 방법은 단백질의 최종 포즈를 알아내기 위해 수백 번의 작고 조심스러운 단계를 거치는 대신, 전체 여정의 평균 속도와 방향을 단 한 번 또는 몇 번의 거대한 도약만으로 예측하는 법을 배웁니다. 이는 마치 GPS에게 현재 위치에서의 속도만을 알려주는 것이 아니라, 전체 경로의 평균 속도를 계산하여 목적지까지 바로 점프할 수 있게 가르치는 것과 같습니다. 저자들은 단백질 회전에 특화된 이 "평균 속도" 접근 방식을 사용함으로써, 기존 방식이 100단계 이상 필요했던 것에 비해 단 10~20단계만으로 고품질의 단백질 설계를 생성할 수 있음을 보여주었습니다. 그들은 이것이 단순히 운 좋게 작동할 것이라고 추측한 것이 아니라, 방대한 실제 단백질 구조 데이터셋을 통해 테스트를 진행했으며, 그들의 빠른 방식이 기존의 느린 방식만큼 강력하고 기능적인 설계를 만들어낸다는 것을 입증하여, 좋은 결과를 얻기 위해 반드시 멀리 돌아가는 길을 택할 필요는 없다는 것을 증명했습니다.

핵심 아이디어: 슬로우 모션에서 빨리 감기로

컴퓨터가 생성하는 단백질 설계의 목표는 자연계에 존재하지 않는 새로운 형태를 만드는 것입니다. 이를 위해 AI 모델은 조각가처럼 행동하며, 노이즈 덩어리에서 시작하여 완벽한 단백질 백본(backbone)이 나타날 때까지 서서히 깎아 나갑니다. 오랫동안 최고의 조각가들은 "확산(diffusion)" 또는 "플로우 매칭(flow matching)"이라 불리는 기술을 사용해 왔습니다. 집에서 공원까지 가기 위해 500번의 작고 조심스러운 발걸음을 떼는 것을 상상해 보십시오. 길을 잃지 않기 위해 매 걸음마다 방향을 확인해야 합니다. 이 방식은 효과적이지만, 수백만 개의 공원을 방문해야 한다면 시간이 너무 오래 걸립니다.

이 논문의 저자들은 단순한 질문을 던졌습니다. 길을 잃지 않으면서 더 큰 보폭을 뗄 수는 없을까?

그들은 원래 평평하고 단순한 공간(예: 평평한 종이)을 위해 설계된 MeanFlow라는 더 새로운 아이디어를 살펴보았습니다. MeanFlow의 핵심 아이디어는 "지금 당장 어느 방향으로 가야 하는가?"라고 묻는 대신, "A 지점에서 B 지점까지 가는 데 필요한 평균 속도와 방향은 무엇인가?"라고 묻는 것입니다. 전체 여정의 평균 속도를 안다면, 500번의 작은 걸음 대신 단 한 번의 거대한 도약으로 거리를 이동할 수 있습니다.

하지만 단백질은 평평한 종이 위에서 살지 않습니다. 단백질은 회전이 까다로운, 굽어 있고 뒤틀린 표면 위에서 존재합니다. 만약 평면용 MeanFlow를 단백질에 적용하려고 하면, 두 회전의 "평균"은 단순히 산술적인 평균이 아니며 회전 순서에 따라 달라지기 때문에 수학적 오류가 발생합니다. 여기서 이 논문의 주요 돌파구가 등장합니다.

비밀 소스: 리 군(Lie Group) 지름길

저자들은 단백질의 회전이 리 군(구체적으로 $SE(3)$)이라는 특별한 수학적 가족에 속한다는 것을 깨달았습니다. 그들은 보통의 속도를 늦추는 무겁고 느린 수학적 계산을 거치지 않고도 이러한 회전을 위한 "평균 속도"를 계산하는 방법을 찾아냈습니다.

이렇게 생각해 보십시오. 팽이가 돌고 있을 때, 몇 초 동안의 평균 회전을 측정하려면 매 초마다 측정해야 하므로 어렵습니다. 하지만 팽이가 어디서 시작해서 어디서 끝났는지를 바탕으로 "총 회전량"을 알려주는 특별한 공식이 있다면, 중간 과정을 통째로 건너뛸 수 있습니다. 저자들은 이와 같은 지름길 역할을 하는 새로운 공식을 유도했습니다. 그들은 특정 수학적 공간(리 대수, Lie algebra)에서 작업함으로써 평균 속도에 대한 깔 없이 명쾌한 폐쇄형(closed-form) 답을 얻을 수 있다는 것을 증명했습니다. 즉, 컴퓨터가 답을 알기 위해 전체 여정을 단계별로 시뮬레이션할 필요 없이, 평균을 직접 계산할 수 있다는 뜻입니다.

발견한 결과: 희생 없는 속도

연구팀은 새로운 SE(3)-MeanFlow 모델을 기존의 최고 방법들과 비교 테스트했습니다. 그들은 100단계의 느린 방식부터 빛처럼 빠른 10단계까지 다양한 단계로 단백질 백본을 생성하는 챌린지를 설정했습니다.

그들이 발견한 내용은 다음과 같습니다:

속도 향상: 이 모델은 단 10~20단계만으로 고품질의 단백질을 생성할 수 있었습니다. 반면, 기존의 더 느린 방식들은 유사한 결과를 얻기 위해 100단계가 필요했습니다. 저자들이 기존 방식에 강제로 20단계만 수행하도록 했을 때, 생성된 단백질의 품질은 현저히 떨어졌습니다.
높은 품질 유지: 이러한 엄청난 속도 향상에도 불구하고, SE(3)-MeanFlow가 생성한 단백질은 여전히 "설계 가능(designable)"했습니다. 이는 만약 이들을 실제로 출력하여 만들어보려 한다면 올바른 모양으로 접힐 것임을 의미합니다. 실제로 20단계에서 이 모델의 성공률은 **86.7%**였으며, 그다음으로 우수한 경쟁 모델은 **80.6%**였습니다.
트레이드오프(Trade-off): 약간의 비용은 있습니다. 초고속 방식으로 생성된 단백질은 느리고 신중한 방식이 만든 것들에 비해 다양성이 약간 낮았습니다(즉, 서로 조금 더 비슷해 보입니다). 그러나 저자들은 수천 개를 만드는 데 걸리던 시간 동안 수백만 개의 설계를 할 수 있다는 점을 고려할 때, 이것은 작은 대가라고 제안합니다.

이것이 왜 중요한가

이것은 단순한 수학적 기술이 아니라, 의학의 미래를 위한 실질적인 도구입니다. 신약 개발은 종종 바이러스나 암세포와 싸울 수 있는 하나를 찾기 위해 수백만 개의 후보 단백질 구조를 생성해야 합니다. 만약 컴퓨터가 하나의 설계를 만드는 데 100단계가 걸린다면, 좋은 후보를 찾는 데 며칠이 걸릴 수도 있습니다. 하지만 10단계 만에 가능하다면, 동일한 탐색을 단 몇 시간 만에 끝낼 수 있습니다.

저자들은 이 "평균 속도" 접근 방식을 사용함으로써, 마침내 고처리량(high-throughput) 단백질 설계를 현실로 만들 수 있다고 제}^{\text{suggest}}$합니다. 그들은 단순히 컴퓨터 시뮬레이션에 그치지 않고, 3,600개 이상의 단백질이 포함된 실제 데이터셋으로 모델을 훈련시키고 엄격하게 테스트했습니다. 비록 그들의 방식이 아직 개선 중(특히 다양성 측면에서)이라고 언급했지만, 결과는 우리가 인류의 건강 과제에 대응하는 속도에 맞춰 새로운 의료적 돌파구를 향해 전력 질주할 수 있는 단계에 와 있음을 시사합니다.

요약하자면, 이 논문은 회전의 기하학을 조금 더 잘 이해함으로써, 우리가 더 이상 아기 걸음마를 떼는 대신 새로운 의료적 혁신을 향해 전력 질주할 수 있음을 보여줍니다.

기술 요약: SE(3)-MeanFlow

문제 정의

단백질 백본의 생성 모델링은 규정된 구조적 및 기능적 특성을 가진 단백질을 de novo로 설계하는 데 매우 중요합니다. 기존의 확산(diffusion) 및 플로우 매칭(flow-matching) 모델(예: FrameDiff, RFDiffusion, FoldFlow)은 단백질 프레임인 $SE(3)^N$ 공간에서 고품질의 생성을 달anes 성취했지만, 심각한 추론 병목 현상을 겪고 있습니다. 현재의 방법들은 정확도를 보장하기 위해 수백 단계(일반적으로 100~500회의 네트워크 함수 평가, NFE)에 걸쳐 상미분 방정식(ODE)을 수치적으로 적분해야 합니다. Lie group $SE(3)$ 상에서 각 단계는 네트워크를 평가하고 Lie group 지수 맵(exponential map)을 적용하는 과정을 포함하므로, 추론 비용이 많이 들며 수백만 개의 후보 구조를 요구하는 고처리량 신약 개발 파이프라인에는 부적합합니다.

유클리드 공간에서는 Consistency Models나 점진적 증류(progressive distillation)를 사용하여 몇 단계 생성(few-step generation)이 탐구되어 왔으나, 이러한 접근 방식은 종종 사전 훈련된 교사 모델(teacher)이나 복잡한 학습 커리큘럼을 필요로 합니다. 최근 유클리드 공간을 위한 방법인 MeanFlow는 순간 속도가 아닌 *평균 속도(average velocity)*를 모델링함으로써, 증류 없이도 1단계 생성을 가능하게 하는 자기 완결적인 대안을 제공합니다. 그러나 MeanFlow를 $SE(3)$의 곡률이 있는 다양체(manifold)로 나이브하게 확장하는 것은 부적절한데, 이는 궤적의 서로 다른 지점에 있는 속도들이 서로 다른 접공간(tangent spaces)에 존재하여 평균화를 위한 평행 이동(parallel transport)이 필요하기 때문입니다.

방법론

저자들은 단백질 프레임의 Lie group 기하학에 특화된 몇 단계 생성 프레임워크인 SE(3)-MeanFlow를 제안합니다. 이 방법은 $SE(3) \cong SO(3) \times \mathbb{R}^3$ 분해를 활용하여, 평행 이동을 피하면서 $\mathfrak{so}(3)$ 및 유클리드 공간 $\mathbb{R}^3$ 에서 직접 시뮬레이션 프리(simulation-free) 훈련 타겟을 도출합니다.

핵심 이론적 기여

적분 기반 MeanFlow 항등식: 저자들은 시간 순서가 정해진 지수 함수(time-ordered exponential)를 통해 구간 $[s, t]$ $[s, t]$ 동안의 평균 속도를 정의합니다. 이 정의를 미분함으로써, 평균 속도, 궤적 미분, 그리고 순간 속도를 연결하는 폐쇄형(closed-form) 항등식을 도출합니다.
- 회전의 경우, 이 항등식은 비가환적(non-commutative) 특성을 고려하는 우측 자코비안(right Jacobian) $J$ 를 포함합니다.
- 결과적인 훈련 목적 함수는 모델이 전체 궤적 적분 없이 오직 순간 속도만을 사용하여 평균 속도 $u(s, t, x_t)$ 를 학습할 수 있게 합니다.
폐쇄형 타겟: 평행 이동에 의존하는 일반적인 리만(Riemannian) MeanFlow 접근 방식과 달리, SE(3)-MeanFlow는 $\mathfrak{so}(3)$ 와 $\mathbb{R}^3$ 에서 폐쇄형 평균 속도 항등식을 도출합니다. 이는 평행 이동과 관련된 계산 비용과 수치적 불안정성을 제거합니다.

실용적 훈련 프레임워크

특히 $t \to 0$ 일 때(손실 함수 내의 $1/t$ 인자가 오차를 증폭시킬 수 있는 경우) 발생하는 수치적 불안정성을 해결하기 위해, 저자들은 안정적인 훈련 커리큘럼을 도입합니다:

$\alpha$ -Flow Warm-up: 2개 구간 구성에 기반한 JVP-free(Jacobian-Vector Product free) 목적 함수가 웜업 단계로 사용됩니다. 이 목적 함수는 궤적 미분을 통하지 않는 일관성 타겟(consistency target)으로 미분 타겟을 대체하여 초기 훈련 단계를 안정화합니다.
Small- $t$ Stabilized MeanFlow: 웜업 이후에는 미분 MeanFlow 손실로 전환됩니다. 저자들은 $1/t$ 인자를 흡수하기 위한 보조 변수와 small- $t$ 재매개변화(reparameterization)를 포함한 수치적 안정화 기법을 구현하여, 공격적인 단계 축소에도 견고한 훈련을 보장합니다.
Rectification (Post-Training): 궤적 경로를 더욱 직선화하여 몇 단계 regime에서의 성능을 향상시키기 위해 정류(rectification, self-reflow) 단계가 적용됩니다.

아키텍처

모델은 최소한의 수정만을 거친 ReQFlow 백본(Invariant Point Attention 네트워크)을 사용합니다:

입력 $(s, t)$ 에 대한 공유된 two-time 임베딩을 사용합니다.
강체 업데이트(rigid updates)가 시간 간격에 따라 조건화되도록 각 블록에 AdaLN-Zero 게이트를 적용합니다.
모델 크기는 약 1,680만 개의 파라미터로, 동시기에 발표된 리만(Riemannian) MeanFlow 베이스라인(4억 3,700만 개)보다 훨씬 작습니다.

주요 기여

이론적 도출: 본 논문은 $SE(3)$ 상의 MeanFlow 항등식에 대한 엄밀한 도출을 제공하며, 평행 이동 없이 Lie 대수에서의 폐쇄형 평균 속도 목적 함수를 확립합니다.
안정적인 훈련 알고리즘: $\alpha$ -Flow warm-up 및 small- $t$ 안정화 기법의 도입은 단백질 백본에 대한 몇 단계 생성을 신뢰할 수 있게 만들며, 다양체 상의 미분 타겟이 갖는 수치적 취약성을 해결합니다.
Few-Step Regime에서의 성능: SE(3)-MeanFlow는 플로우 매칭 베이스라인들에 비해 훨씬 적은 샘플링 단계로 최첨단(SOTA) 수준의 설계 가능성(designability)을 달성합니다.

실험 결과

방법론은 SCOPe 데이터셋(3,673개 단백질 백본, 길이 60–128)을 사용하여 FrameFlow, QFlow, ReQFlow, Riemannian MeanFlow(RMF) 등의 베이스라인과 비교 평가되었습니다.

설계 가능성(Designability): SE(3)-MeanFlow는 5~10배 더 많은 샘플링 단계를 사용하는 베이스라인들의 설계 가능성(scRMSD < 2Å인 백본의 비율)과 일치하거나 이를 능가합니다.
- 20 단계에서 SE(3)-MeanFlow는 0.867의 설계 가능 비율을 달성하여, RMF(0.806)와 QFlow(0.778)를 앞섭s니다.
- 10 단계에서 정류된 버전(RecSE3MF)은 0.894의 설계 가능 비율을 유지하며, 이는 ReQFlow(0.837)보다 현저히 높습니다.
효율성: 이 방법은 높은 구조적 품질을 유지하면서 샘플링 예산을 수백 단계에서 10~20 단계로 줄입니다.
다양성 및 참신성: 커버리지 중심의 베이스라인들과 비교했을 때 다양성(높은 쌍별 TM-score) 측면에서 약간의 트레이드오프가 있으나, 다양한 단계 수에 걸쳐 안정적인 이차 구조 통계(helix/strand 비율)와 C $\alpha$ 타당성을 보존합니다.
Ablation 연구: 합성 $SO(3)^2$ 벤치마크에 대한 통제된 실험은 평균 속도 매개변수화가 네트워크 아키텍처나 결합 전략보다 몇 단계 성공의 주요 동인임을 확인시켜 줍니다.

의의 및 주장

본 논문은 SE(3)-MeanFlow가 단백질 생성의 **설계 가능성-효율성 경계(designability–efficiency frontier)**를 진전시킨다고 주장합니다. Lie group으로서의 $SE(3)$의 특정 대수적 구조를 활용함으로써, 저자들은 기존 방법들이 요구하는 비용의 극히 일부만으로 고품질 생성을 가능하게 하는 시뮬레이션 프리 훈련 타겟을 도출할 수 있음을 입증했습니다.

저자들은 자신들의 접근 방식이 사전 훈련된 교사 모델이나 복잡한 증류를 필요로 하지 않는 자기 완결적(self-contained) 방식이며, 확장 가능(동시기의 리만 방법들보다 작은 모델 사용)하다는 점을 강조합니다. 일부 베이스라인에 비해 다양성이 다소 감소한다는 점을 인정하면서도, 10~20 단계 내에 설계 가능한 구조를 생성할 수 있는 능력은 수백만 개의 후보를 스크리닝해야 하는 고처리량 애플리케이션에 특히 가치 있다고 주장합니다. 이 연구는 향-조건부 생성(conditional generation) 및 모티프 스캐폴딩(motif scaffolding)으로의 확장과 진정한 1단계 생성을 향한 방향성을 제시합니다.