🧬 biology

AMix-1: A Pathway to Test-Time Scalable Protein Foundation Model

이 논문은 체계적인 훈련 스케일링 법칙, MSA 기반 인컨텍스트 학습, 그리고 진화적 테스트 타임 스케일링을 활용하여 야생형 대비 최대 50배의 활성 향상을 보이는 AmeR 변이체를 생성함으로써 강력한 단백질 설계를 달성한, 베이지안 흐름 네트워크(Bayesian Flow Networks) 기반의 17억 파라미터 단백질 파운데이션 모델인 AMix-1을 소개한다.

원저자: Changze Lv, Jiang Zhou, Siyu Long, Lihao Wang, Jiangtao Feng, Dongyu Xue, Yu Pei, Hao Wang, Zherui Zhang, Yuchen Cai, Zhiqiang Gao, Ziyuan Ma, Jiakai Hu, Chaochen Gao, Jingjing Gong, Yuxuan Song, Shuy

게시일 2026-06-09

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Changze Lv, Jiang Zhou, Siyu Long, Lihao Wang, Jiangtao Feng, Dongyu Xue, Yu Pei, Hao Wang, Zherui Zhang, Yuchen Cai, Zhiqiang Gao, Ziyuan Ma, Jiakai Hu, Chaochen Gao, Jingjing Gong, Yuxuan Song, Shuyi Zhang, Xiaoqing Zheng, Deyi Xiong, Lei Bai, Wanli Ouyang, Ya-Qin Zhang, Wei-Ying Ma, Bowen Zhou, Hao Zhou

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ⚕️ 이것은 동료 심사를 거치지 않은 프리프린트의 AI 생성 설명입니다. 의학적 조언이 아닙니다. 이 내용을 바탕으로 건강 관련 결정을 내리지 마세요. 전체 면책 조항 읽기

당신이 컴퓨터에게 새로운 단백질을 설계하는 법을 가르치고 있다고 상상해 보세요. 단백질은 우리 몸속에서 소화를 돕거나 바이러스와 싸우는 등 온갖 일을 수행하는 작고 복잡한 기계입니다. 새로운 단백질을 설계하는 것은 본 적 없는 자물쇠에 딱 맞는 새로운 열쇠를 발명하려는 것과 같습니다. 하지만 열쇠의 모양을 완벽하게 맞추지 못하면 작동하지 않기 때문에 아주 정교해야 합니다.

이 논문은 이 작업을 마스터하기 위해 특별히 설계된 새로운 "슈퍼 선생님" AI인 AMix-1을 소개합니다. 저자들은 단순히 더 큰 모델을 만든 것이 아니라, 이를 학습시키는 더 똑똑한 방법을 구축했습니다. 다음은 이 과정을 쉬운 비유를 통해 설명한 것입니다.

1. 엔진: "노이즈를 제거하는" 라디오

대부분의 AI 모델은 명확한 텍스트를 읽으며 학습합니다. 반면 AMix-1은 **베이지안 흐름 네트워크(Bayesian Flow Network)**라고 불리는 구조를 기반으로 합니다. 이것은 마치 잡음만 가득한 상태로 시작하는 라디오와 같습니다.

작동 원리: AI는 완전히 뒤섞이고 노이즈가 가득한 단백질 서열에서 시작합니다. 그런 다음 단계적으로 노이즈를 "정화"하여 그 아래에 숨겨진 선명한 단백질을 드러내려고 노력합니다.
비유: 아주 흐릿한 라디오 채널을 들으며 노래를 추측하는 상황을 상상해 보세요. 처음에는 잡음만 들립니다. 신호가 점점 뚜렷해지면(노이즈가 줄어들면), 멜로디가 들리고 그다음에는 가사가 들리기 시작합니다. AMix-1은 순수한 노이즈로부터 단백질을 완벽하게 재구성할 수 있을 때까지 이 "정화" 과정을 반복하며 연습함으로써 학습합니다.

2. 로드맵: 스케일링 법칙 ("크기가 중요하다"는 규칙)

연구진은 "AI를 더 크게 만들고 더 많은 데이터를 제공하면 정말 더 좋아질까?"라는 질문을 던졌습니다.

발견: 그들은 이 AI를 위한 예측 가능한 "물리 법칙"을 발견했습니다. 자동차 엔진이 더 많은 연료를 넣으면 더 강력해지는 것처럼, AMix-1은 크기와 데이터 양을 늘릴수록 단백질 구조를 이해하는 능력이 향상됩니다.
비유: 이것은 산을 오르는 것과 같습니다. 연구진은 AI가 얼마나 높이 올라갈 수 있는지(얼마나 좋아질 수 있는지)를 '연료'(컴퓨팅 파워)의 양만 알면 정확히 예측할 수 있도록 경로를 매우 정밀하게 그려놓았습니다. 그들은 이 지도를 사용하여 17억 개의 "뇌세포"(파라미터)를 가진 가장 큰 버전인 AMix-1을 구축했습니다.

3. "아하!" 모먼트: 창발적 능력 (Emergent Abilities)

여기서 가장 흥 excitement한 부분이 등장합니다. 연구진은 AI가 단순히 조금씩 좋아지는 것이 아니라, 성장함에 따라 이전에는 몰랐던 것을 갑자기 이해하기 시작한다는 것을 발견했습니다.

비유: 수학을 배우는 학생을 상상해 보세요. 처음에는 숫자들을 단순히 암기합니다. 그러다 어느 순간, 충분한 연습을 거치면 갑자기 "깨달음"을 얻습니다. 숫자의 뒤에 숨겨진 논리를 이해하게 되어 한 번도 본 적 없는 문제도 풀 수 있게 되는 것입니다.
결과: AMix-1은 훈련 과정에서 단백질의 글자(서열)만을 학습했음에도 불구하고, 갑자기 단백질의 형태(구조)를 이해하기 시작했습니다. 기하학을 명시적으로 배우지 않았음에도, 서열을 충분히 많이 읽음으로써 3D 형태를 스스로 알아낸 것입니다.

4. 지름길: 인컨텍스트 학습 ("말 대신 보여주기" 기술)

보통 AI에게 새로운 작업을 가르치려면 처음부터 다시 훈련시켜야 합니다. 하지만 AMix-1은 다릅니다. 이 모델은 자신의 뇌를 바꾸지 않고도 몇 가지 예시를 보는 것만으로 새로운 직무를 배울 수 있습니다.

비유: 숙련된 요리사를 생각해 보세요. 만약 당신이 그에게 특정 지역의 음식을 요리하도록 하고 싶다면, 요리 학교에 다시 보낼 필요가 없습니다. 그저 그 음식의 사진 몇 장을 보여주며 "이것과 비슷하게 만들어 보세요"라고 말하면 됩니다. 요리사는 기존의 지식을 활용해 이를 해냅니다.
AMix-1의 방식: 연구진은 AI에게 유사한 단백질들의 "앨범"(다중 서열 정렬, Multiple Sequence Alignment)을 제공합니다. AI는 이 앨범 속의 패턴을 살펴보고, 올바른 형태와 기능을 유지하면서 그 흐름에 딱 맞는 새로운 단백질을 생성합니다.

5. 실전 테스트: "슈퍼 효소"

팀은 시뮬레이션만 돌린 것이 아니라, 실제 실험실에서도 테스트를 진행했습니다.

도전 과제: 그들은 유전자 회로에서 스위치 역할을 하는 AmeR라는 단백질을 개선하고자 했습니다. 자연 상태의(wild-type) 버전도 괜찮았지만, 그들은 훨씬 더 강력한 버전을 원했습니다.
결과: AMix-1의 "말 대신 보여주기" 방식을 사용하여 새로운 AmeR 버전을 설계했습니다. 실험실에서 테스트한 결과, 이 새로운 버전은 원래의 단백질보다 50배 더 활발하게 반응했습니다. 이는 AI가 실제 작동하는 생물학적 도구를 설계할 수 있음을 증명하는 엄청난 도약입니다.

6. 진화적 루프: 테스트 타임 스케일링 ("시행착오" 엔진)

마지막으로, 그들은 재학습 없이도 작업 중에 AI를 더욱 발전시킬 수 있는 EvoAMix-1이라는 시스템을 만들었습니다.

비유: 100개의 점토 조각상을 만드는 조각가를 상상해 보세요. 심사위원이 그중 가장 좋은 5개를 뽑습니다. 그러면 조각가는 그 5개의 우승작을 새로운 "틀"로 삼아 다음 100개의 조각상을 만듭니다. 조각가의 손기술을 바꾸지 않고도, 이 과정을 반복하며 매 라운드마다 점점 더 나은 작품을 만들어내는 것입니다.
작동 방식: AI가 수많은 단백질 후보를 생성합니다. 그러면 "검증기"(컴퓨터 프로그램 또는 실험실 테스트)가 가장 우수한 것들을 골라냅니다. AI는 이 우승작들을 새로운 예시로 사용하여 다음 라운드에서 훨씬 더 나은 단백질을 생성합니다.
이점: 이 시스템에 더 많은 "체크"(예산)를 허용할수록 결과는 계속해서 좋아집니다. 계속 시도하게 두는 한, 성능은 끊임없이 향상됩니다.

요약

AMix-1은 다음과 같은 새로운 종류의 단백질 설계자입니다:

노이즈를 정화하며 학습합니다 (라디오 주파수를 맞추는 것처럼).
규모가 커질수록 더 좋아진다는 예측 가능한 지도를 따릅니다.
서열을 읽는 것만으로 3D 형태를 갑자기 "이해"합니다.
예시를 보는 것만으로 새로운 작업을 즉각적으로 배울 수 있습니다.
실제 실험실에서 자연 상태보다 50배 더 강력한 단백질을 성공적으로 만들어냈습니다.
시행착오의 진화적 루프를 통해 계속해서 발전할 수 있습니다.

이 논문은 AI와 실제 실험이 결-합되어 생명을 구하는 단백질을 그 어느 때보다 빠르게 설계하는 "랩-인-더-루프(lab-in-the-loop)" 미래를 향한 중요한 진전이라고 주장합니다.

기술 요약: AMix-1

문제 정의

현재의 단백질 파운데이션 모델(예: AlphaFold, ESM)은 구조 예측 및 역합성(inverse folding)과 같은 특정 작업에서는 진보를 이루었으나, 대규모 언어 모델(LLM)과 비교할 만한 통합되고 확장 가능한 방법론은 결여되어 있다. 일관된 성능 향상, 창발적 능력(emergent capabilities), 인컨텍스트 학습(in-context learning), 그리고 테스트 시간 스케일링(test-time scaling)을 통해 성능을 입증하는 LLM과 달리, 단백질 모델은 고충실도 단백질 설계를 달성하기 위해 이러한 원칙을 활용하는 체계적인 프레임워크를 아직 확립하지 못했다. 핵심 과제는 계산 자원을 성능과 체계적으로 교환하고, 창발적인 구조적 이해를 보이며, 작업별 미세 조정(fine-tuning) 없이도 다양한 설계 작업에 적응할 수 있는 단백질 파운데이션 모델을 구축하는 것이다.

방법론

저자들은 **베이지안 흐름 네트워크(Bayesian Flow Networks, BFNs)**를 기반으로 구축되었으며, 네 가지 기둥을 포함하는 체계적인 경로를 통해 학습된 AMix-1을 제안한다.

1. 모델 아키텍처 및 학습

생성 프레임워크: AMix-1은 BFN을 활용하며, 이는 이산적인 아미노산을 직접 모델링하는 대신 반복적인 베이지안 업데이트를 통해 단백질 서열 분포의 연속적인 파라미터를 모델링한다. 이 과정은 노이즈에 의해 섭동된 송신 분포(sender distribution)와 KL 발산(Kullback-Leibler divergence)을 최소화하기 위해 메시지를 추론하는 신경망 $\phi$ 인 수신 분포(receiver distribution)를 포함한다.
아키텍처: 이 모델 시리즈는 회전 위치 임베딩(Rotary Position Embeddings, RoPE)을 사용하는 인코더 전용 트랜스포머(encoder-only Transformer)를 기반으로 한다. 저자들은 모델을 800만 개에서 17억 개의 파라미터 규모로 확장했다.
사전 학습(Pretraining): 학습은 UniRef50 데이터셋(4,150만 개의 서열)에서 혼합 정밀도(BF16) 설정으로 수행되었다. 노이즈 수준 $\alpha$ 는 스케줄 $\beta(t) = \beta_1 t^2$ 에 의해 제어된다.

2. 스케일링 법칙 및 창발적 능력

예측적 스케일링: 저자들은 교차 엔트로피 손실( $L$ )을 계산 비용(FLOPs), 모델 크기( $N$ ), 데이터 토큰( $D$ )과 연결하는 예측적 스케일링 법칙을 확립했다. 이들은 적절한 노이즈 수준( $\alpha = 0.16, 0.32$ ) 하에서 손실이 멱함수 관계 $L(F) = E_0 + e^{a \cdot F^b}$ 를 따른다는 것을 발견했다. 극단적인 노이즈 수준( $\alpha = 0.08, 0.64$ )에서는 확장 불가능한 동작이 나타났다.
창발적 구조적 이해: 본 연구는 학습 손실이 임계값 아래로 떨어짐에 따라 구조적 이해(pLDDT 및 TM-score로 측정)가 점진적으로 창발됨을 보여준다. 이러한 능력은 명시적인 구조적 감독 없이, 순수하게 서열 수준의 목적 함수와 충분한 연산량에 의해 유도된다.

3. 인컨텍스트 학습 (In-Context Learning, ICL)

메커니즘: AMix-1은 다중 서열 정렬(Multiple Sequence Alignments, MSAs)을 프롬프트로 취급함으로써 단백질 설계를 통합한다. 미세 조정을 하는 대신, 모델은 MSAs로부터 유도된 위치별 빈도 프로파일(position-wise frequency profiles)에 조건화된다.
프로세스: MSA는 각 위치에서의 아미노산에 대한 범주형 분포인 프로파일 $P$ 로 압축된다. 그 후 AMix-1은 $P$ 에 조건화된 서열 $x$ 를 생성하여 진화적 제약, 구조적 무결성 및 기능적 관련성을 보존한다.

4. 테스트 시간 스케일링 (Test-Time Scaling, TTS)

EvoAMix-1: 성능을 더욱 향상시키기 위해, 저자들은 진화적 테스트 시간 스케일링 알고리즘인 EvoAMix-1을 도입했다. 이 프레임워크는 **제안자-검증자 루프(proposer-verifier loop)**로 작동한다:
1. 제안(Propose): AMix-1은 초기 MSA 프로파일을 기반으로 후보 서열 배치를 생성한다.
2. 검증(Verify): 외부 검증기(in silico 지표 또는 wet-lab 분석)가 후보들을 평가한다.
3. 업데이트(Update): 상위 $k$ 개의 고적합 변이들을 사용하여 정교한 프로파일(pseudo-MSA)을 구축하며, 이는 다음 반복을 위한 프롬프트 역할을 한다.
차별점: 모델 파라미터를 업데이트하는 전통적인 방식(경사도 기반)과 달리, EvoAMix-1은 모델 가중치는 고정한 채 조건(프롬프트)을 업데이트한다(조건 기반). 이를 통해 다양한 검증 지표의 플러그 앤 플레이(plug-and-play) 통합이 가능하다.

주요 결과

스케일링 및 창발

모델 규모: 17억 개의 파라미터를 가진 모델(AMix-1-1.7B)이 성공적으로 학습되었으며, 예측 가능한 스케일링 법칙을 입증했다.
창발: 구조적 지표(TM-score, pLDDT)는 교차 엔트로피 손실이 특정 임계값 아래로 떨어질 때, 특히 중간 정도의 노이즈 수준( $\alpha=0.16$ )에서 급격한 증가(창발)를 보였다. 극단적인 노이즈 수준은 이러한 창발을 억제했다.

인컨텍스트 학습 성능

In Silico: AMix-1은 미세 조정 없이도 오펀 단백질(orphan proteins) 및 무작위 상동 단백질(random homologs)을 포함한 다양한 시나리오에서 높은 구조적 일관성(TM-score > 0.9)과 기능적 특이성(CLEAN을 통한 높은 EC 번호 신뢰도, CLIPZyme을 통한 촉매 활성 보존)을 가진 단백질을 성공적으로 생성했다.
Wet-Lab 검증: 이 모델은 AmeR 전사 억제제 변이 설계에 사용되었다. 가장 우수한 AMix-1 설계 변이는 야생형 대비 50배의 활성 증가(억제력)를 달성하였으며, 이는 단일 돌연변이 라이브러리 및 최첨단 유도 진화 방법인 EvoAI보다 뛰어난 성능을 보였다.

테스트 시간 스케일링 (EvoAMix-1)

확장성: 6가지 in silico 유도 진화 벤치마크(구조적, 생물물리학적 및 기능적 작업) 전반에 걸쳐, EvoAMix-1은 검증 예산(검증기 호출 횟수)이 증가함에 따라 단조적인 성능 향상을 보여주었다.
비교: EvoAMix-1은 6개 작업 중 5개에서 기존의 최첨단 베이스라인(ALDE, EVOLVEpro, MLDE)을 능가하거나 대등한 성능을 보였다. 또한 제한된 돌연변이 체계를 가진 방법들이 보이는 성능 정체 현상을 피함으로써, 서열 공간에 대한 더 넓은 탐색을 가능하게 했다.

의의 및 주장

본 논문은 LLM의 성공을 모방하는 단백질 파운데이션 모델의 체계적인 패러다임을 구축했다고 주장한다. 주요 기여는 다음과 같다:

방법론적 통합: 스케일링 법칙, 창발적 능력 분석, 인컨텍스트 학습 및 테스트 시간 스케일링에 기반한 확장 가능한 단백질 설계를 위한 로드맵을 제시한다.
BFN 특성화: 단백질 모델링 맥의 베이지안 흐름 네트워크(BFN)를 위해 스케일링 법칙과 창발적 능력을 구체적으로 규명하고, 노이즈 스케줄링의 결정적인 역할을 식별한 최초의 연구이다.
통합 설계 프레임워크: MSA 기반의 인컨텍스트 학습을 활용함으로써, AMix-1은 구조 및 기능 가이드 설계를 단일 프레임워크로 통합하며, 이를 위해 작업별 미세 조정이 필요하지 않다.
실제적 영향력: 고활성 AmeR 변이의 성공적인 엔지니어링은 실질적인 기능적 단백질 공학에 대한 모델의 잠재력을 입증한다.
Lab-in-the-loop 잠재력: EvoAMix-1 알고리즘은 실험적 피드백을 바탕으로 모델 재학습 없이 설계를 반복적으로 개선할 수 있는 "실험실 루프 내(lab-in-the-loop)" 단백질 설계의 토대를 마련한다.

저자들은 AMix-1이 현재 서열 기반이며(학습 중 명시적 구조 데이터를 무시함), 테스트 시간 스케일링이 시뮬레이션된 작업에서만 검증되었다는 한계를 인정하면서도, 이를 향후 연구의 즉각적인 목표로 보고 있다.