EvoFlows: Evolutionary Edit-Based Flow-Matching for Protein Engineering

이 논문은 템플릿 단백질 서열에서 특정 위치와 종류를 제어 가능한 삽입, 삭제, 치환을 통해 자연스러운 변이체를 생성하는 새로운 단백질 공학 모델인 EvoFlows 를 제안하고, 기존 모델과 유사한 분포 학습 능력과 함께 더 우수한 변이 생성 성능을 입증합니다.

핵심

🧬 EvoFlows: "단백질 수리공"을 위한 똑똑한 지도

1. 배경: 단백질은 왜 고쳐야 할까요?

단백질은 우리 몸의 '작업대'이자 '기계'입니다. 하지만 우리가 원하는 대로 작동하지 않을 때가 많습니다. 예를 들어, 약을 더 잘 듣게 하거나, 독소를 더 잘 분해하게 하려면 기존 단백질의 일부만 살짝 고쳐야 합니다. 이를 **단백질 최적화 (Protein Optimization)**라고 합니다.

기존의 AI 모델들은 단백질을 만들 때 두 가지 방식 중 하나를 썼습니다:

• 새로 만들기 (De-novo): 아무것도 없는 상태에서 완전히 새로운 단백질을 처음부터 만듭니다. (비유: 차를 새로 설계해서 조립하는 것)
• 기존 것 다 지우고 다시 쓰기: 기존 단백질을 가져와서 글자 하나하나를 가리고 (Masking), AI 가 빈칸을 채우게 합니다. (비유: 책의 특정 페이지를 지우고 AI 에게 다시 쓰게 하는 것)

하지만 이 방식들은 효율적이지 않거나 너무 많은 것을 바꿀 위험이 있습니다. 우리는 "기존 구조는 그대로 유지하면서, 딱 필요한 부분만 살짝 고치는" 방식이 필요합니다.

2. EvoFlows 의 등장: "수정 (Edit)"에 특화된 AI

EvoFlows 는 바로 이 **'수정'**에 특화된 모델입니다.

• 기존 모델의 문제점: 책의 특정 페이지를 지우고 다시 쓰게 하면, AI 는 그 페이지뿐만 아니라 책의 전체 흐름을 다시 생각해야 할 수도 있습니다. 또한, 책의 길이가 바뀌면 (글자를 추가하거나 지우면) 기존 모델은 당황합니다.
• EvoFlows 의 해결책: EvoFlows 는 **"이곳에 글자를 추가해", "저곳에 글자를 지워", "이 글자를 다른 글자로 바꿔"**라고 직접 지시하는 방식입니다.
  • 비유: 기존 모델이 "이 책을 다시 써줘"라고 하면, EvoFlows 는 "이 책의 3 페이지 5 번째 줄에 '사과'를 '배'로 바꿔주고, 10 번째 줄에 '과일'이라는 단어를 한 줄 더 추가해줘"라고 말합니다.
  • 핵심: 이 모델은 어디를 (위치) 고치고 무엇을 (종류) 고칠지 동시에 예측합니다.

3. 어떻게 작동할까요? "진화하는 지도"

EvoFlows 는 자연界的인 진화를 배웁니다.

1. 동료 찾기 (Homologs): AI 는 특정 단백질 (예: 항체) 을 주면, 진화적으로 비슷한 다른 단백질들 (친척들) 을 찾아냅니다.
2. 변화 추적: 이 친척들이 어떻게 서로 달라졌는지 (어떤 글자가 추가되거나 사라졌는지) 를 분석합니다. 마치 "할아버지 -> 아버지 -> 아들"로 이어지는 가족 나무에서 누가 어떤 특징을 물려받았는지 추적하는 것과 같습니다.
3. 학습: AI 는 "이런 변화가 일어나면 단백질이 여전히 제 기능을 할 확률이 높다"는 패턴을 학습합니다.
4. 생성: 이제 새로운 단백질을 만들 때, AI 는 기존 단백질을 기반으로 이 '진화 패턴'을 따라가며 자연스럽게 변형된 새로운 버전을 만들어냅니다.

4. 왜 이것이 혁신적인가요?

• 길이가 달라져도 상관없어요: 기존 모델들은 책의 페이지 수가 고정되어야 했지만, EvoFlows 는 페이지를 추가하거나 뺄 수 있습니다. (예: 항체의 CDR 영역처럼 길이가 변하는 단백질에 아주 유용합니다.)
• 자연스러운 변이: AI 가 임의로 글자를 바꾸는 게 아니라, 진화 과정에서 실제로 일어날 법한 변화만 만들어냅니다. 그래서 만들어진 단백질이 자연계에 존재할 법한 '자연스러운' 형태를 띱니다.
• 정밀한 제어: 연구자들은 "변화를 너무 많이 주지 마"라고 조절할 수 있습니다. 마치 사진 편집기에서 '강도'를 조절하듯이, 변이의 정도를 조절할 수 있습니다.

5. 실험 결과: 실제로 잘 작동할까요?

연구진은 다양한 단백질 (항체, 효소 등) 로 실험을 했습니다.

• 결과: EvoFlows 는 기존에 가장 잘하던 AI 모델들 (ESM-2 등) 과 비슷하거나 더 좋은 성능을 냈습니다.
• 특이점: 기존 모델들은 단백질을 조금만 고치려 할 때 전체를 다시 생성해야 하는 비효율이 있었지만, EvoFlows 는 적은 노력으로 더 자연스럽고 다양한 변이를 만들어냈습니다.

🌟 한 줄 요약

EvoFlows 는 "단백질을 처음부터 새로 만드는 게 아니라, 기존 단백질을 진화처럼 자연스럽게 '수정'하여 원하는 기능을 갖게 만드는 똑똑한 AI 도구"입니다.

이 기술이 실용화되면, 더 효과적이고 안전한 신약 개발이나 환경 정화용 효소 개발이 훨씬 빨라질 것으로 기대됩니다.

기술 요약

1. 문제 정의 (Problem)

단백질 최적화 (Protein Optimization) 는 기존 단백질의 기능을 유지하면서 특정 성질을 개선하기 위해 서열에 국소적인 편집 (돌연변이, 삽입, 삭제) 을 가하는 과정입니다. 최근 단백질 언어 모델 (PLMs) 이 이 분야에서 널리 사용되고 있지만, 다음과 같은 한계가 존재합니다.

• 자기회귀 모델 (Autoregressive Models): 전체 서열을 처음부터 다시 생성해야 하므로, 기존 템플릿에서 소수의 편집만 가지는 '국소적 변이'를 생성하는 데 비효율적입니다.
• 마스킹 언어 모델 (Masked Language Models, MLM): 특정 위치를 마스킹하고 채우는 방식은 고정된 서열 길이를 가정하며, 삽입 (Insertion) 이나 삭제 (Deletion) 와 같은 가변 길이 편집을 자연스럽게 처리하기 어렵습니다.
• 현실적 요구: 단백질 공학에서는 특정 템플릿을 기반으로 어떤 편집을 (변환, 삽입, 삭제) 어디에 적용할지를 동시에 예측할 수 있는 모델이 필요합니다.

2. 방법론 (Methodology)

저자들은 EvoFlows를 제안했습니다. 이는 단백질 최적화에 특화된 이산형 흐름 매칭 (Discrete Flow Matching, DFM) 기반의 모델로, '편집 흐름 (Edit Flows)'을 학습하여 서열 간의 전이 규칙을 포착합니다.

핵심 기술 요소:

1. 편집 기반 흐름 (Edit Flows):

   • 기존 DFM 은 고정된 길이의 토큰 시퀀스만 다뤘으나, EvoFlows 는 치환 (Substitution), 삽입 (Insertion), 삭제 (Deletion) 을 포함한 기본 편집 연산 (Elementary Edit Operations) 을 확장하여 적용합니다.
   • 두 서열 ($x_0, x_1$) 을 정렬 (Alignment) 하여 빈 토큰 ($\varepsilon$) 을 포함시킨 확장 공간 ($\mathcal{Z}^*$) 에서 학습합니다. 이를 통해 길이가 다른 서열 간의 매핑을 가능하게 합니다.

2. 동형체 (Homolog) 기반 학습 분포:

   • 단백질의 진화적 관계 (동질성) 가 기능적 유사성을 나타낸다는 가정을 기반으로 합니다.
   • 시작 단백질 ($x^\dagger$) 에 대해 대규모 데이터베이스 (UniRef30, OAS) 에서 동질체 (Homologs) 를 검색하여 집합 $R(x^\dagger)$를 구성합니다.
   • 모델은 이 집합 내에서 시작 서열과 동질체인 다른 서열들 간의 전이 확률 $\pi(x, x')$을 학습하도록 훈련됩니다.

3. 아키텍처:

   • 임베딩: 사전 학습된 ESM-2 모델의 인코더 트렁크를 사용하여 시퀀스 임베딩을 생성합니다.
   • 시간 조건부 (Time Conditioning): Feature-wise Linear Modulation (FiLM) 을 사용하여 시간 $t$에 따른 임베딩을 변조합니다. 이는 고정된 입력에 대해 시간 $t$를 변경하는 계산 비용을 최소화하여 추론 효율성을 높입니다.
   • 예측 헤드: 얕은 MLP 를 사용하여 각 위치에서의 편집 유형과 빈도 (Rate) 를 예측합니다.

4. 추론 (Inference):

   • 연속 시간 마르코프 체인 (CTMC) 을 시뮬레이션하여 $x_0$에서 $x_1$로 이동하는 경로를 생성합니다.
   • Clock Normalization: 시퀀스 길이에 독립적으로 모델이 수행하는 편집 횟수를 제어할 수 있는 하이퍼파라미터를 도입하여, 원하는 수준의 변이 정도를 조절합니다.

3. 주요 기여 (Key Contributions)

• 새로운 프레이밍워크: 단백질 최적화를 위해 자기회귀나 마스킹 방식이 아닌, 가변 길이를 지원하는 편집 기반 흐름 매칭 (Edit Flows) 을 처음으로 단백질 도메인에 적용했습니다.
• 동시 예측 능력: 기존 모델들이 편집 위치를 미리 지정하거나 전체 서열을 재생성해야 했던 것과 달리, EvoFlows 는 어떤 편집을 어디에 적용할지를 동시에 예측합니다.
• 확장된 평가 벤치마크:
  • 결정론적 편집 패턴을 가진 합성 데이터셋을 구축하여 모델이 편집 유형 (삽입, 삭제, 치환) 을 정확하게 구분하는지 검증했습니다.
  • 6 가지 다양한 단백질 패밀리 (항체, 효소, 성장 인자 등) 에 대해 EvoFlows 와 기존 PLM 기반 방법 (Evotuning 등) 을 비교 평가했습니다.

4. 실험 결과 (Results)

• 결정론적 벤치마크 (Deterministic Setup):
  • 편집 유형 분류 (Precision, Recall, F1-score) 에서 No-op(변화 없음) 98.2%, 삽입 80.8%, 치환 82.3%, **삭제 87.9%**의 높은 정확도를 기록했습니다. 이는 모델이 편집의 위치와 유형을 명확히 학습했음을 의미합니다.
• 자연 단백질 군집 평가 (Natural Protein Communities):
  • 자연스러움: EvoFlows 가 생성한 변이체들은 holdout 데이터셋의 분포와 통계적으로 매우 유사했습니다 (KL 발산, MMD, Profile Log-likelihood 등 지표에서 우수).
  • 비교 우위:
    • Evotuning (기존 PLM 미세조정): 자연스러운 서열을 생성하지만, 평균적으로 1.5 회 미만의 편집만 수행하여 탐색 범위가 매우 제한적이었습니다.
    • EvoFlows: 자연스러운 특성을 유지하면서도 더 큰 편집 거리 (Levenshtein distance) 를 가진 변이체를 생성하여, 기존 방법보다 훨씬 넓은 탐색 공간을 제공합니다.
    • 무작위 변이: 모든 지표에서 가장 낮은 성능을 보였습니다.
• 시계열 분석: Clock Normalization 파라미터를 조절함으로써, 모델이 수행하는 편집의 수를 정밀하게 제어할 수 있음을 확인했습니다.

5. 의의 및 결론 (Significance)

• 과학적 의의: 단백질 진화는 본질적으로 점진적인 편집 (돌연변이, 삽입, 삭제) 의 연속입니다. EvoFlows 는 이러한 진화적 경로를 직접 모델링하여, 단백질 공학의 실제 요구사항 (국소적 최적화, 가변 길이 처리) 에 가장 부합하는 생성 모델을 제시했습니다.
• 실용적 가치:
  • 기존 PLM 들이 가진 "전체 서열 재생성"의 비효율성과 "고정 길이"의 제약을 해결했습니다.
  • 약물 개발 파이프라인에서 리드 단백질 (Lead Protein) 을 기반으로 기능은 유지하되 새로운 성질을 가진 변이체를 효율적으로 탐색하는 데 활용 가능합니다.
• 향후 방향: 현재는 in silico (컴퓨터 시뮬레이션) 평가에 그쳤으나, 향후 실험실 검증 (Wet-lab validation) 을 통해 기능적 적합성을 입증하고, 특정 속성 (열안정성, 결합 친화도 등) 에 기반한 조건부 생성 (Conditioning) 으로 확장할 수 있을 것으로 기대됩니다.

요약: EvoFlows 는 단백질 최적화 문제를 '편집 흐름'으로 재정의하여, 기존 언어 모델의 한계를 넘어 가변 길이를 지원하는 자연스러운 단백질 변이체 생성을 가능하게 한 획기적인 접근법입니다.