ProtNHF: Neural Hamiltonian Flows for Controllable Protein Sequence Generation

이 논문은 추론 시 분석적 편향 함수를 적용하여 재학습 없이도 아미노산 조성 및 전하와 같은 단백질 서열 속성을 연속적이고 정량적으로 제어할 수 있는 생성 모델 'ProtNHF'를 제안합니다.

핵심

🍳 1. 기존 방식 vs. 새로운 방식 (ProtNHF)

기존 방식: "새로운 요리사를 고용하는 것"
기존의 인공지능 모델들은 특정 조건 (예: "매운맛을 내는 단백질", "전하가 음 (-) 인 단백질") 을 원할 때마다, 그 조건에 맞춰 모델을 다시 학습시켜야 했습니다. 마치 "매운 요리를 잘하는 요리사"를 구하려면 기존 요리사를 해고하고 새로 고용하거나, 기존 요리사에게 매운맛 레시피를 다시 가르쳐야 하는 것과 같습니다. 시간도 많이 들고 비용도 비쌉니다.

새로운 방식 (ProtNHF): "요리사의 손맛을 조절하는 '간장'과 '소금'"
ProtNHF 는 완전히 새로운 접근법을 사용합니다. 이 모델은 이미 훌륭한 요리사 (기본적인 단백질 생성 능력) 로 훈련되어 있습니다. 우리가 원하는 조건 (예: "더 매운맛", "더 짠맛") 을 원할 때, 모델을 다시 훈련시키지 않고 생성하는 순간 (추론 단계) 에 '간장'이나 '소금' 같은 조절제 (Bias) 를 살짝 뿌려주면 됩니다.

이 조절제는 물리학적 원리 (에너지) 를 기반으로 만들어져서, 요리사의 손맛을 자연스럽게 바꾸면서도 요리의 기본 맛 (단백질의 구조) 을 망가뜨리지 않습니다.

⚛️ 2. 핵심 원리: "Hamiltonian Flow (해밀토니안 흐름)"란 무엇일까?

이 모델의 핵심은 **'해밀토니안 역학 (Hamiltonian Dynamics)'**이라는 물리학 개념을 차용한 것입니다.

• 비유: "공을 굴리는 언덕"
  • imagine you have a ball (단백질 서열) on a hilly landscape (에너지 지형).
  • 기존 모델들은 이 공이 어디로 굴러갈지 확률적으로 예측했습니다.
  • ProtNHF 는 이 공이 물리 법칙 (힘과 운동량) 에 따라 굴러가는 경로를 계산합니다.
  • 여기서 **'에너지 (Energy)'**가 중요한 역할을 합니다. 우리가 원하는 단백질의 특성 (예: 특정 아미노산이 많아야 함) 을 **'언덕의 모양을 살짝 변형시키는 것'**으로 표현합니다.
  • 예를 들어, "양전하를 가진 아미노산 (Lysine) 을 줄이고 싶다"면, 그 아미노산이 있는 곳의 언덕을 살짝 높여서 공이 그쪽으로 굴러가지 못하게 막는 것입니다.

이렇게 언덕의 모양 (에너지) 만 살짝 바꾸면, 공 (생성된 단백질) 은 자연스럽게 우리가 원하는 방향으로 굴러가게 됩니다. 모델을 다시 가르칠 필요 없이, 조절제 (Bias) 만 바꾸면 되는 것입니다.

🎛️ 3. ProtNHF 가 할 수 있는 일 (실제 실험 결과)

저자들은 이 모델로 세 가지 종류의 '조절'을 성공적으로 시연했습니다.

1. 특정 재료 줄이기/더하기 (Coulomb & Gaussian Bias)

   • 상황: "리신 (Lysine) 이라는 아미노산이 너무 많아요. 줄여주세요."
   • 해결: 리신이 있는 곳에 '반발력'을 주는 조절제를 뿌렸습니다.
   • 결과: 리신의 양이 조절된 강도에 비례해서 자연스럽게 줄어들었습니다. 반대로 아스파르트산 (Asp) 을 늘리고 싶으면 '끌어당기는 힘'을 주면 됩니다.
   • 중요한 점: 이 과정에서 단백질이 뭉개지거나 이상한 모양이 되지 않았습니다. (구조적 안정성 유지)

2. 특정 위치 고정하기 (Harmonic Bias)

   • 상황: "단백질의 첫 번째 글자는 무조건 '메티오닌 (Met)'이어야 해요."
   • 해결: 첫 번째 위치에만 '자석'을 붙여 고정했습니다.
   • 결과: 첫 글자가 Met 인 단백질들이 생성되었고, 오히려 구조적 다양성이 더 좋아졌습니다.

3. 전체적인 성질 조절하기 (Net Charge Control)

   • 상황: "이 단백질의 전체 전하 (Net Charge) 를 0 으로 맞춰주세요."
   • 해결: 단백질 전체의 전하를 계산하는 함수에 '목표값'을 설정하고 조절했습니다.
   • 결과: 생성된 단백질들의 전하가 목표값 (-1 등) 에 매우 가깝게 조절되었습니다.

🌟 4. 왜 이것이 중요한가요?

• 유연성: 새로운 조건이 생기면 모델을 다시 훈련시킬 필요가 없습니다. 마치 사진 편집 프로그램에서 '밝기'나 '대비'를 조절하듯, 단백질의 성질을 실시간으로 조절할 수 있습니다.
• 물리학적 해석 가능성: 단순히 "AI 가 이렇게 만들었어"가 아니라, "에너지 장벽을 이렇게 낮췄기 때문에 이렇게 변했다"는 물리학적 원리로 설명할 수 있어 신뢰도가 높습니다.
• 미래의 응용: 인공 단백질 설계, 새로운 약물 개발, 특정 기능을 가진 효소 만들기 등에 매우 유용하게 쓰일 수 있습니다.

📝 요약

ProtNHF는 단백질 레시피를 만드는 AI 입니다. 기존에는 새로운 레시피를 만들 때마다 AI 를 다시 공부시켜야 했지만, 이 모델은 생성할 때 '조절제 (Bias)'만 살짝 뿌려주면 원하는 맛 (아미노산 구성, 전하 등) 을 내면서도 요리의 기본 맛 (구조) 을 해치지 않습니다. 마치 요리사의 손맛을 조절하는 소금과 후추처럼, 물리학적 원리를 이용해 단백질을 정밀하게 설계할 수 있는 새로운 도구를 제시했습니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 현재의 한계: 계산 단백질 설계 분야에서 단백질 서열 생성은 중요한 과제이나, 기존 대부분의 접근법은 특정 조건 (Conditioning) 을 부여하기 위해 모델의 재학습 (Retraining), 분류기 가이드 (Classifier Guidance), 또는 아키텍처 수정에 의존합니다. 이는 새로운 속성 (예: 전하, 용해도, 아미노산 조성) 을 목표로 할 때마다 계산 비용과 시간이 많이 소모되며 유연성이 떨어집니다.
• 기존 방법의 부족: 구조 기반 생성 모델 (예: Chroma) 은 3 차원 구조 공간에서는 프로그래밍이 가능하지만, 전역적인 서열 수준의 통계 (아미노산 조성, 순 전하 등) 에 대한 정량적이고 연속적인 제어를 제공하지는 못합니다.
• 목표: 재학습 없이 추론 시간 (Inference time) 에만 분석적 편향 함수 (Analytical bias functions) 를 적용하여 단백질 서열의 속성을 연속적이고 정량적으로 제어할 수 있는 생성 모델 개발.

2. 방법론 (Methodology)

논문은 **신경 해밀토니안 흐름 (Neural Hamiltonian Flows, NHF)**을 기반으로 한 ProtNHF 모델을 제안합니다.

가. 핵심 개념: 해밀토니안 역학 (Hamiltonian Dynamics)

• NHF 는 위상 공간 (Phase space) 의 가우시안 분포를 타겟 분포로 변환하는 가역적 (Invertible), 부피 보존 (Volume-preserving) 변환을 학습합니다.
• 시스템의 해밀토니안 $H(q, p)$는 위치 $q$ (잠재 좌표) 와 운동량 $p$에 의존하며, $H(q, p) = V(q) + K(p)$로 정의됩니다.
  • $V(q)$: 학습된 퍼텐셜 에너지 함수 (Transformer 기반).
  • $K(p)$: 명시적인 운동 에너지 항.
• 스플렉틱 (Symplectic) 적분기 (Leapfrog): 연속적인 해밀토니안 역학을 이산적으로 근사하여 데이터 분포를 매핑합니다.

나. 단백질 서열의 연속적 표현 (Continuous Relaxation)

• 단백질 서열은 이산적 (Discrete) 인 아미노산으로 구성되나, NHF 는 연속 공간에서 작동해야 합니다.
• Argmax Flow 기법: 이산적인 원-핫 (One-hot) 인코딩 $x$를 연속적인 좌표 $q$로 매핑하기 위해 가우시안 노이즈와 임계값 변수를 활용합니다. 이는 $x = \text{argmax}(q)$로 역변환이 가능하여 완전한 쌍대성 (Bijection) 을 보장합니다.

다. 추론 시간 조건부 생성 (Inference-time Conditional Generation)

• 에너지 편향 (Energy Shaping): 학습된 해밀토니안 $H(q, p)$에 외부 편향 퍼텐셜 $U(q)$를 추가하여 새로운 해밀토니안 $H_b(q, p) = H(q, p) + kU(q)$를 정의합니다.
  • $k$: 편향 강도 (Conditioning strength).
  • 장점: 모델 재학습 없이, 오직 추론 단계에서 역학 방정식을 수정함으로써 원하는 속성을 제어할 수 있습니다.
• 편향 함수 유형:
  1. 쿨롱 (Coulomb) 편향: 특정 아미노산의 출현을 억제하거나 촉진 (예: Lysine 감소).
  2. 가우시안 (Gaussian) 편향: 특정 아미노산의 농도를 연속적으로 조절 (예: Asp 증가).
  3. 조화 (Harmonic) 편향: 특정 위치의 아미노산 고정 (예: N 말단 Met) 또는 전역 속성 (순 전하 등) 제어.

라. 모델 아키텍처

• 퍼텐셜 에너지 함수 ($V_\theta$): ESM-2 에서 영감을 받은 경량 Transformer 아키텍처 사용 (8M 파라미터 규모).
• Attention: 계산 효율성을 위해 선형 Attention 메커니즘 (Performer) 적용.
• 학습: UniProtKB 데이터베이스의 약 9 만 개 서열을 사용하여 학습.

3. 주요 기여 (Key Contributions)

1. NHF 의 단백질 생성 적용: 복잡한 단백질 서열 공간 모델링에 신경 해밀토니안 흐름을 성공적으로 적용했습니다.
2. 재학습 없는 제어 메커니즘: 물리 기반의 에너지 편향을 도입하여, 모델 구조 변경이나 재학습 없이도 아미노산 조성, 전하 등 전역 속성을 연속적이고 예측 가능하게 제어하는 프레임워크를 제시했습니다.
3. 물리적으로 해석 가능한 생성: 분자 동역학 (Molecular Dynamics) 의 편향 퍼텐셜 개념을 생성 모델에 도입하여, 생성 과정을 물리적으로 해석 가능한 에너지 지형 (Energy landscape) 의 변형으로 설명했습니다.

4. 실험 결과 (Results)

• 무조건부 생성 (Unconditional Generation):

  • 품질: 짧은 길이 (20~30 잔기) 의 서열에서 ESM-2 유사 퍼플렉시티 (pppl) 와 AlphaFold2 pLDDT 점수가 경쟁력 있는 수준을 보였습니다.
  • 구조적 일관성: 생성된 단백질은 주로 $\alpha$-나선 구조를 형성하며, AlphaFold2 는 높은 구조적 신뢰도 (pLDDT > 70) 를 보였습니다. 길이가 증가함에 따라 pppl 은 감소하지만, 구조적 무결성은 유지되었습니다.
  • 저복잡도 영역 (LCR): 짧은 서열에서 반복적 패턴이 관찰되기도 했으나, 길이가 길어질수록 LCR 비율이 감소하여 모델이 단순 반복이 아닌 의미 있는 서열 통계를 학습했음을 시사합니다.

• 조건부 생성 (Conditional Generation):

  • 조성 제어: 쿨롱 편향으로 Lysine 함량을 줄이거나, 가우시안 편향으로 Aspartic acid 함량을 늘리는 실험에서, 편향 강도 ($k$) 를 조절함에 따라 해당 아미노산 비율이 연속적이고 단조적으로 (Monotonic) 변화했습니다.
  • 위치 및 전역 속성 제어:
    • 위치: 조화 편향을 통해 서열의 N 말단을 Met 로 고정하는 것이 가능했으며, 이는 생물학적 타당성을 높이고 구조적 다양성을 증가시켰습니다.
    • 전하: 순 전하 (Net charge) 를 목표값 (예: 0 또는 -1) 으로 조정하는 편향을 적용했을 때, 생성된 서열의 평균 전하가 목표값에 수렴했습니다.
  • 품질 유지: 조건부 생성 시에도 ESM-2 pppl 과 AlphaFold pLDDT 점수가 크게 저하되지 않았으며, 오히려 일부 조건에서는 구조적 안정성이 향상되기도 했습니다.

5. 의의 및 결론 (Significance)

• 패러다임 전환: 기존 생성 모델의 조건부 제어 방식 (재학습, 분류기 가이드) 과 달리, **해밀토니안 역학의 에너지 지형 변형 (Energy Shaping)**을 통해 조건부 생성을 수행하는 새로운 접근법을 제시했습니다.
• 유연성과 효율성: 하나의 학습된 모델로 다양한 물리/화학적 제약 조건을 추론 시간에 즉시 적용할 수 있어, 단백질 공학 및 신약 개발에서의 실험 설계 효율성을 극대화합니다.
• 미래 전망: 이 프레임워크는 구조 생성, 기능 부위 타겟팅, 정전기적 제약 등 더 풍부한 물리 기반 제약 조건을 생성 역학에 통합할 수 있는 기반을 마련했습니다.

요약하자면, ProtNHF는 단백질 서열 생성을 물리학적 해밀토니안 시스템으로 모델링하여, 재학습 없이도 분석적 편향을 통해 단백질의 화학적/물리적 속성을 정밀하게 조절할 수 있는 혁신적인 생성 모델입니다.