Steering Generative Models for Protein Design: Aligning and Conditioning Strategies

논문 개요: 단백질 설계를 위한 생성 모델의 조향 (Steering) 전략

이 논문은 자연 단백질 데이터로 학습된 생성 모델 (Generative Models, GMs) 이 학습 분포의 가장 확률이 높은 모드 (modes) 에만 집중하여, 진화적으로 희귀하지만 기능적으로 우수한 단백질 (예: 극한 내열성, 새로운 촉매 기능 등) 을 생성하는 데 한계가 있다는 문제를 제기합니다. 이를 해결하기 위해, 학습된 생성 모델을 사용자가 원하는 특정 속성 (예: 안정성, 결합 친화도, 효소 활성 등) 을 갖도록 조향 (Steering) 하는 다양한 전략들을 체계적으로 분류하고 검토합니다.

---

1. 문제 정의 (Problem)

• 자연 분포의 한계: 기존 생성 모델 (확산 모델, 단백질 언어 모델 등) 은 자연계에 존재하는 단백질 데이터로 학습되므로, 자연 선택을 통해 형성된 '자연 분포 $p(x)$'를 모방합니다.
• 희귀한 기능적 최적점의 부재: 단백질 공학에서 원하는 기능 (예: 극한 환경에서의 안정성, 새로운 기질 특이성) 은 자연 분포에서 확률이 매우 낮거나 존재하지 않는 영역에 위치할 수 있습니다.
• 진화적 접근의 제약: 자연 진화는 국소적인 변이를 통해 점진적으로 이동하므로, 깊은 적응도 골짜기 (fitness valleys) 를 건너뛰어 다른 고점 (high-fitness peaks) 에 도달하기 어렵습니다. 반면, 생성 모델은 이론상 이러한 진화적으로 접근 불가능한 영역을 직접 탐색할 수 있어야 합니다.
• 목표: 자연 분포 $p(x)$에서 원하는 속성 $y$를 가진 조건부 분포 $p(x|y)$로 생성 방향을 전환하거나, 모델이 $x$를 생성할 때 $y$를 최적화하도록 유도하는 방법론을 규명하는 것입니다.

---

2. 방법론 및 분류 (Methodology & Categorization)

저자들은 조향 전략을 크게 두 가지 범주로 분류합니다:

A. 파라미터 업데이트 정렬 (Parameter-Updating Alignment)

모델의 가중치 (Weights) 를 직접 수정하여 학습된 분포 $p(x)$를 목표 분포 $p(x|y)$에 가깝게 변경하는 방법입니다.

1. 지도 미세 조정 (Supervised Fine-Tuning, SFT):
   • 고품질의 타겟 데이터 (예: 특정 효소 계열) 로 사전 학습된 모델을 추가 학습시킵니다.
   • 장점: 특정 도메인에 특화된 생성이 가능합니다.
   • 단점: 데이터의 품질을 구별하지 못하며, 과도한 미세 조정은 '카타스트로픽 포기 (catastrophic forgetting)'를 유발할 수 있습니다.
2. 강화 학습 (Reinforcement Learning, RL):
   • 모델이 보상 (Reward) 신호를 기반으로 스스로 최적의 출력을 탐색하도록 합니다.
   • 주요 알고리즘:
     • REINFORCE / PPO: 보상 모델 (Reward Model) 을 사용하여 정책 (Policy) 을 업데이트합니다. (예: REINVENT, RLXF)
     • Direct Preference Optimization (DPO): 명시적인 보상 모델 학습 없이, 선호도 데이터 (Preferred vs Dispreferred) 를 직접 사용하여 모델을 정렬합니다. (예: ProteinDPO, ProtRL)
     • Group Relative Policy Optimization (GRPO): 그룹 내 상대적 이점을 기반으로 PPO 를 개선하여 가치 모델 (Value Model) 없이도 안정적인 학습을 가능하게 합니다.
   • 적용 사례: 실험 데이터 (예: CreiLOV 형광 강도) 기반의 정렬, MHC-I 에피토프 부하 감소 등.

B. 파라미터 고정 조향 (Parameter-Fixed Steering)

모델의 기본 가중치는 변경하지 않고, 생성 과정의 특정 단계에서 개입하여 출력을 유도하는 방법입니다.

1. 입력/컨텍스트 지정 (Prompting & Context Programming):
   • 조건부 생성: 학습 시 특정 태그 (예: 효소 번호, 분류군) 를 입력하여 조건부 생성 능력을 학습시킵니다.
   • 추론 시 제약: 구조 기반 설계 (ProteinMPNN) 에서 특정 잔기를 고정하거나, 확산 모델에서 '구조 환각 (Structure Hallucination)'을 유도하는 등 입력을 부분적으로 고정합니다.
   • 검색 증강 생성 (RAG): 외부 데이터베이스에서 유사한 시퀀스나 구조 정보를 검색하여 컨텍스트에 주입합니다 (예: Protriever).
2. 잠재 상태 조작 (Activation Steering):
   • 모델의 내부 은닉 상태 (Hidden States), 특히 잔여 스트림 (Residual Stream) 에 특정 속성 (예: 소수성, 효소 활성) 과 관련된 벡터를 주입하거나 조작합니다.
   • SAE (Sparse Autoencoders): 단백질 언어 모델의 해석 가능한 잠재 특징을 추출하여 이를 기반으로 생성을 조향합니다.
3. 출력 및 샘플링 제어 (Output-dependent Guidance & Sampling):
   • 베이지안 가이드 (Bayesian Guidance): 베이지안 정리를 사용하여 모델의 확률 분포에 외부 예측 점수 (예: Rosetta 점수) 를 가중치로 반영합니다.
   • 샘플링 전략: Temperature, Top-k, Top-p, Beam Search, MCTS (Monte Carlo Tree Search) 등을 조정하여 탐색의 다양성과 충실도를 조절합니다.

---

3. 주요 기여 (Key Contributions)

1. 체계적인 분류 체계 제시: 단백질 설계 분야에서 생성 모델을 조향하는 다양한 방법론을 '파라미터 업데이트'와 '파라미터 고정'으로 명확히 구분하고, 각 방법의 작동 원리 (학습 단계 vs 추론 단계) 를 정리했습니다.
2. 성공 사례의 종합: 형광 단백질 밝기 향상, 안정성 증가, MHC-I 에피토프 감소, 저 나노몰 농도 EGFR 억제제 설계 등 실제 실험적 성과를 거둔 최신 연구 (2022-2025) 를 포괄적으로 다뤘습니다.
3. 이론적 통찰: 흐름 매칭 (Flow Matching) 이 마스킹 언어 모델링, 자기회귀 생성, 확산 모델과 동등할 수 있음을 언급하며, 추론 시 제어 (Inference-time Control) 가 아키텍처에 구애받지 않는 범용 기술이 될 수 있음을 강조했습니다.
4. 한계점 및 향후 과제 제시:
   • OOD (Out-of-Distribution) 일반화: 파라미터 고정 방식은 사전 학습된 모델이 해당 영역을 이미 알고 있어야 하므로, 완전히 새로운 영역으로의 외삽에는 한계가 있습니다.
   • 점수 함수 (Scoring Metric) 의 부재: 많은 단백질 특성 (예: 촉매 활성) 에 대해 정확하고 신뢰할 수 있는 예측 오라클 (Oracle) 이 부족합니다. 물리 기반 시뮬레이션 (Rosetta, FoldX) 과의 결합이 필요합니다.
   • 데이터 편향: 학습 데이터와 보상 신호가 여전히 자연 분포에 편향되어 있어, 진정한 '새로운 (New-to-nature)' 단백질 설계에는 실험-학습 루프 (Lab-in-the-loop) 와 같은 폐쇄 루프 시스템이 필수적입니다.

---

4. 결과 및 성과 (Results)

• RL 기반 접근법: RLHF, DPO, GRPO 등의 알고리즘을 단백질 언어 모델 (pLM) 에 적용하여, 실험적으로 검증된 높은 적합도 (Fitness) 를 가진 단백질 변이체를 성공적으로 생성했습니다.
• 구조 기반 설계: BindCraft, BoltzGen 등의 도구를 통해 구조 조건부 생성이 가능해졌으며, 이를 통해 특정 리간드나 금속 이온에 결합하는 단백질 설계가 크게 개선되었습니다.
• 효율성: 파라미터 고정 방식 (예: Prompting, Activation Steering) 은 모델을 재학습하지 않고도 빠르게 특정 속성을 부여할 수 있어 계산 비용이 낮고 유연성이 높습니다.

---

5. 의의 및 중요성 (Significance)

이 논문은 단백질 공학 분야에서 생성형 AI 의 다음 단계인 "제어 가능한 단백질 설계 (Controllable Protein Design)" 로의 전환을 위한 로드맵을 제시합니다.

• 자연의 한계 극복: 자연 진화가 도달하지 못한 영역 (Adaptive Landscape 의 희귀한 고점) 을 인공적으로 탐색할 수 있는 방법론을 제공합니다.
• 실용적 적용: 단순히 새로운 단백질을 생성하는 것을 넘어, 의약품 개발 (억제제), 산업용 효소, 진단 도구 등 구체적인 목적에 부합하는 단백질을 설계할 수 있는 기술적 기반을 마련했습니다.
• 미래 방향: 물리 기반 시뮬레이션, 실험 데이터와의 실시간 통합, 그리고 더 정교한 점수 함수 개발을 통해 생성 모델이 단순한 패턴 재조합을 넘어 진정한 창의적 설계 도구로 발전할 수 있음을 시사합니다.

결론적으로, 이 리뷰는 단백질 설계 분야에서 생성 모델을 어떻게 효과적으로 '조향'하여 원하는 기능을 가진 단백질을 만들어낼 수 있는지에 대한 포괄적인 기술적 가이드라인을 제공합니다.