기술적 요약: 오라클 예산 하의 단백질 설계를 위한 생물학적 가이드 탐색을 활용한 자기 개선 모방

문제 정의

단백질 공학은 엄격한 평가 예산 하에서 "적합도"(예: 열안정성, 결합 친화도) 함수를 최대화하도록 설계된 순차적 의사결정 최적화 문제로 프레임됩니다. 핵심 과제는 시퀀스 공간 ($20^L$) 의 방대한 결합적 크기와 에피스타시스 (epistasis) 의 만연성으로 인해 생성되는 거칠고 희소하며 비볼록한 적합도 지형에 있습니다. 기존 접근 방식은 세 가지 지속적인 한계에 직면해 있습니다:

1. 가치 기반 최적화의 불안정성: 가치 함수에 의존하는 강화 학습 (RL) 방법은 하이퍼파라미터에 민감하며, 노이즈가 있는 대리 보상 (surrogate rewards) 으로 훈련될 때 오류 전파에 취약합니다.
2. 위치 무관 돌연변이: 많은 방법들은 아미노산 잔기의 보존을 고려하지 않고 돌연변이를 제안하여 기능적으로 중요한 부위의 교란을 초래할 위험이 있습니다.
3. 비효율적인 탐색: 엄격한 오라클 예산 하에서 방법론들은 종종 고가치 영역을 우선시하거나 중복 평가를 피하지 못합니다.

목표는 비싼 오라클을 최종 평가용으로 보류하고 프록시 모델을 사용하여 선택을 안내하면서, 제한된 수의 오라클 쿼리 ($N$라운드, 라운드당 $K$쿼리) 내에서 시작 시퀀스보다 높은 적합도를 가진 시퀀스를 설계하는 것입니다.

방법론: SILO

저자들은 구조화된 샘플링, 생물학적 정보 기반 선택, 궤도 수준의 모방 학습을 통합한 능동 학습 프레임워크인 SILO(Self-Improvement Imitation with Biologically Guided Search) 를 소개합니다. 이 과정은 반복적인 루프에서 작동합니다:

1. 계층적 편집 정책 및 MDP 공식화

SILO 는 후보 생성을 편집 궤적에 대한 마르코프 결정 과정 (MDP) 으로 간주합니다. 전체 시퀀스를 한 번에 생성하는 대신, 트랜스포머 기반 정책 $\pi_\theta$는 각 돌연변이를 두 단계의 계층적 단계로 분해합니다:

• Level-0: 수정할 위치 $i \in \{1, \dots, L\}$를 선택합니다.
• Level-1: 선택된 위치에 조건부인 대체 아미노산 $a \in \mathcal{V}$를 선택합니다.
  이 정책은 진화적 사전 지식을 인코딩하는 고정된 ESM Cambrian 임베딩을 기반으로, 두 개의 정책 헤드를 가진 경량 트랜스포머 인코더를 사용하여 훈련됩니다.

2. 구조화된 샘플링 (증분 SBS)

다양한 후보 궤적을 생성하기 위해 SILO 는 **증분 확률적 빔 탐색 (Incremental Stochastic Beam Search, SBS)**을 사용합니다. 표준 빔 탐색과 달리 SBS 는 Gumbel 노이즈로 로그 확률을 교란시켜 궤적을 교체 없이 샘플링합니다. 궤적이 샘플링된 후, 그 확률 질량은 제거되고 분포는 재규격화됩니다. 이는 돌연변이 예산 ($d_{max}$) 내에서 다양한 행동 궤적 집합이 탐색되도록 보장합니다.

3. 생물학적 정보 기반 선택

오라클 평가 전에 후보들은 프록시 앙상블 $f_\phi$와 특정 목적 함수 $S(x)$를 사용하여 점수가 매겨집니다:
$$S(x) = \text{UCB}_{\text{proxy}}(x) + \text{UCB}_{\text{AFS}}(x)$$

• $\text{UCB}_{\text{proxy}}(x)$: 프록시의 평균 예측과 불확실성에 기반한 상한 신뢰 구간으로, 탐색과 활용을 균형 있게 조절합니다.
• $\text{UCB}_{\text{AFS}}(x)$: 알라닌 스캔 적합도 점수입니다. 이 항은 후보의 알라닌 치환 변이체 (돌연변이 위치가 알라닌으로 대체된 변이체) 를 평가합니다. 알라닌 변이체가 높은 적합도를 가질 것으로 예측되면, 돌연변이 위치가 기능적으로 관련성이 있으며 중립적 변화에 견딜 수 있음을 시사합니다. 이는 단백질 기능을 교란할 가능성이 높은 후보의 순위를 낮추는 랭킹 신호로 작용합니다.

4. 궤도 수준 자기 개선 모방 (SIL)

가치 함수를 최적화하는 RL 방법과 달리 SILO 는 자기 개선 모방 학습을 사용합니다.

• 데이터 수집: SBS 샘플링에서 상위 $K$개 후보가 오라클에 의해 평가됩니다.
• 모방 대상: 상위 $P$개 오라클 라벨링 시퀀스 (BESTFOUND) 와 해당 행동 궤적이 선택됩니다.
• 훈련: 정책 $\pi_\theta$는 BESTFOUND 궤적에서 파생된 역사 - 다음 행동 쌍 $(h(t), a(t))$에 대한 교차 엔트로피 최소화를 통해 업데이트됩니다. 이를 통해 정책은 노이즈가 있는 가치 추정에 의존하지 않고 최상위 수행자의 행동에서 직접 학습할 수 있습니다.

주요 기여

1. 구조화된 샘플링 및 생물학적 정보 기반 선택: 다양한 궤적 생성을 위한 증분 SBS 와 선택을 위한 알라닌 스캔 적합도 점수 (AFS) 의 결합이 대부분의 성능 향상을 이끕니다. AFS 항은 특히 보존된 잔기를 교란할 위험을 완화합니다.
2. 오라클 예산 환경에 대한 SIL 적응: 이 논문은 이전에는 저렴하게 평가 가능한 라우팅 및 분자 설계에 사용되었던 SIL 패러다임을 단백질 설계 컨텍스트에 적응시켰습니다. 대리 값이 아닌 오라클 라벨링 궤적으로 훈련함으로써 SILO 는 노이즈가 있는 프록시 하에서 가치 함수 추정에 수반되는 불안정성을 피합니다.
3. 경험적 견고성: 이 프레임워크는 여덟 가지 단백질 적합도 지형에서 일관된 성능을 보여주며, 저데이터 환경과 다른 기준선들이 저하되는 노이즈가 있는 프록시 조건에서도 경쟁력을 유지합니다.

실험 결과

저자들은 SILO 를 여덟 가지 벤치마크 데이터셋 (AAV, AMIE, E4B, GFP, LGK, Pab1, TEM, UBE2I) 에서 다섯 가지 강력한 기준선 (PEX, AdaLead, GFN-AL-$\delta$CS, MLDE, ProSpero) 과 비교 평가했습니다.

• 성능: SILO 는 모든 8 개 지형에서 가장 높은 최대 적합도와 상위 100 개 평균 적합도를 달성했습니다. 이는 능동 학습 라운드 초기에 고적합도 시퀀스를 자주 발견하여 오라클 예산을 더 효율적으로 사용했음을 나타냅니다.
• 저데이터 환경: 초기 라벨링된 데이터를 줄인 스트레스 테스트 ( $D_0$의 10%, 20%, 50%) 에서 SILO 는 안정적이고 경쟁력 있는 상태를 유지한 반면, GFN-AL-$\delta$CS 와 같은 방법론들은 눈에 띄는 저하를 보였습니다.
• 노이즈가 있는 프록시: 프록시 모델에 합성 가우시안 노이즈가 추가된 조건 (SNR 수준 -25, -15, -5) 에서 SILO 는 높은 성능을 유지한 반면, ProSpero 와 PEX 와 같은 기준선들은 크게 저하되었습니다.
• 절차 제거 (Ablation) 연구:
  • 구조화된 샘플링 제거 (SBS 를 표준 빔 탐색으로 대체) 는 성능을 저하시켰습니다.
  • AFS 항 제거는 생물학적 가이드 선택의 가치를 확인하며 성능을 저하시켰습니다.
  • "고정 정책" 변형 (모방 업데이트 없음) 은 경쟁력을 유지했는데, 이는 샘플링과 선택이 상당 부분의 향상을 설명하지만 반복적 모방이 특히 AAV 와 Pab1 에서 추가적인 개선을 제공했음을 시사합니다.

중요성과 주장

이 논문은 SILO 가 학습, 샘플링, 생물학적 가이드 선택을 성공적으로 통합함으로써 오라클 예산 단백질 시퀀스 최적화를 위한 효과적인 방향을 제시한다고 주장합니다.

• 안정성: 가치 함수 추정을 우회하고 오라클 라벨링 궤적의 교차 엔트로피 모방에 의존함으로써 SILO 는 노이즈가 있는 대리 보상 환경에서 RL 에 대한 더 안정적인 대안을 제공합니다.
• 효율성: 이 방법은 기준선보다 고적합도 후보를 더 빠르게 식별하여 실험적 평가가 비용이 많이 드는 시나리오에 적합합니다.
• 생물학적 관련성: 알라닌 스캔 적합도 점수의 통합은 탐색이 생물학적 원칙에 의해 안내되도록 보장하여 비기능적 변이체 생성 가능성을 줄입니다.

저자들은 SILO 가 in silico 벤치마크에서 탁월한 성과를 보이지만, 향후 연구는 더 큰 돌연변이 예산 하에서 방법을 평가하고 오라클과 생물학적 현실 사이의 잠재적 도메인 시프트를 해결하기 위해 습식 실험 (wet-lab) 환경에서 성능을 검증하는 데 초점을 맞춰야 한다고 결론지었습니다.