기술 요약: 전체 길이 mRNA 설계를 위한 ProMORNA

문제 제기

치료용 메신저 RNA(mRNA) 를 설계하려면 구조적 안정성, 번역 효율성, 면역 안전성이라는 종종 상충되는 여러 생물학적 목표를 동시에 최적화하는 전체 길이 전사체를 생성해야 합니다. 유전 암호의 중복성 (동일 아미노산 코돈) 과 비번역 영역 (UTR) 의 변이로 인해 설계 공간은 기하급수적으로 방대합니다.

기존 접근법은 다음과 같은 중대한 한계에 직면해 있습니다:

• 휴리스틱 방법: LinearDesign 과 같은 도구는 최소 자유 에너지 (Minimum Free Energy) 와 같은 대리 지표를 최적화하지만, 복잡하고 경쟁적인 생물학적 제약으로 인해 종종 in vivo 발현을 최대화하지 못합니다.
• 지도 학습 생성 모델: 자연 서열만으로 훈련된 모델은 기존 데이터에서 패턴을 학습하지만, 하류 생물학적 목표를 직접 최적화하지 않으며 훈련 분포를 벗어난 후보를 탐색하는 데 어려움을 겪습니다.
• 강화 학습 (RL) 의 과제: 전체 길이 mRNA 생성에 RL 을 적용하는 것은 어렵습니다. 생물학적 효능은 서로 다른 단위, 규모, 노이즈 수준을 가진 여러 지표에 의해 결정되기 때문입니다. 이러한 지표를 단일 보상으로 스칼라화하는 표준 접근법은 종종 불안정하며 가중치 선택에 민감합니다. furthermore, 많은 현재의 생성 모델 (예: 디코더 전용 트랜스포머) 은 5' UTR 생성 시 CDS 문맥을 부분적으로만 고려하여, 완전한 표적 단백질을 기반으로 5' UTR, 코딩 서열 (CDS), 3' UTR 간의 상호작용을 공동으로 모델링하지 못합니다.

방법론: ProMORNA

저자들은 표적 단백질 서열로부터 직접 완전한 mRNA 전사체를 생성하는 엔드 - 투 - 엔드 프레임워크인 ProMORNA(Protein-conditioned Multi-Objective mRNA generation, 단백질 조건부 다목적 mRNA 생성) 를 제안합니다.

1. 모델 아키텍처 및 훈련

• 아키텍처: 시스템은 BART 스타일의 인코더 - 디코더 모델 (BART-small 구성, 약 4500 만 개 파라미터) 을 사용합니다.
  • 인코더: 표적 단백질의 전체 아미노산 서열을 처리합니다.
  • 디코더: 전체 길이 mRNA(5' UTR, CDS, 3' UTR) 를 자기회귀적으로 생성합니다.
  • 조건부: CDS 문맥을 보기 전에 5' UTR 을 생성하는 디코더 전용 모델과 달리, ProMORNA 는 인코더를 통해 생성된 모든 토큰 (5' UTR 포함) 을 완전한 표적 단백질 서열에 조건부로 생성합니다.
• 토큰화: UTR 에 대해서는 뉴클레오타이드 단위 토큰화를, CDS 에 대해서는 코돈 단위 토큰화를 사용하는 하이브리드 어휘를 사용하며, 영역 경계를 관리하기 위한 특수 구분자를 포함합니다.
• 사전 훈련 및 미세 조정:
  • 지도 학습 사전 훈련: NCBI RefSeq 의 609 만 개 자연 단백질 - mRNA 쌍으로 훈련하여 일반적인 코돈 사용법과 UTR 구성을 학습합니다.
  • 지도 학습 미세 조정 (SFT): 전사체 유효성을 보장하기 위해 고신뢰도 하위 집합 (54,573 건) 으로 추가 훈련합니다.

2. 다목적 그룹 상대 정책 최적화 (MO-GRPO)

불안정한 스칼라화 없이 모델을 생물학적 목표에 정렬하기 위해 저자들은 MO-GRPO를 도입합니다.

• 생물학적 목표: 프레임워크는 다음 다섯 가지 서로 다른 지표를 최적화합니다:
  1. 예측 반감기: 최대화 (동결된 mRNABERT 기반 릿지 회귀 예측기를 사용).
  2. 예측 번역 효율성: 최대화 (유사한 mRNABERT 기반 예측기 사용).
  3. 정규화된 최소 자유 에너지 (MFE): 최소화 (열역학적 안정성의 대리 지표).
  4. U 함량: 최소화 (선천성 면역 활성화 감소).
  5. UTR 길이 타당성: 최대화 (경험적 분포에 기반한 가우시안 사전 분포 사용).
• 최적화 메커니즘:
  • MO-GRPO 는 원시 점수를 합산하는 대신, 주어진 프롬프트에 대해 $G$개의 서열 그룹을 샘플링합니다.
  • 그룹 내에서 각 목표 $k$에 대해 경험적 평균 ($\mu_k$) 과 표준 편차 ($\sigma_k$) 를 계산합니다.
  • 각 목표에 대해 표준화된 이득을 계산합니다: $(r_{i,k} - \mu_k) / \sigma_k$.
  • 이러한 표준화된 이득은 방향과 중요도를 나타내는 가중 합을 사용하여 집계되어 정책 업데이트를 위한 단일 이득 신호를 형성합니다.
  • 안정성 메커니즘: 저변동성 지표를 처리하기 위한 동적 감쇠 인자, 극단값 클리핑, 재분할 없이 적응적 크기를 보존하는 사후 중심화를 포함하여 훈련 안정성을 보장합니다.

3. 제약 및 검증

• 제약 디코딩: 디코더는 CDS 에 대해서는 동일 코돈으로, UTR 에 대해서는 유효한 뉴클레오타이드로 제한됩니다.
• 사후 검증: 생성된 서열은 영역 경계, 프레임 일관성, 시작/종결 코돈, 그리고 긴 이중 가닥 영역 (>33 bp) 의 부재를 검증하여 생물학적 타당성을 확보합니다. 무효 서열은 최대 페널티를 받습니다.

주요 기여

1. 단백질 조건부 전체 길이 생성: 전체 표적 단백질 서열에 조건부로 전체 전사체 (5' UTR, CDS, 3' UTR) 를 생성하는 인코더 - 디코더 프레임워크로, 와일드타입 템플릿 없이 상호작용 영역의 공동 최적화를 가능하게 합니다.
2. MO-GRPO 알고리즘: 집계 전에 지표 수준에서 상대 이득을 표준화하는 새로운 RL 최적화 방법입니다. 이는 서로 다른 규모의 원시 생물학적 점수를 스칼라화할 때 발생하는 불안정성을 피하고 여러 목표의 유연한 균형을 가능하게 합니다.
3. 경험적 검증: 홀드아웃 표적 일반화에 초점을 맞춰, 생성된 후보들을 지도 학습 베이스라인 및 최첨단 GEMORNA 프레임워크와 비교한 포괄적인 평가.

결과

이 프레임워크는 모든 훈련 데이터와 프롬프트 풀에서 제외된 표적 단백질인 반딧불이 루시페라제에 대해 평가되었습니다.

• 기능적 성능: ProMORNA 는 지도 학습 베이스라인 (BASE, SFT) 과 GEMORNA 베이스라인에 비해 예측 반감기와 예측 번역 효율성에서 가장 높은 점수를 달성했습니다.
• 파레토 프론티어: 반감기와 번역 효율성에 대한 파레토 프론포터 분석 결과, ProMORNA 의 프론티어가 상단 - 오른쪽으로 크게 이동하여 상충 관계가 아닌 두 목표의 동시 개선을 나타냈습니다.
• 서열 특성:
  • ProMORNA 는 지도 학습 베이스라인에 비해 moderate 한 GC 함량 증가와 유의하게 감소된 접근 가능한 TLR7/8 감지 모티프를 가진 서열을 생성하여 면역 안전성을 개선했습니다.
  • 고정된 길이를 기본값으로 설정하는 대신 특정 표적에 맞춤화된 UTR 길이의 균형을 잡은 분포를 달성했습니다.
  • GEMORNA 가 약간 더 나은 원시 MFE 와 U 함량 점수를 보였지만, ProMORNA 는 모든 지표에 걸쳐 더 균형 잡힌 상충 관계를 보여주었으며 기능적 산출물을 우선시했습니다.
• 학습 역학: 5-mer 특징의 UMAP 시각화는 MO-GRPO 가 보상 지표를 개선하면서 생성기를 지도 학습 분포에서 새로운 서열 구성 영역으로 성공적으로 이동시켰음을 나타냈습니다.

중요성 및 주장

이 논문은 ProMORNA 가 보이지 않는 표적에 대한 전체 길이 mRNA 설계를 위한 다목적 강화 학습의 실현 가능성을 입증한다고 주장합니다.

• 과학적 영향: 이 연구는 온 - 정책 강화 학습이 지도 학습 서열 모델링만으로는 불가능한 생성 모델의 탐색 능력을 효과적으로 확장할 수 있음을 시사합니다.
• 방법론적 발전: MO-GRPO 를 통해 생물학적 서열 설계에서 다목적 최적화의 불안정성을 해결함으로써, 프레임워크는 경쟁적인 생물학적 제약 (안정성 vs. 효율성 vs. 안전성) 을 균형 있게 조정하는 견고한 방법을 제공합니다.
• 한계와 겸손: 저자들은 명시적으로 결과가 **계산적 발견 (in silico)**이라고 밝힙니다. 평가는 기존 데이터로 훈련된 대리 예측기에 의존하며, 단일 홀드아웃 리포터 단백질을 사용합니다. 따라서 이 논문은 입증된 in vivo 생물학적 활성이나 치료적 효능을 주장하지 않으며, 개선된 생물학적 활성을 확인하기 위해 습식 실험 시스템에서의 실험적 검증이 필요하다고 지적합니다. 향후 작업은 예측기 정확도를 향상시키고 폐쇄 루프 최적화를 위해 실험적 피드백을 통합하는 것으로 식별되었습니다.