📄 bioengineering

RNASeek: A Cross-Phyla Generative Foundation Model for Multipurpose RNA Modeling and Reinforcement Learning-Based Design

RNASeek은 RNA 서열 표현, 기능 예측, 그리고 데 노보(de novo) 설계를 통합하기 위해 강화 학습을 활용하는 16억 개의 파라미터를 가진 생성형 파운데이션 모델로, 실험적으로 검증된 리보자임과 3' UTR을 향상된 성능으로 성공적으로 생성한다.

원저자: Chen, S., Fernandes, N., Li, W. V., Wang, L., Jia, Z., Xiang, J. S.

게시일 2026-09-28

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Chen, S., Fernandes, N., Li, W. V., Wang, L., Jia, Z., Xiang, J. S.

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ⚕️ 이것은 동료 심사를 거치지 않은 프리프린트의 AI 생성 설명입니다. 의학적 조언이 아닙니다. 이 내용을 바탕으로 건강 관련 결정을 내리지 마세요. 전체 면책 조항 읽기

모든 살아있는 세포 내부에서는 단어가 아닌 분자들을 통해 방대하고 복잡한 대화가 이루어집니다. 이 대화의 중심에는 RNA가 있습니다. RNA는 유전적 설계도로부터 지침을 전달하고 그 지침이 어떻게 실행될지를 결정하는, 메신저이자 조절자로서 역할을 하는 다재다능한 분자입니다. 수십 년 동안 과학자들은 RNA 가닥 내의 글자 배열이 문장의 배열이 의미를 결정하는 것과 마찬가지로, 그 형태와 기능을 결정한다는 점을 이해해 왔습니다. 그러나 새로운 글자 서열이 정확히 어떻게 행동할지 예측하는 것은 매우 힘든 과제였습니다. 그 규칙은 복잡하며, 손으로 직접 그려내기 어려운 장거리 상호작용과 미묘한 구조적 뉘앙스를 포함하고 있기 때문입니다. 이제 연구자들은 생명의 생물학적 문헌을 읽음으로써 이러한 규칙을 학습하는 새로운 도구를 개발했으며, 이를 통해 RNA가 어떻게 행동할지 예측할 뿐만 아니라 특정하고 원하는 특성을 가진 완전히 새로운 분자를 설계할 수 있게 되었습니다.

이 연구를 이끈 캘리포니아 대학교 리버사이드와 컬럼비아 대학교의 연구진은 RNASeek이라 불리는 거대한 컴퓨터 프로그램을 만들었습니다. 이 프로그램을 식물, 동물, 균류, 바이러스에 이르는 100여 종 이상의 생물체의 유전적 지침이 담긴 도서관의 모든 책을 읽은 학생이라고 생각하십시오. 단 하나의 특정 퍼즐만을 풀도록 설계된 기존의 도구들과 달리, RNASeek은 RNA의 일반적인 언어를 이해하도록 구축되었습니다. 이 프로그램은 약 1,500억 개의 유전 정보 데이터 세트를 학습하여, 서로 다른 유기체들이 RNA를 구성하는 방식의 패턴을 인식하는 법을 배웠습니다. 또한 이 프로그램은 자연어 지침을 읽는 법도 배웠는데, 이는 과학자가 "안정적인 RNA 서열을 생성하라" 또는 "스스로를 절단하는 분자를 설계하라"와 같이 원하는 바를 간단히 말하면 모델이 해결책을 생성하려고 시도할 수 있음을 의미합니다.

이 디지털 학생가 진정으로 언어를 배웠는지 테스트하기 위해, 연구진은 먼저 리보자임(ribozyme)의 행동을 예측하도록 요청했습니다. 리보자임은 스스로를 절단하거나 다른 분자를 절단할 수 있는 효소 역할을 하는 RNA 분자입니다. 연구진은 모델에 알려진 수천 개의 리보자임 서열과 측정된 절단 속도를 제공했습니다. RNASeek은 어떤 서열이 빠르게 절단되고 어떤 것이 느리게 절단되는지를 성공적으로 예측해 냈으며, 분자 구조 내 특정 루프의 유연성과 같이 속도에 기여하는 미묘한 특징들을 식별해 냈습니다. 이 모델은 이 작업에 특화되어 설계된 많은 전문 도구들과 대등하거나 혹은 그보다 더 뛰어난 성능을 보였으며, 이는 모델이 RNA 구조가 기능에 어떻게 관여하는지에 대한 근본적인 원리를 파악했음을 입증했습니다.

이러한 성공에 고무된 연구진은 모델을 한 단계 더 밀어붙여, 처음부터 새로운 RNA 서열을 설계하도록 했습니다. 그들은 RNA의 수명을 결정하는 데 도움을 주는 부분인 3' 비번역 부위(3' untranslated region)에서 발견되는 다른 유형의 RNA에 집중했습니다. RNA의 수명이 길수록 세포는 해당 RNA가 코딩하는 단백질을 더 많이 생산하게 되며, 이는 mRNA 백신과 같은 치료법에서 매우 중요합니다. 연구진은 강화 학습(reinforcement learning)이라는 기술을 사용했는데, 이는 컴퓨터 프로그램이 시행착오를 거치며 게임을 하는 방식입니다. 프로그램은 수천 개의 후보 서열을 생성했고, 모델의 별도 부분이 심판 역할을 하며 예측된 안정성을 바탕으로 점수를 매겼습니다. 그런 다음 프로그램은 더 나은 후보를 생성하기 위해 전략을 조정하며, 점차 매우 안정적인 서열을 만들어내는 법을 학습했습니다.

결과는 놀라웠습니다. RNASeek이 설계한 서열은 단순히 글자들의 무작위 조합이 아니었습니다. 그것들은 RNA를 안정시키는 데 도움이 되는 것으로 알려진 아데닌과 우라실의 풍부함과 같은 특정 패턴을 포함하고 있었습니다. 연구진이 이 컴퓨터 생성 설계들을 실험실 환경에서 테스트했을 때, 새로운 서열들이 매우 뛰어난 성능을 보인다는 것을 발견했습니다. 설계된 분자 중 일부는 자연계에서 발견된 최상의 서열이나 다른 인공지능 도구에 의해 만들어진 것들보다 심지어 더 안정적이었습니다. 결정적으로, 연구진이 동일한 성분은 유지한 채 글자의 순서만 뒤섞어 서열을 섞었을 때, 그 안정성은 사라졌습니다. 이는 성공의 원인이 단순히 화학적 조성 때문이 아니라 글자의 특정 배열에서 온 것임을 확인시켜 주었으며, 모델이 언어의 진정한 구문(syntax)을 학습했음을 증명했습니다.

이 연구는 또한 모델이 복잡한 지시를 따를 수 있음을 보여주었습니다. 과학자들은 프로그램에 클로닝을 위한 특정 모티프를 포함하거나 문제가 될 수 있는 특정 패턴을 제외한 안정적인 RNA 서열을 생성하라고 요청할 수 있었습니다. 모델은 안정성을 최적화하면서도 이러한 제약 조건을 성공적으로 준수했습니다. 자연어 명령을 따르고 기능적인 생물학적 부품을 만들어내는 이러한 능력은 생명을 공학적으로 설계하는 새로운 방식을 시사합니다. 느리고 비용이 많이 드는 실험실에서의 시행착오 반복에 의존하는 대신, 이제 과학자들은 RNA가 어떻게 행동할지 예측하고 정밀한 요구 사항을 충족하는 새로운 분자를 설계하기 위해 통합된 시스템을 사용할 수 있습니다. 이 연구는 단일한 대규모 모델이 생물학적 데이터를 이해하는 것과 새로운 기능적 생물학적 도구를 만드는 것 사이의 간극을 메울 수 있음을 확립하며, 더 효율적인 치료제 및 연구 도구 설계를 향한 문을 열어주고 있습니다.

기술 요약: RNASeek

문제 정의
대규모 언어 모델(LLM)이 자연어 처리와 단백질 설계 분야를 혁신했음에도 불구하고, RNA 파운데이션 모델을 기능적 서열 설계로 연결하는 일반적인 프레임워크는 여전히 제한적이다. 기존의 RNA 모델들은 주로 표현 학습(representation learning)과 다운스트림 예측을 위해 설계되었으며, 정량적인 실험적 보상에 의해 유도되는 명령 조건부 서열 생성에는 적합하지 않다. 또한, RNA 설계를 위한 효과적인 강화 학습(RL)을 위해서는 다양한 서열 공간 전반에 걸쳐 서열 변이를 기능적 결과로 매핑하는 조밀하고 정량적인 보상 신호가 필요하지만, 현재의 조절 RNA 설계 워크플로우에서는 이러한 능력이 부족한 경우가 많다.

방법론
저자들은 DeepSeek 아키텍처(구체적으로 Qwen2.5 기반의 디코더 전용 트랜스포머)를 기반으로 구축된 16억 개의 파라미터를 가진 생성형 파운데이션 모델인 RNASeek를 제시한다.

아키텍처 및 토큰화: RNASeek은 다음과 같은 통합 토큰 어휘를 활용한다:
1. 뉴클레오타이드 토큰 (A, U, C, G).
2. 예측된 RNA 이차 구조 토큰 (dot-bracket 표기법).
3. 기능적 영역을 정의하는 게놈 마크업 토큰 (예: |u5u|, |u3u|, |s|, |t|, |i|).
4. 작업 지침을 위한 자연어 토큰 (PubMed/PMC에서 추출한 약 12,000개의 토큰).
  이러한 하이브리드 전략을 통해 모델은 태스크별로 토크나이저를 재학습할 필요 없이, 자연어 스타일의 작업 명령(예: ~$predict_efficiency)과 서열 데이터를 함께 수용하여 유연한 조건부 예측 및 설계를 가능하게 한다.
사전 학습(Pretraining): 모델은 100종 이상의 다양한 종(식물, 동물, 균류, 바이러스)에서 추출한 약 $1.5 \times 10^{11}$ 개의 mRNA 토큰과 20억 개의 자연어 토큰으로 사전 학습되었다. 학습 컨텍스트 윈도우는 32,768 토큰이다. 서열의 약 50%는 RNAfold를 이용해 예측된 이차 구조가 추가되어 구조-서열 의존성을 학습하도록 하였다.
지도 미세 조정(Supervised Fine-Tuning, 예측): 사전 학습된 백본은 다음을 예측하기 위해 회귀 헤드(regression head)와 함께 미세 조정되었다:
- 리보자임 자가 절단 활성: 해머헤드 리보자임 라이브러리(c-di-GMP 및 무작위화된 Loop I/II 변이체)의 대규모 병렬 리포터 어세이(MPRA) 데이터를 사용함.
- 바이러스 mRNA 안정성: 바이러스 RNA 단편이 3′ UTR에 삽る된 MPRA 데이터를 사용함.
  타겟 값은 분산을 안정화하기 위해 log-plus-one z-score로 변환되었다.
강화 학습(Reinforcement Learning, 설계): 예측에서 설계로 넘어가기 위해 저자들은 **그룹 상대 정책 최적화(GRPO)**를 채택하였다.
- 보상 모델: 미세 조정된 회귀 모델이 보상 함수(리보자임 효율 또는 3′ UTR 안정성 예측) 역할을 수행한다.
- 정책 최적화: 생성형 백본은 자연어 프롬프트에 인코딩된 사용자 지정 제약 조건(예: IUPAC 모티프 포함/제외, 길이 제약)을 준수하면서 보상을 최대화하도록 업데이트된다.
- 복합 보상: 최종 보상은 유효한 뉴클레오타이드 구성, 정확한 마커, IUPAC 제약 조건 준수를 보장하기 위해 회귀 모델 점수(40%)와 구문/구조 점수(60%)를 결합하여 산출된다.

주요 기여

통합 프레임워크: RNASeek은 정량적 기능 예측과 제어 가능한 de novo 서열 생성을 모두 수행할 수 있는 단일 자기회귀(autoregressive) 백본을 구축하여, 표현 학습과 생성적 설계 사이의 간극을 메운다.
교차 계통 일반화: 여러 왕국과 바이러스를 아우르는 다양한 코퍼스로 학습함으로써, 모델은 종 특이적인 전사 특징과 인트론-엑손 경계를 제로샷(zero-shot) 설정에서 포착한다.
명령 조건부 생성: 자연어 토큰의 통합을 통해 사용자는 아키텍처 변경 없이도 복잡한 설계 목표(예: "모티프 X 제외, 모티프 Y 포함")를 지정할 수 있다.
RL 기반 최적화: RNA 설계에 GRPO를 적용함으로써, 엄격한 조성 제약을 충족하면서 원하는 생물학적 특성(안정성, 촉매 활성)을 향해 서열을 최적화하는 실질적인 경로를 보여준다.

결과

제로샷 능력: 사전 학습된 임베딩은 UMAP 투영에서 명확한 종 분리를 보여주었으며, 약 323의 퍼플렉시티(perplexity)로 제로샷 인트론 경계 예측을 달성했다. 이는 균등 토큰 선택기(uniform token selector) 대비 약 37배 개선된 수치이다.
예측 성능:
- 리보자임: RNASeek은 리보자임 효율에 대해 $r = 0.628$ 의 검증 피어슨 상관계수를 달성하였으며, 이는 대부분의 벤치마크 모델(RNA-FM, Nucleotide Transformer 및 다양한 BERT 스타일 모델 포함)을 능가하고 커스텀 LSTM 베이스라인을 넘어선 결과이다.
- 안정성: 바이러스 3′ UTR 안정성에 대해 RNASeek은 $r = 0.342$ 의 스피어만 상관계수를 기록하며, 상위 티어 모델인 UTR-BERT-6mer 및 RiNALMo-micro와 경쟁할 만한 성능을 보였다.
생성적 설계:
- 3′ UTRs: GRPO 가이드 생성은 무작위 서열, 자연 상태의 인간 3′ UTR, 그리고 ChatGPT-5 또는 GEMORNA가 생성한 서열보다 유의미하게 높은 예측 안정성을 가진 서열을 생성했다.
- 실험적 검증(안정성): 4개의 RNASeek 생성 3′ UTR 후보군에 대해 이중 루시페레이스 리포터 어세이를 통한 실험적 검증을 수행했다. 모든 후보군은 음성 대조군에 비해 증가된 리포터 발현을 보였다. 특히, RNASeek527은 테스트된 모든 GEMORNA 서열보다 높은 활성을 보였으며, 기존 학습 데이터셋의 최고 성능 서열(K4)의 성능을 초과했다.
- 리보자임: GRPO 생성 리보자임은 셔플(shuffled) 대조군 및 실험실 데이터보다 높은 예측 활성을 보였다. 실험적 검증 결과, 선택된 RNASeek 생성 리보자임들이 세포 내에서 야생형 수준의 자가 절단 활성을 달성함을 확인했다.
메커니즘 통찰: 생성된 서열 분석 결과, 고효율 리보자임은 유연하고 낮은 GC 함량의 루프와 높은 비쌍(unpaired) 확률을 선호하는 것으로 나타났다. 3′ UTR의 경우, 모델은 단순한 조성 셔플링과는 구별되는, 안정성을 높이기 위한 AU-rich 구문과 특정 위치적 뉴클레오타이드 편향을 배치하는 법을 학습했다.

의의
본 논문은 RNASeek이 학습된 RNA 기능과 제어 가능한 de novo 서열 설계를 연결함으로써, 원하는 특성을 가진 조절 RNA를 엔지니어링하는 일반적인 전략을 제공한다고 주장한다. 이는 자연어에서 개발된 대규모 언어 모델 아키텍처와 정책 최적화 방법론(GRPO)이 생물학적 서열 설계에 성공적으로 적용될 수 있음을 입증한다. 이 연구는 학습-예측-최적화의 통합된 프레ある 프레임워크를 구축하여 서열 스크리닝을 위한 반복적인 실험실 실험에 대한 의존도를 낮춘다. 저자들은 세포 유형 특이성 및 보상 모델 편향의 가능성에 대한 한계를 언급하면서도, 이 접근 방식이 효소 활성 예측, 스플라이싱 모델링, 치료용 RNA 설계 등을 포함한 미래의 과제를 위한 확장 가능한 기반을 제공한다고 기술하고 있다.

유사한 논문