A Long-Context Generative Foundation Model Deciphers RNA Design Principles

이 논문은 1 억 1,400 만 개 이상의 전체 RNA 서열로 학습된 긴 문맥 생성 기반 모델 'EVA'를 소개하며, 이를 통해 RNA 의 진화적 다양성을 포착하고 다양한 RNA 설계 및 최적화 작업에서 기존 접근법보다 월등히 뛰어난 성능을 입증했습니다.

핵심

1. 문제: 왜 RNA 설계가 어려웠을까요? (작은 책과 큰 도서관)

RNA 는 우리 몸속에서 유전 정보를 전달하거나, 단백질을 만들거나, 바이러스와 싸우는 등 다양한 일을 합니다. 과학자들은 원하는 기능을 가진 RNA 를 직접 설계하고 싶어 했지만, 기존 기술에는 두 가지 큰 한계가 있었습니다.

• 짧은 기억력: 기존 AI 모델들은 마치 작은 공책을 가진 학생처럼, 한 번에 아주 짧은 문장만 기억하고 설계할 수 있었습니다. 하지만 실제 RNA 는 긴 책처럼 수천 개의 글자 (염기) 로 이루어져 있어, 전체 구조를 이해하려면 긴 문맥이 필요합니다.
• 무작위성: 기존 모델들은 RNA 의 '전체적인 규칙'을 배우지 못해, 설계한 RNA 가 실제로 작동하지 않거나 엉뚱한 모양으로 접히는 경우가 많았습니다.

2. 해결책: EVA(에바) 라는 새로운 AI (거대한 도서관과 전문 교사)

이 연구팀이 만든 EVA(Evolutionary Versatile Architect, 진화적 다재다능한 건축가) 는 이 문제를 완벽하게 해결했습니다.

• **1 억 1,400 만 권의 책 **(OpenRNA v1 데이터)
  EVA 는 지구상에서 발견된 거의 모든 RNA(세균, 식물, 동물, 바이러스 등) 를 포함하는 1 억 1,400 만 개의 RNA 서열을 공부했습니다. 이는 마치 전 세계의 모든 RNA 도서관을 한 번에 훑어본 것과 같습니다. 덕분에 EVA 는 RNA 가 어떻게 진화해 왔는지, 어떤 규칙으로 작동하는지 깊이 이해하게 되었습니다.

• **8,192 글자의 기억력 **(긴 문맥 창)
  EVA 는 한 번에 8,192 개의 글자를 기억할 수 있습니다. 이전 모델들이 1,024 글자 정도만 기억했다면, EVA 는 책 한 장 분량을 통째로 기억하며 설계합니다. 그래서 RNA 의 전체적인 모양 (3 차원 구조) 을 정확히 예측하고 설계할 수 있습니다.

• **전문 교사 그룹 **(MoE 아키텍처)
  EVA 는 하나의 거대한 뇌가 아니라, **여러 명의 전문 교사 **(Expert)가 모여 있는 형태입니다.

  • 어떤 RNA 를 설계하느냐에 따라 (예: tRNA, mRNA, 바이러스 RNA 등) 가장 적합한 '전문 교사'가 그 일을 담당합니다.
  • 마치 병원에서 감기 환자는 감기 전문의가, 심장 환자는 심장 전문의가 보는 것처럼, EVA 는 RNA 의 종류와 종 (Human, Mouse 등) 에 따라 가장 적합한 설계 방식을 선택합니다.

3. EVA 가 할 수 있는 놀라운 일들 (실제 적용 사례)

이 AI 는 단순히 RNA 를 흉내 내는 것을 넘어, 실제로 유용한 것을 만들어냅니다.

• **새로운 RNA 발명 **(De Novo Design)
  자연계에 존재하지 않는 완전히 새로운 RNA 를 설계할 수 있습니다. 예를 들어, 약물 운반체가 되거나 **유전자 가위 **(CRISPR)를 더 정밀하게 작동하게 하는 RNA 를 만들어냅니다.

  • 비유: 기존에는 자연에서 찾은 레시피만 따라 했지만, EVA 는 새로운 요리를 창조하는 셰프처럼 새로운 레시피를 만들어냅니다.

• RNA 백신 최적화:
  mRNA 백신이나 원형 RNA(circRNA) 백신을 설계할 때, 백신이 우리 몸에서 더 오래, 더 강력하게 작동하도록 코드를 최적화합니다.

  • 비유: 백신을 우편물로 보낸다면, 기존 방식은 우편물이 잘 부러질까 봐 걱정했지만, EVA 는 우편물이 가장 튼튼하고 빠르게 도착하는 포장법을 찾아줍니다.

• 예측 능력:
  RNA 의 특정 부분을 변형했을 때, 그 RNA 가 얼마나 잘 작동할지 (적합도) 를 실험 없이도 AI 가 예측해 줍니다. 이는 실험실에서의 시행착오를 크게 줄여줍니다.

4. 결론: 왜 이것이 중요한가요?

이 연구는 생물학을 '설계'하는 시대로 넘어가는 중요한 발걸음입니다.

• 오픈 소스 공개: 연구팀은 이 AI 모델과 학습 데이터, 그리고 사용 방법을 모두 무료로 공개했습니다. (GitHub, Hugging Face 등)
• 미래의 가능성: 이제 과학자들은 복잡한 RNA 시스템을 설계하여 새로운 치료제 개발, 환경 정화, 바이오 연료 등 다양한 분야에서 혁신을 일으킬 수 있는 토대를 갖게 되었습니다.

한 줄 요약:

"EVA 는 1 억 1,400 만 권의 RNA 책을 읽은 천재 건축가로, 이제 우리는 자연을 모방하는 것을 넘어, 우리가 원하는 기능을 가진 새로운 RNA 를 자유롭게 설계하고 만들 수 있게 되었습니다."

기술 요약

논문 요약: EVA (Evolutionary Versatile Architect)

1. 연구 배경 및 문제 제기 (Problem)

• RNA 설계의 난제: 정의된 기능을 가진 RNA 서열의 프로그래밍 가능한 설계는 생물학의 핵심적인 도전 과제입니다.
• 기존 모델의 한계:
  • 컨텍스트 길이 부족: 기존 RNA 생성 모델들은 짧은 컨텍스트 윈도우 (보통 1,024 토큰 미만) 를 사용하여 전체 전사체 (full-length transcripts) 의 복잡한 진화적 다양성을 모델링하는 데 한계가 있었습니다.
  • 제어 가능성 부재: 많은 모델이 인코더 전용 (encoder-only) 이거나 설계 목적에 최적화되지 않아, 컨텍스트와 제약 조건에 따른 명시적인 제어 (controllable design) 가 어려웠습니다.
  • 데이터의 이질성: RNA 와 DNA 가 혼합된 데이터셋 사용으로 인한 학습 신호의 희석, 그리고 특정 기능적 RNA 클래스에만 초점을 맞춘 편향된 학습이 존재했습니다.
  • 확장성 부족: DNA 도메인에서 성공적인 확장 (scaling) 을 보인 게놈 기반 모델과 달리, RNA 모델링은 확장성이 입증되지 않았습니다.

2. 방법론 (Methodology)

2.1 데이터: OpenRNA v1

• 규모: 진화적 다양성을 포괄하는 **1 억 1,400 만 개 (114M)**의 정제된 전체 길이 RNA 서열로 구성된 대규모 데이터셋입니다.
• 범위: 원핵생물 및 진핵생물을 아우르는 15 가지 RNA 카테고리 (mRNA, tRNA, rRNA, circRNA, miRNA, 바이러스 RNA 등) 를 포함하며, 2313 억 개의 뉴클레오타이드를 다룹니다.
• 전처리: 데이터 불균형 문제를 해결하기 위해 진화적 보존도 (evolutionary conservation) 기반의 샘플링 전략 (클러스터 크기의 제곱근에 반비례하여 가중치 부여) 을 적용하여 희귀한 기능적 RNA 패밀리가 학습에 충분히 반영되도록 했습니다.

2.2 모델 아키텍처: EVA (Evolutionary Versatile Architect)

• 구조: 14 억 (1.4B) 개의 파라미터를 가진 Decoder-only Transformer 기반의 생성 모델입니다.
• 핵심 기술:
  • Mixture-of-Experts (MoE): 효율성과 성능을 극대화하기 위해 MoE 아키텍처를 도입했습니다 (각 레이어당 8 명의 전문가 중 2 명 활성화).
  • 긴 컨텍스트 윈도우: 8,192 토큰의 컨텍스트 윈도우를 지원하여 전체 전사체의 장기적 의존성 (long-range dependencies) 을 포착합니다.
  • 두 가지 학습 목표:
    • CLM (Causal Language Modeling): 자기회귀적 서열 생성.
    • GLM (Generalized Language Modeling): 마스킹된 부분 채우기 (infilling) 를 통한 컨텍스트 기반 재설계.
• 조건부 학습 (Conditioning): RNA 유형 (RNA type) 과 계통 분류 (taxonomic lineage) 태그를 입력에 포함시켜, 보편적인 RNA 문법과 종 특이적 적응을 분리하여 학습합니다.

2.3 학습 커리큘럼 (Two-Stage Training)

1. Pre-training (Stage 1): RNA 유형 태그만 사용하여 보편적인 RNA 문법과 구조적 모티프를 학습합니다.
2. Mid-training (Stage 2): 계통 (종) 태그를 추가하여 종 특이적인 제약 조건을 학습합니다. 이 단계적 접근법은 과적합을 방지하고 일반화 성능을 향상시킵니다.

3. 주요 기여 (Key Contributions)

• 첫 번째 긴 컨텍스트 RNA 생성 기초 모델: 전체 길이 전사체를 모델링할 수 있는 최초의 대규모 생성형 RNA 기초 모델을 제시했습니다.
• 통합 설계 프레임워크: 단일 아키텍처 내에서 돌연변이 적합도 예측, 조건부 생성, 표적 영역 재설계 등 다양한 RNA 설계 작업을 수행할 수 있는 통합 프레임워크를 구축했습니다.
• 오픈 소스 생태계: OpenRNA v1 데이터셋, 4 가지 규모의 모델 체크포인트, 학습 프로토콜, 인터랙티브 웹 서버를 모두 오픈 소스로 공개했습니다.
• 해석 가능성 (Interpretability): 희소 자동 인코더 (SAE) 를 통해 모델이 RNA 서열로부터 기능적 요소 (5'UTR, CDS, 3'UTR, IRES 등) 와 계통적 특성을 학습했음을 규명했습니다.

4. 주요 결과 (Results)

4.1 성능 평가 (Benchmarks)

• 적합도 예측 (Fitness Prediction): 9 개 벤치마크 중 7 개에서 최신 성능 (SOTA) 을 달성했습니다.
  • ncRNA/mRNA: 돌연변이 효과 예측에서 기존 모델 대비 우수한 상관관계를 보였습니다.
  • DNA/Protein: RNA 만으로 훈련되었음에도 불구하고, 유전자 필수성 (gene essentiality) 예측 및 단백질 적합도 예측에서도 DNA/단백질 전용 모델 (Evo2, ESMC 등) 과 경쟁하거나 이를 능가하는 성능을 보였습니다.
• 장기 의존성: 8,192 토큰 컨텍스트 내에서 'Haystack' 테스트 (Needle-in-a-Haystack) 를 통해 미세한 교란 (1%) 도 정확하게 감지하는 능력을 입증했습니다.

4.2 생성 및 설계 능력

• 구조적 충실도: tRNA, 어피타머 (aptamer), CRISPR 가이드 RNA 등 다양한 RNA 클래스의 de novo 설계에서 자연계 RNA 와 유사한 구조적 안정성 (TM-score) 을 유지하면서도 서열적 다양성을 확보했습니다.
• 조건부 생성: RNA 유형과 종 태그를 조건으로 주어, 특정 종 (예: 인간, 마우스) 의 mRNA 나 circRNA 를 설계할 수 있으며, 기존 모델 대비 KL 발산 (KL divergence) 이 13 배 이상 낮아 자연 분포를 더 잘 모사합니다.
• 미세 조정 (Fine-tuning): 소량의 데이터 (예: 30 개의 형광 어피타머 서열) 만으로 미세 조정을 통해 훈련 데이터에 없던 새로운 RNA 클래스 (어피타머, omegaRNA) 의 설계에 성공했습니다.

4.3 응용 사례: RNA 백신 설계

• mRNA/circRNA 최적화: 코돈 최적화 (CAI) 와 RNA 접힘 안정성 (MFE) 을 동시에 최적화하여 SARS-CoV-2, 광견병 바이러스 등 4 가지 백신 시스템에서 기존 방법 (Evo2, CodonFM) 보다 우수한 성능을 보였습니다.
• IRES 설계: 순환 RNA (circRNA) 백신의 번역 효율을 결정하는 IRES (Internal Ribosome Entry Site) 를 GLM 을 통해 de novo 설계하여, 기존 바이러스성 IRES 대비 리보솜 접근성을 크게 향상시키고 억제적 상호작용을 줄였습니다.

5. 의의 및 결론 (Significance)

• 진화적 다양성의 포착: EVA 는 대규모 진화적 RNA 서열 다양성을 학습함으로써, 서열 확률 (likelihood) 이 진화적 타당성을 반영한다는 것을 보여주었습니다. 이는 특정 작업에 대한 재학습 없이도 다양한 RNA 클래스와 종에 적용 가능한 제로샷 (zero-shot) 능력을 가능하게 합니다.
• 해석 가능한 AI: 모델 내부의 뉴런들이 생물학적 기능 요소 (IRES, ORF 등) 와 계통적 분류에 대응하는 것을 확인함으로써, RNA 의 기능적 아키텍처를 서열만으로 학습할 수 있음을 증명했습니다.
• 미래 전망: EVA 는 단순한 예측을 넘어, 복잡한 RNA 시스템 (바이러스 게놈 등) 의 설계로 확장될 수 있는 기반을 마련했으며, 생성적 생물학 (Generative Biology) 의 새로운 시대를 열었습니다.

이 연구는 RNA 설계의 패러다임을 '단일 기능 최적화'에서 '전체 전사체 수준의 진화적 이해와 제어 가능한 생성'으로 전환시키는 중요한 이정표로 평가됩니다.