💻 bioinformatics

PARNET: A CLIP-SEQ-BASED FOUNDATION MODEL FOR RNA SEQUENCE REPRESENTATION LEARNING

PARNET은 실험적인 CLIP-seq 데이터만을 학습하여 염기 해상도의 RBP 결합 프로파일을 예측하는 새로운 RNA 파운데이션 모델로, 기존의 서열 기반 언어 모델들과 비교하여 다양한 다운스트림 작업 전반에서 우수한 성능과 기전적 해석 가능성을 입증하였다.

원저자: Moyon, L., Tirabassi, A., Baranowskii, A., Capitanchik, C., Kuret Hodnik, K., Wilkinson, L., Londhe, S., Dumbovic, G., Gagneur, J., Ule, J., Horlacher, M., Marsico, A.

게시일 2026-08-13

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Moyon, L., Tirabassi, A., Baranowskii, A., Capitanchik, C., Kuret Hodnik, K., Wilkinson, L., Londhe, S., Dumbovic, G., Gagneur, J., Ule, J., Horlacher, M., Marsico, A.

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ⚕️ 이것은 동료 심사를 거치지 않은 프리프린트의 AI 생성 설명입니다. 의학적 조언이 아닙니다. 이 내용을 바탕으로 건강 관련 결정을 내리지 마세요. 전체 면책 조항 읽기

당신의 몸을 북적이는 첨단 기술 도시라고 상상해 보세요. 이 도시에서 DNA는 시청에 안전하게 보관된 마스터 설계도이지만, 실제 작업은 거리에서 일어납니다. 이 설계도를 건설 현장으로 보내기 위해, 도시는 RNA라고 불리는 복사본을 보냅니다. 이 RNA 메시지는 도시를 계속 돌아가게 만드는 일꾼인 단백질을 만들기 위한 지침을 실어 나르는 배달 트럭과 같습니다. 하지만 여기에는 함정이 있습니다. 이 RNA 트럭들은 매우 취약하며, 그 위의 지침들이 엉망이거나 모호할 수 있다는 점입니다. 만약 트럭이 고장 나거나, 길을 잃거나, 잘못된 화물을 배달한다면, 도시 전체가 혼란에 빠져 질병으로 이어질 수 있습니다.

모든 것이 원활하게 돌아가도록 하기 위해, 도시는 RNA 결합 단백질(RBP)이라는 이름의 거대하고 전문화된 교통 관제 팀을 고용합니다. 이 관제사들은 단순히 트럭을 운전하는 것에 그치지 않고, RNA 메시지를 읽고, 어디로 가야 할지, 얼마나 오래 머물러야 할지, 그리고 단백질로 번역될 것인지 아니면 폐기될 것인지를 결정합니다. 이들은 모든 RNA 메시지의 운명을 결정하는 복잡하고 보이지 않는 코드 역할을 합니다. 수년 동안 과학자들은 컴퓨터를 이용해 이 코드를 해독하려고 노력해 왔지만, 그것은 마치 게임의 규칙을 단지 보드 위의 조각들을 보는 것만으로 추측하려는 것과 같았습니다. 큰 질문은 이것입니다. 우리가 단순히 RNA 메시지의 글자를 이해하는 것을 넘어, 교통 관제사들이 이들과 어떻게 상호작용하여 도시의 삶을 제어하는지까지 이해하는 스마트한 컴퓨터를 만들 수 있을까요?

여기에 생물학적 교통 시스템을 이해하는 지름길을 찾아냈다고 주장하는 새로운 종류의 "초지능형" 컴퓨터 모델인 **파넷(Parnet)**이 등장했습니다. 파넷은 단순히 어둠 속에서 수백만 개의 RNA 메시지를 읽으며 규칙을 추측하는 방식(자기 지도 학습이라고 불리며, 이는 그림이 없는 책을 읽으며 언어를 배우려는 학생과 같습니다) 대신, 교통 관제사들이 실제로 움직이는 모습을 관찰함으로써 학습했습니다. 연구진은 150가지 유형의 RNA 결합 단백질이 RNA 가닥을 붙잡는 모습을 과학자들이 실제로 관찰한 223개의 서로 다른 실험 데이터셋을 바탕으로 파넷을 훈련시켰습니다. 이것은 학생에게 사전만을 주는 대신, 수천 개의 영상을 통해 교통 관제사들이 업무를 수행하는 모습을 보여주며 가르치는 것과 같습니다.

결과는 놀라울 정도로 강력합니다. 파넷은 이전 모델들보다 훨씬 더 높은 정확도로, 단 하나의 글자 단위까지 단백질이 RNA 가닥의 정확히 어느 지점에 결합할지를 예측하는 법을 배웠습니다. 하지만 진짜 마법은 연구진이 파넷이 실제로 무엇을 배웠는지 테스트했을 때 일어났습니다. 그들은 모델의 '두뇌'를 "동결"시킨 후, 그 내부 지식을 사용하여 한 번도 본 적 없는 다른 퍼즐들을 풀었습니다. 추가적인 훈련 없이도 파넷은 다음을 성공적으로 예측했습니다:

어떤 RNA 메시지가 세포의 "벽"(염색질)에 달라붙고 어떤 것이 자유롭게 떠다닐지.
메시지가 얼마나 효율적으로 단백질로 변환되는지(번역 효율).
특정 RNA의 "잘라내고 붙이기"(스플라이싱) 이벤트가 올바르게 일어날지 혹은 잘못될지.
질병을 유발할 수 있는 미세한 유전적 오타(돌연변이)의 영향까지도 말이죠.

파넷이 특별한 이유는 단순히 정답을 맞혔기 때문만이 아니라, 왜 그런 결과가 나왔는지 설명할 수 있기 때문입니다. 단백질과 RNA 사이의 상호작용으로부터 직접 학습했기 때문에, 파넷은 특정 "교통 관제사"와 RNA 상의 특정 패턴이 왜 예측을 일으켰는지 지목할 수 있습니다. 예를 들어, 만약 파넷이 특정 돌연변이가 질병을 일으킬 것이라고 예측한다면, 그것은 해당 돌연변이가 특정 단백질의 결합 부위를 파괴하여 결과적으로 교통을 마비시켰음을 보여줄 수 있습니다.

이 논문은 단지 서열을 읽는 데 집중하는 현재의 추세보다, 단백질과 RNA 사이의 물리적 상호작용으로부터 직접 학습하는 이 방식이 생물학을 위한 AI를 구축하는 데 훨씬 더 효율적이고 이해하기 쉬운 방법임을 시사합니다. 이 모델은 단 두 종류의 인간 세포 데이터로 훈련되었음에도 불구하고, 보지 못한 세포 유형에도 일반화될 수 있으며, 심지어 TDP-43라는 단백질이 폭주하는 ALS(루게릭병)와 같은 질병에서 단백질이 어떻게 결합하는지도 예측할 수 있음을 보여주었습니다. 저자들은 파넷이 거대한 진전이지만 완벽하지는 않다는 점을 주의 깊게 언급했습니다. 현재 파넷은 훈련된 단백질에 대해서만 알고 있으며, RNA의 3D 구조나 화학적 변형은 아직 고려하지 못합니다. 그러나 실제 측정된 생물학적 상호작용에 기반을 둠으로써, 파넷은 우리 세포가 어떻게 기능하는지를 지배하는 복잡한 코드에 대한 명확하고 해석 가능한 창을 제공하며, 잠재적으로 과학자들이 새로운 치료법을 위해 어떤 유전적 돌연변이를 우선적으로 연구해야 할지 결정하는 데 도움을 줄 수 있습니다.

기술 요약: PARNET – RNA 서열 표현 학습을 위한 CLIP-Seq 기반 파운데이션 모델

문제 정의

RNA 결합 단백질(RBP)은 RNA 스플라이싱, 안정성, 국소화 및 번역을 조절하는 복잡한 조합적 조절 "코드"를 지휘한다. 딥러닝이 유전체학을 변화시켰지만, 기존의 RNA 파운데이션 모델들은 주로 대규모의 레이블 없는 서열 코퍼스에 대한 자기 지도 학습 목적 함수(예: 마스크드 언어 모델링)에 의존한다. 이러한 모델들은 서열 통계와 보존성에 기반하여 일반적인 목적의 표현을 학습하지만, RNA 기능에 관여하는 조절 원리와의 직접적인 연결은 부족하다. 결과적으로, 이들은 다양한 다운스트림 태스크를 위해 광범ende로운 미세 조정(fine-tuning)을 필요로 하며, 사후 전사 조절에 가장 관련성이 높은 서열 특징을 효율적으로 포착하지 못할 수 있다. 저자들은 RNA의 결합 파트너를 아는 것이 RNA의 가공 및 기능에 대한 직접적인 통찰을 제공한다는 점에 착안하여, RNA의 인터랙톰(interactome)을 밀도 있게 표현하는 모델이 다양한 RNA 태스크를 위한 우수한 기초가 될 수 있다고 제안한다.

방법론

데이터 및 전처리

모델인 Parnet은 ENCODE 데이터베이스의 실험적 eCLIP-seq 데이터만을 사용하여 학습된다. 데이터셋은 두 가지 세포주(K562 및 HepG2)에 걸친 150개의 고유한 RBP를 포함하는 223개의 eCLIP 실험으로 구성된다.

입력: 원시 RNA 서열을 GENCODE (v48)에서 추출하여, 150nt가 중첩되는 600-뉴클레오타이드 서열으로 타일링하고 원-핫 인코딩(one-hot encoding)한다.
신호 처리: 각 실험에 대해 생물학적 반복 실험(replicates)을 병합하고, 각 뉴클레오타이드 위치에서의 5' 리드 시작(read-start) 카운트를 추출한다. 위치 특이적 배경 노이즈를 추정하기 위해 크기 매칭 입력(SMI) 컨트롤을 사용한다.

모델 아키텍처

Parnet은 단일 태스크인 RBPNet 아키텍처를 멀티 태스크 프레임워크로 확장한다:

백본(Backbone): 1D 합성곱 신경망(CNN)인 잔차 블록(총 9개 블록)이 입력 서열을 처리한다. 모델 크기는 멀티 태스크 특성을 수용하기 위해 RBPNet의 0.5M에서 2,100만 개의 파라미터로 확장되었다.
출력 헤드(Output Heads): 공유 백본은 각 eCLIP 실험에 대응하는 223개의 태스크 특이적 출력 헤드로 분기된다.
신호 분해: 각 헤드는 실험적 배경(SMI) 신호를 모사하는 두 가지 성분의 혼합으로 모델링된 "토탈 트랙(total track)"을 예측한다:
1. 타겟 트랙(Target Track): 단백질 특이적 결합 신호.
2. 컨트롤 트랙(Control Track): 실험적 배경(SMI) 신호.
- 전체 신호는 $p_{total} = \pi \times p_{target} + (1 - \pi) \times p_{control}$ 로 정의되며, 여기서 $\pi$ 는 학습된 혼합 계수이다.
손실 함수(Loss Function): 모델은 타겟 트랙과 컨트롤 트랙 모두에 대해 음의 로그 가능도(negative log-likelihood)를 최소화한다. 결정적으로, 모델이 배경 노이즈를 위해 컨트롤 트랙을 최대한 활용하도록 유도하여 타겟 트랙을 "디노이징(denoising)"함으로써 실제 단백질-RNA 상호작용을 격리하도록 하는 **패널티 항( $\lambda \pi$ )**이 손실 함수에 추가된다.

학습 전략

목적: 원시 RNA 서열로부터 염기 해상도의 RBP 결합 프로파일을 직접 예측하기 위한 엔드 투 엔드(end-to-end) 지도 학습.
최적화: 검증 성능에 기반한 조기 종료(early stopping)를 적용한 AdamW 옵티마이저.
하이퍼파라미터: 디노이징을 수행하면서 모티프 신호를 보존하는 최적의 트레이드오프를 위해 패널티 계수 $\lambda = 10$ 이 식별되었다.

주요 기여

새로운 사전 학습 전략: Parnet은 자기 지도 방식의 서열 재구성 대신, 실험적으로 측정된 단백질-RNA 상호작용(CLIP-seq)에 기반한 파운데이션 모델 사전 학습 전략을 도입한다. 이는 더 강력하고 생물학적으로 동기 부여된 귀납적 편향(inductive bias)을 제공한다.
멀티 태스크 학습: 223개의 eCLIP 실험을 공동으로 모델링함으로써, Parnet은 복잡하고 조합적인 RBP 결합 패턴을 포착하고 관련 프로세스 간의 상관관계(예: 공동 결합 패턴)를 활용하여 저품질 데이터셋에서의 성능을 향 향상시킨다.
기계론적 해석 가능성: 블랙박스 형태의 언어 모델과 달리, Parnet의 예측은 통합 기울기(Integrated Gradients) 및 임베딩 공간 조사를 통해 특정 RBP와 그 서열 모티프로 추적될 수 있으며, 이는 계산적 예측을 분자 기구와 직접 연결한다.
효율성: 기존의 많은 유전체 파운데이션 모델(예: Nucleotide Transformer, Evo2)보다 훨씬 적은 파라미터(21M)를 가졌음에도 불구하고, Parnet은 미세 조정이나 조정 없이도 다양한 다운스트림 태스크에서 최첨단(state-of-the-art) 성능을 달성한다.

결과

1. 개선된 결합 프로파일 예측

정확도: Parnet은 단일 태스크 RBPNet 모델보다 우수하며, 예측된 리드 시작 카운트와 관찰된 카운트 사이의 피어슨 상관계수(Pearson correlation)에서 평균 35% 증가, 스피어먼 상관계수(Spearman correlation)에서 19% 증가를 달성했다.
일반화: 모델은 관찰되지 않은 세포 유형 및 어세이 유형으로 일반화된다. 예를 들어, K562 eCLIP 데이터로만 학습되었음에도 불구하고(K562에서는 STMN2가 발현되지 않음), SH-SYHY 세포 내 STMN2의 크립틱 엑손(cryptic exon)에서 TDP-43 결합을 성공적으로 복구했다.
디노이징: $\lambda$ 패널티를 높이면 실제 결합 모티프(예: RBFOX2, QKI)를 배경 노이즈(예: G-rich 또는 U-rich 패턴)로부터 효과적으로 분리하여, in vitro 모티프(RNAcompete, RNA Bind-n-Seq)와 높은 일치도를 보이는 타겟 트랙을 생성한다.

2. 조절 로직의 복구

스플라이싱 조절: Parnet은 위치 의존적 스플라이싱 조절을 재현한다. Parnet 예측으로부터 생성된 RNA 스플라이싱 맵은 스플라이싱 인핸서(예: 엑손 영역의 SR 단백질)와 실런서(예: 3' 스플라이스 사이트의 PTBP1)에 대한 구별된 결합 패턴을 정확히 식별하며, 이는 실험적 RNA-seq 넉다운 데이터에서 유도된 패턴과 일치한다.
제로샷(Zero-Shot) 성능: 동결된(frozen) Parnet 임베딩은 다음과 같은 태스크에서 더 큰 자기 지도 방식의 RNA 및 유전체 언어 모델(RiNALMo, Nucleotide Transformer)과 대등하거나 이를 능가하는 성능을 보인다:
- RNA 바이오타입 분류: mRNA, lncRNA, miRNA 등을 구분.
- 유전체 영역 분류: CDS, UTR, 인트론 식별.
- lncRNA 염색질 국소화: 염색질 해리 반감기를 예측하여, 염색질 유지형 lncRNA와 핵질 내 lncRNA를 구분 (Pearson $r=0.54$ , 신경망 대비).
- 번역 효율(TE): 여러 세포 유형(HEK293, 근육, PC3)에 걸쳐 TE를 예측하며, 전문 도구인 Optimus 5-Prime 및 FramePool보다 뛰어난 성능을 보인다.
- 스플라이스 사이트 인식: 삼항 분류(도너, 억셉터, 비-스플라이스)에서 90% 이상의 AUROC/AUPRC를 달성하여 Spliceator 및 RiNALMo를 능가한다.
- 인트론 유지: 스플라이스 실런싱 및 인핸싱 요소를 포착하여 인트론 유지 이벤트를 정확하게 예측 (AUROC 0.90).

3. 변이 효과 예측

제로샷 변이 스코어링: Parnet 임베딩은 MutSpliceDB 데이터셋에서 기능적 스플라이스 변경 변이를 양성 대조군과 효과적으로 구별하며, SpliceAI(0.794)와 RiNALMo를 넘어선 0.801의 AUPRC를 달est한다.
기계론적 통찰: 모델은 어떤 특정 RBP가 변이에 의해 영향을 받는지 식별한다. 예를 들어, SpliceAI가 놓친 병원성 NF1 변이가 U2AF1/U2AF2 결합을 방해한다는 점과, RB1 변이가 PRPF8/AQR 결합을 방해한다는 점을 정확히 식별했다.

의의 및 주장

본 논문은 Parnet이 RBP 인터랙톰을 RNA 생물학을 위한 압축적이고, 기능적으로 충분하며, 해석 가능한 파운데이션 모델 사전 학습의 기초로 확립한다고 주장한다.

감독 학습 기반 기능적 사전 학습의 우월성: 저자들은 서열의 가능성(likelihood)을 최적화하는 자기 지도 방식의 재구성 목적 함수보다, 실험적 기능 데이터(RBP 결합)에 표현을 고정하는 것이 조절 태스크에 더 효과적이라고 주장한다. 이는 Parnet이 최소한의 미세 조정을 통해 복잡한 다운스트림 태스크(스플라이싱, 번역, 국소화)에서 일반화 성능을 보여주는 데서 입증된다. 반면, 자기 지도 모델들은 종종 태스크 특화된 튜닝을 요구하며 서열 길이 및 GC 함량과 같은 혼란 변수에 더 취약하다.
해석 가능성: Parnet이 제공하는 핵심적인 차별점은 해석 가능성이다. RBP 결합을 예측하도록 학습되었기 때문에, 모델의 내부 표현을 직접 조사하여 어떤 특정 단백질과 모티프가 RNA의 특성이나 변이 효과를 주도하는지 밝혀낼 수 있다.
효율성: 모델은 상대적으로 작은 규모(2,100만 파라미터)의 기능 중심 모델이 훨씬 더 많은 데이터를 학습한 거대 자기 지도 모델보다 뛰어난 성능을 낼 수 있음을 입증한다.

저자들은 결론적으로 Parnet이 단일 태스크의 결합 예측과 통합된 사후 전사 조절 모델링 사이의 간극을 메우며, 변이 우선순위 지정부터 맞춤형 조절 특성을 가진 RNA 설계에 이르기까지 계산적 RNA 생물학을 위한 다재다능한 파운데이션을 제공한다고 밝힌다.