ResVGGFormer: A Hybrid Residual-enhanced VGG-Transformer model for Predicting Multi-type RNA Modification Site in S. cerevisiae

기술 요약: 다중 유형 RNA 변형 부위 예측을 위한 ResVGGFormer

문제 정의
전사 후 RNA 변형은 RNA 구조, 안정성 및 번역을 조절하는 데 매우 중요합니다. MeRIP-seq 및 miCLIP과 같은 실험적 방법들이 전사체 전체의 매핑을 가능하게 했으나, 이는 여전히 비용이 많이 들고 노동 집약적이며 변동성이 높습니다. 계산적 접근 방식, 특히 딥러닝 모델은 효율적인 대안으로 부상했습니다. 그러나 기존 방법들은 Saccharomyces cerevisiae에서 다중 유형 변형 부위를 예측하는 데 있어 두 가지 주요 과제에 직면해 있습니다:

1. 데이터 불균형 및 특징 복잡성: 데이터셋은 종종 불균형한 분포(희귀 변형은 학습 데이터가 불충분함)와 높은 특징 차원성을 겪으며, 이는 정확도와 효율성의 균형을 맞추는 것을 어렵게 만듭니다.
2. 계산 효율성: 어텐션 기반 모델은 장거리 의존성을 포착하는 데 효과적이지만, 특히 하이퍼파라미터를 탐색하는 동안 높은 계산 비용과 리소스 오버헤드를 초래할 수 있습니다.

방법론: ResVGGFormer 아키텍처
저자들은 다중 유형 RNA 변형 부위를 예측하기 위해 설계된 하이브리드 딥러닝 프레임워크인 ResVGGFormer를 제안합니다. 이 아키텍처는 잔차 강화(residual-enhanced) VGG 스타일 백본과 트랜스포머 인코더를 통합하며, 다음과 같이 구성됩니다:

1. 입력 처리:

   • RNA 서열(601 bp로 고정)은 임베딩 레이어를 통해 고차원 벡터로 변환됩니다.
   • 서열 순서 정보를 보존하기 위해 사인(sine) 및 코사인(cosine) 함수를 사용하는 위치 인코딩(positional encodings)이 추가됩니다.

2. 잔차 강화 VGG 스타일 백본 (ResVGG):

   • 특징 추출 및 압축: 백본은 VGG16에서 영감을 받은 적층된 1D 컨볼루션 레이어(커널 크기 $k=3$), 배치 정규화(batch normalization), ReLU 활성화 함수를 활용합니다. 이는 첫 세 개의 블록에서 MaxPooling 레이어를 포함하여 시퀀스 길이를 점진적으로 압축($L$에서 $L/8$로)하는 동시에 채널 깊이를 증가시킵니다.
   • 절단 잔차 연결 (Truncation Residual Connection): 압축 과정 중 발생하는 정보 손실을 보상하기 위해, 원본 입력 서열은 1D 평균 풀링(Average Pooling)을 사용하여 다운샘플링됩니다. 이 다운샘플링된 입력은 압축된 특징 길이에 맞게 절단(truncation)된 후 VGG에서 추출된 특징과 합산됩니다. 이 합산 과정은 전역적 문맥 정보를 보존하기 위해 레이어 정규화(Layer Normalization)를 따릅니다.

3. 트랜스포머 인코더 (Transformer Encoder):

   • 백본에서 압축된 특징은 전역적 의존성을 포착하기 위해 트랜스포머 인코더로 전달됩니다.
   • 인코더는 잔차 연결과 위치별 피드포워드 네트워크(FFN)를 갖춘 멀티 헤드 셀프 어텐션(multi-head self-attention) 메커니즘을 채택합니다.
   • 마스크 처리: 백본의 차원 축소를 처리하기 위해, 어텐션 마스크는 1D MaxPooling과 절단을 사용하여 압축된 시퀀스 특징과 정렬되며, 이를 통해 효과적인 이진 어텐션 경계를 보장합니다.

4. 예측 모듈:

   • 출력은 마스크 인식 평균 풀링(mask-aware mean pooling)을 거쳐 고정된 길이의 표현을 생성합니다.
   • 드롭아웃(dropout)과 배치 정규화가 포함된 경량 분류 헤드(2개 층의 피드포워드 네트워크)와 소프트맥스(Softmax) 함수가 뒤따르며, 중심 위치가 변형 부위일 확률을 출력합니다.

주요 기여

1. ResVGG 백본: 고수준 특징을 효과적으로 추출하면서 계산 효율성을 높이기 위해 시퀀스 길이를 압축하는 잔차 강화 VGG 스타일 백본을 설계했습니다. 1D-평균 풀링을 결합한 절단 잔차 연결의 포함은 정보 손실 문제를 해결합니다.
2. 하이브리드 아키텍처: 로컬의 미세한 특징과 글로벌 장거리 의존성을 동시에 포착하기 위해 VGG 백본과 트랜스포머 인코더를 결합한 ResVGGFormer를 구현했습니다.
3. 포괄적 평가: m6A, m5C, $\Psi$, m1A 등을 포함한 10가지 뚜렷한 변형 유형을 다루는 공개된 S. cerevisiae 데이터셋에 대해 엄격한 평가를 수행하여, 흔한 변형과 희귀 변형 모두에서 성능을 입증했습니다.

실험 결과
모델은 10가지 변형 유형을 포함하는 데이터셋에 대해 5-겹 교차 검증(5-fold cross-validation) 및 독립 테스트를 통해 평가되었습니다. 주요 결과는 다음과 같습니다:

• 예측 성능: ResVGGFormer는 베이스라인인 iMRM 및 YModPred와 비교하여 최첨단(SOTA) 결과를 달성했습니다.
  • $\Psi$ 작업에서 AUC 0.8619, MCC 0.5782를 달성하여 YModPred(AUC: 0.8488, MCC: 0.5221)를 능가했습니다.
  • m6A 작업에서 AUC 0.9274, MCC 0.7110에 도달했습니다.
  • m5U 및 D 변형 유형의 경우, 모델은 테스트 세트의 모든 지표(ACC, AUC, Sn, Sp, MCC)에서 완벽한 점수(1.0000)를 기록했습니다.
• 구성 요소 분석:
  • 백본 선택: VGG16 스타일의 아키텍처는 대부분의 변형 유형에서 EfficientNet, AlexNet, ResNet18보다 우수한 안정성과 성능을 보여주었습니다.
  • 잔차 전략: 잔차 연결을 위해 1D-AvgPooling + Truncation을 결합한 방식이 MaxPooling이나 잔차 연결이 없는 경우보다 더 많은 전역 문맥 정보를 보존함으로써 최상의 성능을 나타냈습니다.
  • 어텐션 마스크: 어텐션 마스크를 위한 1D-MaxPooling + Truncation 방식이 평균 풀링보다 더 명확한 이진 경계를 제공하고 더 나은 성능을 보였습니다.
• 계산 효율성: ResVGGFormer는 상당한 효율성 이득을 보여주었습니다. YModPred 및 iMRM과 비교했을 때 10개 중 8개의 데이터셋에서 가장 빠른 에포크당 훈련 시간을 달성했습니다. 예를 들어, m6A 데이터셋에서 훈련 시간은 약 4035초(YModPred)에서 약 961초(ResVGGFormer)로 단축되었으며, D 데이터셋에서는 약 16.57초(iMRM)에서 약 8.99초로 단축되었습니다.

의의 및 주장
본 논문은 ResVGGFormer가 아키텍처 복잡도와 계산 오버헤드 사이의 최적의 균형을 제공한다고 주장합니다. VGG 기반의 특징 추출기와 트랜스포머를 통합함으로써, 이 모델은 순수 트랜스포머 모델과 관련된 과도한 훈련 비용 없이 로컬 시퀀스 특징과 글로벌 의존성을 성공적으로 포착합니다. 저자들은 이 모델이 신속한 반복과 고처리량이 필수적인 대규모 에피트랜스크립톰(epitranscriptomic) 분석에 특히 적합하다고 단언합니다. 본 연구는 데이터 품질, 규모 및 계산 자원 간의 상충 관계를 해결하며, S. cerevisiae의 다중 유형 RNA 변형 부위에 대한 체계적인 발견을 위한 견고한 프레임워크를 제공합니다.