CrossLLM-Mamba: Multimodal State Space Fusion of LLMs for RNA Interaction Prediction

이 논문은 RNA-단백질, RNA-소분자, RNA-RNA 상호작용 예측을 위해 생물학적 대규모 언어 모델 (BioLLM) 의 임베딩을 동적 상태 공간 정렬로 통합하는 'CrossLLM-Mamba' 프레임워크를 제안하여 기존 정적 융합 방식의 한계를 극복하고 최첨단 성능을 달성했음을 보여줍니다.

핵심

1. 문제: 왜 기존 방법은 부족했을까요?

생물학자들은 세포 안에서 RNA 가 단백질이나 약물과 어떻게 결합하는지 알아내야 합니다. 이는 새로운 약을 개발하거나 질병을 이해하는 데 필수적입니다.

• 기존 방법 (정적인 사진 찍기):
  이전의 인공지능 모델들은 RNA 와 단백질을 각각 분석한 뒤, 그 결과를 단순히 나란히 붙여놓거나 (Concatenation) 평균을 내는 방식이었습니다.
  • 비유: 두 사람이 만나는 장면을 정지된 사진으로 찍어서 분석하는 것과 같습니다. "A 는 웃고 있고, B 는 손을 들고 있다"는 사실은 알 수 있지만, "A 가 웃으니 B 가 웃음"이라는 상호작용의 흐름은 알 수 없습니다.
  • 한계: 분자 결합은 정적인 상태가 아니라, 서로의 상태에 따라 실시간으로 변하는 동적인 대화와 같습니다. 기존 방법은 이 '대화'를 놓쳐버렸습니다.

2. 해결책: CrossLLM-Mamba 의 등장

이 연구팀은 분자 간 상호작용을 **"상태 공간 (State Space) 모델링"**이라는 새로운 관점으로 바라봤습니다.

• 핵심 아이디어 (생동감 있는 대화):
  이 모델은 두 분자가 서로 만나서 서로의 상태를 바꾸며 대화하는 과정으로 봅니다.
  • 비유: 두 사람이 만나서 대화할 때, 한 사람의 말 (상태) 이 상대방의 다음 말 (상태) 에 영향을 주고, 그 영향이 다시 돌아오는 연속적인 흐름을 추적합니다.
  • Mamba(맘바) 라는 기술: 이 흐름을 매우 빠르고 효율적으로 처리하는 최신 AI 기술입니다. 기존에 쓰이던 '트랜스포머' 방식은 두 분자의 길이가 길어지면 계산량이 기하급수적으로 늘어나서 무거웠지만, Mamba 는 **선형 (Linear)**으로 계산하므로 가볍고 빠릅니다.

3. 이 모델이 어떻게 작동하나요? (3 단계 프로세스)

이 모델은 세 가지 주요 단계를 거쳐 분자들의 관계를 예측합니다.

① 전문가들의 언어 번역 (LLM Embeddings)

먼저, RNA, 단백질, 작은 분자 (약물) 는 각각 다른 '언어'로 되어 있습니다.

• RNA는 'RiNALMo'라는 전문가가 해석합니다.
• 단백질은 'ESM-2'라는 전문가가 해석합니다.
• 약물은 'MoleBERT'라는 전문가가 해석합니다.
  이들은 각 분자를 고차원의 복잡한 숫자 (벡터) 로 변환하여, AI 가 이해할 수 있는 '의미 있는 언어'로 바꿉니다.

② 잡음 섞기 훈련 (Robustness via Noise Injection)

실제 생물학 데이터는 노이즈가 많고, '아예 안 결합하는 경우'와 '약간 결합하는 경우'를 구별하기 어렵습니다.

• 비유: 운동선수가 훈련할 때 약간의 무게를 지고 훈련하면, 실제 경기에서 더 강해집니다.
• 이 모델은 학습 데이터에 인위적인 **잡음 (Gaussian Noise)**을 섞어서 훈련시킵니다. 이렇게 하면 모델이 특정 데이터의 세부적인 오류에 의존하지 않고, 본질적인 결합 패턴을 더 튼튼하게 학습하게 됩니다.

③ 교차 대화 (Cross-Mamba Interaction)

이제 두 분자의 정보를 만듭니다.

• 비유: 두 분자의 정보를 단순히 나란히 놓는 게 아니라, 한 분자의 정보가 다른 분자의 정보 속으로 흘러들어가는 (Flow) 방식으로 처리합니다.
• Mamba 구조를 이용해, RNA 의 정보가 단백질의 상태를 바꾸고, 다시 단백질의 정보가 RNA 의 상태를 바꾸는 양방향 흐름을 만들어냅니다. 이것이 바로 '동적인 대화'를 모방하는 핵심입니다.

4. 어떤 성과를 냈나요?

이 모델은 세 가지 다른 분야에서 최고의 성능을 보여주었습니다.

1. RNA - 단백질 결합 (RPI1460):
   • 기존 최고의 모델보다 정확도가 5.2% 높게 개선되었습니다. 특히, 진짜 결합하는 경우를 놓치지 않는 능력 (Recall) 이 매우 뛰어났습니다.
2. RNA - 약물 결합 (Binding Affinity):
   • 약물이 RNA 에 얼마나 잘 달라붙는지 (친화력) 를 예측할 때, 실제 실험 결과와 95% 이상 일치하는 높은 정확도를 보였습니다.
3. 다른 종 간의 예측 (Cross-Species):
   • 한 식물 (예: 담배) 에서 학습한 지식을 다른 식물 (예: 콩) 에 적용했을 때도, 기존 방법들보다 훨씬 잘 예측했습니다. 이는 모델이 분자 간의 보편적인 원리를 잘 학습했음을 의미합니다.

5. 요약: 왜 이 연구가 중요한가요?

이 연구는 생물학 AI 의 패러다임을 바꿉니다.

• 과거: 분자들을 정적인 사진처럼 보고, 단순히 정보를 합쳤습니다.
• 현재 (CrossLLM-Mamba): 분자들을 살아있는 대화 상대처럼 보고, 서로의 상태가 어떻게 영향을 주고받는지 **흐름 (Flow)**으로 분석합니다.

마치 두 사람이 만나서 서로의 마음을 읽고 관계를 맺는 과정을 AI 가 시뮬레이션하듯, 이 모델은 분자 세계의 복잡한 상호작용을 훨씬 더 정교하고 빠르게 예측할 수 있게 해줍니다. 이는 새로운 약을 개발하는 속도를 높이고, 세포 내부의 비밀을 푸는 데 큰 도움이 될 것입니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 배경: RNA 와 단백질, 작은 분자 (Small Molecule), 다른 RNA 간의 상호작용을 정확하게 예측하는 것은 세포 조절 메커니즘 이해 및 신약 개발에 필수적입니다. 최근 ESM-2(단백질), RiNALMo(RNA), MoleBERT(소분자) 와 같은 생물학적 대규모 언어 모델 (BioLLMs) 이 시퀀스 표현에 강력한 성능을 보이고 있습니다.
• 문제점:
  1. 정적 융합 (Static Fusion) 의 한계: 기존 방법들은 BioLLM 의 임베딩을 단순히 연결 (Concatenation) 하거나 평균화, 얕은 게이트 메커니즘을 통해 융합합니다. 이는 분자 결합이 가진 동적이고 문맥 의존적인 (dynamic, context-dependent) 특성을 포착하지 못합니다. 분자 간 상호작용을 단순한 특징의 중첩이 아닌, 한 분자의 상태가 다른 분자의 결합 잠재력을 조건 짓는 복잡한 '대화'로 보아야 함에도 불구하고 이를 반영하지 못합니다.
  2. 계산 복잡도: Transformer 기반의 크로스 어텐션 (Cross-attention) 은 시퀀스 길이에 따라 이차적 (quadratic) 으로 복잡도가 증가하여, 고차원의 BioLLM 임베딩 처리 시 확장성이 떨어집니다.
  3. 데이터 불균형 및 노이즈: 생물학적 상호작용 데이터는 '하드 네거티브 (hard-negative)' 샘플이 많고 클래스 불균형이 심하여, 기존 모델이 새로운 시퀀스에 대해 일반화하기 어렵습니다.

2. 제안된 방법론: CrossLLM-Mamba (Methodology)

저자들은 생물학적 상호작용 예측을 상태 공간 모델링 (State-Space Modeling, SSM) 정렬 문제로 재정의한 새로운 프레임워크 CrossLLM-Mamba를 제안합니다.

• 아키텍처 개요:
  1. 다중 모달 임베딩 추출: 각 생물학적 모달리티 (단백질, RNA, 소분자) 에 특화된 사전 훈련된 LLM(ESM-2, RiNALMo, MoleBERT) 을 사용하여 고차원 특징 벡터를 추출합니다.
  2. 강건한 특징 정렬 (Robust Feature Alignment): 추출된 임베딩을 공유 잠재 공간으로 선형 투영하되, 가우스 노이즈 주입 (Gaussian Noise Injection) 을 추가하여 모델이 LLM 잠재 공간의 특정 아티팩트에 과적합되는 것을 방지하고 '하드 네거티브' 문제를 완화합니다.
  3. 양방향 Mamba 인코더 (BiMamba): 생물학적 시퀀스는 시간적 순서가 명확하지 않으므로, 양방향 (Forward/Backward) Mamba 인코더를 사용하여 비인과적 (non-causal) 인 구조적 의존성을 포착합니다.
  4. 크로스 - Mamba 상호작용 퓨전 (Cross-Mamba Interaction Fusion): 이것이 핵심 혁신입니다. 두 모달리티의 인코딩된 표현을 시퀀스로 스택 (Stacking) 한 후, BiMamba Mixer를 통과시킵니다. 이를 통해 한 모달리티의 '은닉 상태 (hidden state)'가 다른 모달리티의 처리에 동적으로 영향을 미치는 깊은 크로스토크 (deep crosstalk) 를 모델링합니다. 이는 정적 퓨전이 아닌 '상태 전이 (state transition)' 과정으로 상호작용을 해석합니다.
  5. 최적화: 클래스 불균형 문제를 해결하기 위해 Focal Loss를 적용하여 하드 네거티브 샘플 학습에 집중하며, 회귀 작업 (결합 친화도 예측) 에는 MSE 와 Pearson 상관관계 제약을 결합한 손실 함수를 사용합니다.

3. 주요 기여 (Key Contributions)

1. 상태 공간 상호작용 모델링: 생물학적 상호작용을 정적 특징 융합이 아닌 상태 전이 과정으로 재정의하고, Mamba 아키텍처를 통해 LLM 임베딩 간의 깊은 상호작용을 구현했습니다.
2. 선형 복잡도 (Linear Complexity): Transformer 의 이차적 복잡도 대신 Mamba 의 선형 복잡도를 유지하여, ESM-2, RiNALMo 등 고차원 BioLLM 임베딩을 효율적으로 처리할 수 있습니다.
3. 다중 모달 유연성: RNA-단백질, RNA-RNA, RNA-소분자 상호작용 등 세 가지 다른 범주의 상호작용 예측에 적용 가능한 범용 프레임워크를 제시했습니다.
4. 강건한 학습 전략: 가우스 노이즈 주입과 Focal Loss 를 통합하여 생물학적 데이터의 노이즈와 불균형에 강인한 모델을 구축했습니다.

4. 실험 결과 (Results)

세 가지 벤치마크에서 기존 최첨단 (SOTA) 모델들을 압도하는 성능을 보였습니다.

• RNA-단백질 상호작용 (RPI1460):
  • MCC(매슈스 상관 계수) 0.892를 기록하여 이전 최강 모델 (BioLLMNet, 0.848) 보다 5.2% 향상되었습니다.
  • Recall(재현율) 이 0.971 로 매우 높아, 고차원 잠재 공간에서 실제 상호작용을 효과적으로 식별함을 입증했습니다.
• RNA-소분자 결합 친화도 예측:
  • 리보스위치 (Riboswitch) 및 반복 RNA (Repeat) 서브타입에서 Pearson 상관 계수 0.95 이상을 달성했습니다.
  • RSAPred 및 RLaffinity 등 기존 방법보다 모든 RNA 서브타입에서 더 높은 정확도와 낮은 MAE 를 보였습니다.
• RNA-RNA 상호작용 (교차 종 일반화):
  • 식물 miRNA-lncRNA 상호작용 데이터셋 (Ath, Gma, Mtr) 에서 '한 종으로 학습, 다른 종으로 테스트'하는 전이 학습 시나리오에서 CORAIN 및 BioLLMNet 보다 우수한 성능을 보였습니다. 특히 MTR-ATH 시나리오에서 정확도가 7% 향상되었습니다.

5. 의의 및 결론 (Significance)

• 패러다임 전환: 생물학적 상호작용 예측에 상태 공간 모델 (SSM) 을 적용하여, 분자 간 동적인 '대화'를 모델링하는 새로운 패러다임을 제시했습니다.
• 확장성: 선형 복잡도 덕분에 차세대 고차원 BioLLM 임베딩을 활용한 대규모 생물학적 상호작용 예측이 가능해졌습니다.
• 실용적 가치: 신약 개발 및 시스템 생물학 분야에서 RNA 표적 치료제 개발에 필요한 상호작용 예측의 정확도와 일반화 능력을 크게 향상시켰습니다.

이 연구는 생물학적 데이터의 복잡성을 처리하기 위해 LLM 과 SSM(Mamba) 을 결합한 최초의 시도 중 하나로, 다중 모달 생물학적 상호작용 예측 분야에서 새로운 기준을 설정했습니다.