GRASP: Gene-relation adaptive soft prompt for scalable and generalizable gene network inference with large language models

이 논문은 대규모 언어 모델을 활용한 유전자 네트워크 추론의 성능을 극대화하기 위해, 각 유전자 쌍의 생물학적 맥락을 3 개의 가상 토큰으로 효율적으로 인코딩하는 'GRASP'라는 새로운 적응형 소프트 프롬프트 프레임워크를 제안하고 그 우수성을 입증합니다.

핵심

🧬 배경: 유전자 네트워크는 거대한 '인맥' 지도

우리 몸의 세포는 수만 개의 유전자들이 서로 대화하며 작동합니다. 이를 유전자 네트워크라고 하는데, 마치 거대한 인맥 지도와 같습니다.

• 어떤 유전자는 친구 (단백질 상호작용) 를 맺고,
• 어떤 유전자는 지시자 (조절) 역할을 하며,
• 어떤 유전자는 스위치를 켜거나 끄는 (인산화) 역할을 합니다.

이 인맥을 파악하면 질병의 원인을 찾고 새로운 약을 개발할 수 있습니다. 하지만 유전자 조합은 너무 많아서 (수백만 개), 모든 관계를 하나하나 실험으로 확인하는 것은 불가능합니다. 그래서 과학자들은 **AI(대형 언어 모델)**에게 이 인맥을 추측하게 하려 했습니다.

🤔 문제: AI 는 "질문하는 방식"에 따라 결과가 천차만별

기존의 AI 는 방대한 과학 문서를 읽었지만, 유전자 관계를 물어볼 때 질문 (프롬프트) 을 어떻게 던지느냐에 따라 결과가 매우 달랐습니다.

• 기존 방식 1 (고정된 질문): 모든 유전자 쌍에게 똑같은 질문을 던졌습니다. (예: "A 와 B 는 친구인가요?")
  • 문제점: 유전자마다 성격이 다른데, 똑같은 질문만 하면 AI 가 중요한 정보를 놓칩니다.
• 기존 방식 2 (긴 설명 추가): 유전자에 대한 긴 설명을 붙여서 질문했습니다.
  • 문제점: 설명이 너무 길면 AI 가 핵심을 놓치고 헷갈려합니다. (소음에 가려진 신호)

✨ 해결책: GRASP (유전자 관계 적응형 소프트 프롬프트)

저자들은 **"유전자마다 맞춤형 질문을 만들어주는 AI"**를 개발했습니다. 이를 GRASP라고 부릅니다.

🎯 핵심 비유: "맞춤형 명함"과 "전문가 중개인"

GRASP 는 두 가지 단계로 작동합니다.

1. 유전자 요약 (명함 만들기):
   AI 가 먼저 각 유전자 (A 와 B) 에 대해 짧은 요약 (명함) 을 만듭니다. 긴 설명 대신 핵심만 뽑아낸 작은 데이터 덩어리입니다.
2. 맞춤형 질문 생성 (전문가 중개):
   이 두 명함을 보고, AI 는 **가상의 3 개의 토큰 (질문용 카드)**을 만들어냅니다.
   • A 유전자의 성격에 맞는 카드
   • B 유전자의 성격에 맞는 카드
   • A 와 B 의 관계 (차이점) 를 보여주는 카드

이 3 장의 카드를 AI 에게 붙여주면, AI 는 **"이 두 유전자의 특성을 고려해서, 이 관계가 맞을 확률이 얼마나 될지"**를 정확하게 판단합니다.

🚀 왜 GRASP 가 더 잘할까요?

• 효율성: 유전자마다 긴 설명을 붙일 필요 없이, 단 3 개의 작은 카드만 만들면 됩니다. (컴퓨터 자원을 아끼면서도 정확도가 높음)
• 유연성: 유전자 A 와 B 의 관계, 그리고 C 와 D 의 관계는 완전히 다릅니다. GRASP 는 그 때마다 새로운 3 장의 카드를 만들어서 상황에 맞게 질문을 바꿉니다.
• 발견 능력: 기존 데이터베이스에 없는 새로운 관계도 찾아냅니다. 마치 새로운 인맥을 발견하는 탐정처럼, AI 가 "이 두 유전자는 insulin(인슐린) 신호를 공유하니까 친구일 거야"라고 추론해냅니다.

📊 실제 성과: 어떤 실험을 했나요?

연구팀은 GRASP 를 세 가지 다른 상황에서 테스트했습니다.

1. 단백질 상호작용 (PPI): 인간, 닭, 소, 개의 단백질 관계를 예측. (다른 종으로 넘어가도 잘 작동함)
2. 세포 실험 (단일세포): 실제 세포 실험 데이터와 비교. (유전자 조절 관계를 잘 찾아냄)
3. 인산화 네트워크: 효소와 기질의 관계 예측. (전문적인 생물학적 관계도 정확히 파악)

결과: 기존의 고정된 질문 방식이나 긴 설명을 붙인 방식보다 GRASP 가 훨씬 더 정확하게 유전자 관계를 찾아냈습니다. 특히, 기존에 알려지지 않았던 숨겨진 관계까지 찾아내는 능력이 뛰어났습니다.

💡 결론: "맞춤형 질문"이 핵심입니다

이 논문은 **"AI 에게 무조건 많은 정보를 주는 것보다, 상황에 맞춰 핵심만 짤막하게 질문하는 것이 더 중요하다"**는 것을 증명했습니다.

GRASP 는 마치 유전자들의 인맥을 파악하는 똑똑한 중개인처럼, 각 유전자 쌍의 특성을 고려해 최적의 질문을 만들어내어, 과학자들이 질병 치료제 개발이나 신약 발견에 더 빠르게 접근할 수 있도록 돕는 도구입니다.

---

한 줄 요약:

GRASP 는 유전자마다 맞춤형 '3 장의 카드'를 만들어 AI 에게 질문함으로써, 기존 방식보다 훨씬 빠르고 정확하게 유전자 간의 숨겨진 관계를 찾아내는 혁신적인 방법입니다.

기술 요약

1. 문제 정의 (Problem)

• 배경: 유전자 네트워크 (Gene Networks, GNs) 는 단백질 - 단백질 상호작용 (PPI), 유전자 조절 네트워크 (GRN), 인산화 네트워크 등 다양한 분자적 관계를 포함하며, 세포 기능과 질병 메커니즘을 이해하는 데 필수적입니다.
• 현황: 기존 계산 방법은 데이터 모달리티 (서열, 발현량, 그래프 구조 등) 에 따라 특화되어 있어, 다양한 네트워크 유형을 통합적으로 처리하기 어렵습니다. 최근 대규모 언어 모델 (LLM) 은 방대한 과학 텍스트를 학습하여 생물학적 지식을 내재화하고 있어, 유전자 쌍의 관계를 언어 기반 예측 문제로 통합할 수 있는 잠재력을 가집니다.
• 한계: LLM 기반 생물학적 추론은 프롬프트 설계 (Prompt Design) 에 매우 민감합니다.
  • 고정된 프롬프트 (Fixed Prompts) 는 모든 유전자 쌍에 동일한 문맥을 제공하여 유전자 기능과 상호작용의 이질성을 반영하지 못합니다.
  • 단순히 유전자 설명 텍스트를 프롬프트에 추가하는 것은 불필요한 노이즈를 유발하여 오히려 성능을 저하시킬 수 있습니다.
  • 기존 소프트 프롬프트 (Soft Prompt) 기법은 태스크 전체에 하나의 공유 임베딩을 학습하므로, 개별 유전자 쌍의 생물학적 변이 (Instance-level variability) 를 포착하는 데 한계가 있습니다.

2. 방법론 (Methodology: GRASP)

저자들은 GRASP (Gene-Relation Adaptive Soft Prompt) 라는 새로운 프레임워크를 제안했습니다. 이는 파라미터 효율성이 높으며, 각 유전자 쌍에 맞춰 적응적으로 가상 토큰 (Virtual Tokens) 을 생성하는 방식입니다.

• 핵심 구조:
  1. 도메인 적응 (Domain Adaptation): Gemma-3-4B-IT 및 Llama-3.1-8B-Instruct 모델을 630 만 개의 유전자 관련 PubMed 논문 (제목 및 초록) 으로 계속 사전 학습 (Continual Pretraining) 시켜 생물학적 지식을 강화했습니다.
  2. 유전자 벡터 인코딩 (Gene Vector Encoding):
     • 각 유전자에 대해 LLM 을 이용해 간결한 텍스트 요약을 생성합니다.
     • 이 요약문을 다시 LLM 에 입력하여 최종 레이어의 숨겨진 상태 (Hidden States) 를 평균 풀링 (Mean Pooling) 하여 고정된 차원의 벡터 ($s_g$) 로 인코딩합니다.
  3. 분해된 소프트 프롬프트 합성 (Factorized Soft Prompt Synthesis):
     • GRASP 는 각 유전자 쌍 $(a, b)$ 에 대해 3 개의 적응형 가상 토큰을 생성합니다.
     • 구성: 유전자 $a$ 에 대한 토큰, 유전자 $b$ 에 대한 토큰, 그리고 두 유전자의 차이를 인코딩한 관계 토큰 ($|s_a - s_b|$).
     • 분해 기법 (Factorization): 각 컨텍스트 벡터 $z$ 를 프롬프트 임베딩으로 매핑할 때, 유전자별 계수 행렬 (Gene-specific Coefficient Matrix, $C(z)$) 과 공유 프로토타입 행렬 (Shared Prototype Matrix, $B(z)$) 의 곱으로 표현합니다.
       • $C(z)$: 선형 프로젝션을 통해 쌍별 (Pair-specific) 신호를 포착합니다.
       • $B(z)$: 학습 가능한 기저 (Basis) 들의 가중 합으로, 공통된 상호작용 패턴을 나타냅니다.
     • 이 방식은 개별 유전자의 특성을 반영하면서도 파라미터 공유를 통해 일반화 능력을 유지합니다.
  4. 학습 방식: LLM 백본은 고정 (Frozen) 하고, 생성된 소프트 프롬프트 파라미터와 경량 분류 헤드 (Classification Head) 만 미세 조정 (Fine-tuning) 합니다.

3. 주요 기여 (Key Contributions)

• 인스턴스 적응형 프롬프팅: 모든 유전자 쌍에 동일한 프롬프트를 사용하는 기존 방식과 달리, GRASP 는 각 유전자 쌍의 생물학적 문맥에 맞춰 3 개의 가상 토큰을 동적으로 생성합니다.
• 파라미터 효율성: 전체 모델 파라미터를 업데이트하지 않고, 매우 적은 수의 학습 가능한 가상 토큰 (쌍당 3 개) 만으로 높은 성능을 달성합니다.
• 다양한 상호작용 유형의 통합: PPI, 유전자 조절, 인산화 네트워크 등 서로 다른 생물학적 관계 유형을 별도의 특성 공학 (Feature Engineering) 없이 언어 기반 모델로 통합하여 처리할 수 있음을 입증했습니다.

4. 실험 결과 (Results)

GRASP 는 Gemma-3-4B 와 Llama-3.1-8B 두 가지 LLM 아키텍처를 기반으로 다양한 벤치마크에서 평가되었습니다.

• 대규모 PPI 추론 (Human PPI):
  • 210 만 개 이상의 유전자 쌍 데이터셋에서 GRASP 는 고정 프롬프트 및 태스크별 소프트 프롬프트보다 정밀도 (Precision) 와 재현율 (Recall) 모두에서 우월한 성능을 보였습니다.
  • ROC-AUC 점수에서 Gemma-4B 기준 0.9230.931, Llama-8B 기준 0.9250.937 을 기록하며 모든 베이스라인을 상회했습니다.
  • 고차수 (High-degree) 유전자와 중간 연결성 유전자에서 기존 방법들이 체계적으로 오분류하던 오류를 크게 줄였습니다.
• 교차 종 (Cross-species) 전이 학습:
  • 인간 데이터로 학습된 모델을 닭, 소, 개 PPI 데이터셋에 적용했을 때, GRASP 는 다른 방법들보다 더 나은 ROC-AUC 를 보여주며 교차 종 일반화 능력을 입증했습니다.
• 단일 세포 교란 벤치마크 (CausalBench):
  • 유전자 발현 데이터 (Expression data) 를 전혀 사용하지 않고 텍스트 기반 지식만으로, 실제 교란 실험 (Perturb-seq) 데이터에서 유전자 조절 관계를 추론하는 데 성공했습니다.
  • 기존 발현 기반 방법 (GRNBoost) 과 비교했을 때 생물학적 F1 점수에서 최상의 성능을 기록했습니다.
• 인산화 네트워크 추론:
  • 키나제 - 기질 (Kinase-Substrate) 관계 추론에서도 GRASP 가 최상의 성능을 보였으며, 오히려 긴 유전자 설명 텍스트를 추가한 고정 프롬프트보다 성능이 떨어지는 현상을 발견하여 GRASP 의 압축적 인코딩의 중요성을 강조했습니다.
• 미기록 상호작용 복구 (Discovery of Unannotated Interactions):
  • 학습 데이터에 없으나 실제 존재하는 (IID 데이터베이스에 검증된) '숨겨진 양수 (Hidden Positives)'를 GRASP 가 가장 잘 식별했습니다.
  • 예시: INSR(인슐린 수용체) 과 PTPRF(인산가수분해효소) 간의 상호작용을 LLM 이 추론하여 인슐린 신호 전달 경로와 관련된 생물학적 타당성을 설명했습니다.

5. 의의 및 결론 (Significance)

• 생물학적 발견 도구: GRASP 는 단순히 기존 데이터베이스를 매칭하는 것을 넘어, 훈련 데이터에 명시적으로 포함되지 않은 새로운 생물학적 상호작용을 발견할 수 있는 잠재력을 보여줍니다.
• 확장성과 일반화: 다양한 상호작용 유형 (PPI, GRN, 인산화) 과 종 (Species) 에 걸쳐 확장 가능하고 일반화되는 프롬프팅 프레임워크를 제시했습니다.
• 실험적 검증 우선순위 선정: 높은 신뢰도를 가진 GRASP 예측 결과는 실험적 검증을 위한 후보군을 선정하는 데 활용될 수 있으며, 이는 생물학적 발견 비용을 절감하는 데 기여할 것입니다.
• 한계 및 향후 과제: 현재 LLM 의 편향 (잘 알려진 유전자에 치우침) 을 가지고 있으며, 방향성 있는 상호작용이나 발현 데이터/구조 데이터를 결합한 하이브리드 모델로의 확장이 필요함을 지적했습니다.

요약하자면, GRASP 는 LLM 의 생물학적 지식을 효율적으로 활용하기 위해 개별 유전자 쌍에 적응적인 소프트 프롬프트를 도입함으로써, 기존 방법론의 한계를 극복하고 확장 가능하고 일반화되는 유전자 네트워크 추론의 새로운 표준을 제시한 연구입니다.