ViroGym: Realistic Large-Scale Benchmarks for Evaluating Viral Proteins

이 논문은 79 개의 심층 돌연변이 스크리닝 (DMS) 어세이와 다양한 실험 데이터를 기반으로 구축된 'ViroGym'이라는 포괄적인 벤치마크를 소개하여, 단백질 언어 모델 (pLMs) 의 바이러스 변이 효과 예측 능력을 평가하고 백신 후보 선정 및 대유행 예측을 위한 체계적인 프레임워크를 제시합니다.

핵심

1. 왜 이런 것이 필요할까요? (문제 상황)

• 바이러스는 너무 빨리 변합니다: 독감이나 코로나19 같은 바이러스는 마치 치트키를 쓰는 게임 캐릭터처럼 끊임없이 모습을 바꿉니다.
• 백신 개발은 '예측 게임'입니다: 백신을 만들려면 "다음 달에 어떤 바이러스가 돌아올까?"를 미리 맞춰야 합니다. 하지만 현재는 WHO(세계보건기구) 가 6 개월 전에 예측한 균주를 바탕으로 백신을 만드는데, 바이러스가 그 사이에도 변해버리면 맞지 않는 옷 (백신) 을 입게 되는 꼴이 됩니다.
• 기존 AI 는 '가상 훈련'만 해왔습니다: 기존에 개발된 AI 모델들은 실험실 데이터 (DMS) 만으로 훈련받았기 때문에, 실제 세상 (Real World) 에서 바이러스가 어떻게 변하는지 잘 예측하지 못했습니다.

2. 비로짐 (ViroGym) 이란 무엇인가요?

비로짐은 바이러스 단백질의 능력을 평가하는 3 단계의 '실전 훈련' 프로그램입니다.

🏋️‍♂️ 1 단계: 변이 효과 예측 (근력 테스트)

• 비유: "이 근육 (바이러스) 에 작은 상처 (변이) 가 나면 힘이 얼마나 빠질까?"
• 내용: AI 가 바이러스의 아미노산 하나를 바꿔보았을 때, 바이러스의 생존 능력 (적합도) 이 어떻게 변하는지 예측합니다. 실험실에서 실제로 측정한 데이터와 AI 의 예측을 비교합니다.

🛡️ 2 단계: 항원 다양성 예측 (탈출 시뮬레이션)

• 비유: "도둑 (바이러스) 이 경찰 (항체/백신) 을 속여 도망칠 수 있을까?"
• 내용: 백신이 만들어낸 항체가 바이러스를 잡을 수 있는지, 아니면 바이러스가 변이해서 **새로운 가면 (항원성 변화)**을 쓰고 탈출할 수 있는지 예측합니다. 이는 독감 백신의 균주를 고를 때 가장 중요한 부분입니다.

🔮 3 단계: 팬데믹 예측 (미래 예언)

• 비유: "내일 어떤 옷을 입고 거리를 활보할까?"
• 내용: 실험실 데이터가 아니라, 실제 세상 (GISAID 데이터베이스) 에서 돌고 있는 바이러스를 보고 AI 가 "다음에 어떤 변이가 대세가 될까?"를 맞춥니다. 이것이 바로 백신 개발에 가장 필요한 '미래 예측' 능력입니다.

3. 주요 발견: 실험실 vs 실제 세상

이 연구에서 가장 흥미로운 점은 AI 모델의 성능 차이를 발견했다는 것입니다.

• 실험실 데이터 (DMS) 는 함정일 수 있습니다: 실험실에서 측정한 데이터만 보고 훈련된 AI 는 실제 세상에서 돌고 있는 변이 바이러스를 잘 예측하지 못했습니다. 마치 가상 현실 (VR) 게임만 잘하는 선수가 실제 축구 경기에서는 무뚝뚝한 것과 같습니다.
• 실제 데이터를 본 AI 가 승자: ProGen2라는 AI 모델이 가장 좋은 성적을 냈습니다. 이 모델은 실험실 데이터뿐만 아니라, 자연계에서 바이러스가 진화해온 방대한 데이터를 학습했기 때문에, 실제 세상에서 어떤 변이가 '대세'가 될지를 정확하게 예측했습니다.
  • 예: ProGen2 는 실제 세상에서 가장 많이 발견된 'N501Y'라는 변이를 미리 예측해냈습니다.

4. 결론: AI 는 어떻게 백신 개발을 도울까?

이 논문은 다음과 같은 중요한 메시지를 전달합니다.

1. AI 는 실험을 대체할 수 없지만, '나침반'이 될 수 있습니다: 실험실 실험은 여전히 중요하지만, AI 를 통해 "어떤 변이를 먼저 실험해봐야 할지" 방향을 잡을 수 있습니다.
2. 실제 데이터를 학습해야 합니다: 바이러스는 실험실의 통제된 환경이 아니라, 복잡한 자연 환경에서 진화합니다. 따라서 AI 모델도 실제 세상 (Real World) 의 데이터를 많이 학습해야 정확한 예측이 가능합니다.
3. 더 빠른 백신 개발: 이 '비로짐' 시스템을 통해 AI 가 유능한 변이 후보를 미리 찾아내면, WHO 가 공식을 발표하기 전에도 백신 개발을 미리 준비할 수 있게 되어, 팬데믹에 더 빠르게 대응할 수 있게 됩니다.

📝 한 줄 요약

"비로짐 (ViroGym) 은 AI 모델들에게 실험실 데이터뿐만 아니라 실제 세상에서 바이러스가 어떻게 변하는지까지 학습시켜, 미래의 팬데믹을 미리 예측하고 더 효과적인 백신을 만들 수 있게 돕는 거대한 테스트장입니다."

기술 요약

1. 문제 정의 (Problem)

• 바이러스 변이 예측의 한계: 인플루엔자, SARS-CoV-2 등 주요 호흡기 바이러스는 빠르게 진화하여 면역 체계와 백신 개발을 위협합니다. 현재 백신 개발은 WHO 의 권고에 따른 반기별 균주 선정 프로세스를 따르며, 이는 40 년 이상 거의 변하지 않았습니다.
• 백신 효능 저하: 계절성 인플루엔자 백신의 효능은 19%~60% 사이이며, SARS-CoV-2 백신도 새로운 변이 출현으로 인해 효능이 급격히 감소합니다.
• pLM(단백질 언어 모델) 의 평가 부재: 단백질 언어 모델 (pLM) 은 제로샷 (zero-shot) 환경에서 돌연변이의 기능적 영향을 예측하는 데 잠재력이 있지만, 기존 벤치마크 (예: ProteinGym) 는 비바이러스성 단백질에 치중되어 있습니다. 또한, 바이러스 서열을 훈련 데이터에서 명시적으로 제외하는 경우가 많아 바이러스 게놈에 대한 pLM 의 실제 성능을 평가할 체계적인 벤치마크가 부족합니다.
• 실제 환경과의 괴리: 실험실 (in vitro) 에서의 데이터와 실제 자연계 (in vivo/real-world) 에서 우세하게 나타나는 변이 사이의 괴리를 이해하고, 이를 백신 선정에 활용하는 전략이 미흡합니다.

2. 방법론 (Methodology)

저자들은 ViroGym이라는 새로운 대규모 벤치마크를 제안하며, 이는 세 가지 핵심 태스크로 구성됩니다.

A. 데이터셋 구성

• 규모: 79 개의 심층 돌연변이 스캐닝 (DMS) 어세이, 21 개의 인플루엔자 중화 (neutralisation) 어세이, SARS-CoV-2 에 대한 GISAID 기반의 실제 세계 예측 태스크.
• 데이터량: 총 552,937 개의 돌연변이 서열, 2,691 개의 바이러스 서열 - 역가 (titer) 쌍, 24,187 개의 자연 발생 단일 돌연변이 빈도 측정치.
• 범위: 13 가지 바이러스 유형 (SARS-CoV-2, 인플루엔자 A, HIV, Zika 등) 과 7 가지 표현형 카테고리 (결합, 세포 침투, 발현, 적합도, 면역 회피, 안정성, 바이러스 성장).

B. 평가 태스크

1. 돌연변이 효과 예측 (Mutational Effect Prediction):
   • DMS 데이터를 기반으로 pLM 이 바이러스 게놈 내의 복잡한 비선형 상관관계를 포착하고 개별 돌연변이의 기능적 결과를 추론하는 능력을 평가합니다.
   • 다양한 스코링 전략 (Masked marginals, Semantic distance, Perplexity 등) 을 비교합니다.
2. 항원 다양성 예측 (Antigenic Diversity Prediction):
   • 21 개의 인플루엔자 중화 어세이를 사용하여 pLM 이 바이러스 균주 간의 항원적 차이 (면역 회피) 를 식별하는 능력을 평가합니다.
   • 백신 균주와 새로 분리된 바이러스 균주 간의 항원적 유사성을 예측하여 백신 커버리지 가능성을 판단합니다.
3. 팬데믹 예측 (Pandemic Prediction):
   • GISAID 데이터 (2020 년 1 월~2025 년 5 월) 를 활용하여 pLM 이 실험실 데이터 없이도 실제 자연계에서 우세하게 나타나는 돌연변이를 제로샷으로 예측할 수 있는지 평가합니다.

C. 베이스라인 모델

• ESM-1, ESM-1v, ESM-2 (8M~15B 파라미터), ProtT5, ProGen2, ProtGPT2, Tranception, VESPA 등 다양한 단일 서열 기반 pLM 들을 비교 평가했습니다.

3. 주요 기여 (Key Contributions)

1. ViroGym 벤치마크 출시: 바이러스 단백질 평가에 특화된 최초의 포괄적인 벤치마크를 제공하며, DMS 실험 데이터, 중화 실험, 그리고 실제 세계의 진화 데이터를 통합했습니다.
2. 새로운 평가 지표 및 전략 제안:
   • Semantic Scoring: 돌연변이 서열과 참조 서열 간의 의미적 거리 (유클리드 거리) 를 계산하는 방식이 기존 스코링 방법보다 돌연변이 영향 예측에 더 효과적임을 발견했습니다.
   • Precision@K: 팬데믹 예측 태스크에서 상위 K 개 변이를 정확히 식별하는 능력을 측정하는 새로운 지표를 도입했습니다.
3. DMS 와 실제 세계 변이의 불일치 규명: 실험실 DMS 데이터에서 최상위로 선정된 돌연변이와 실제 자연계 (GISAID) 에서 우세한 돌연변이 간의 겹침이 매우 낮음 (약 10%) 을 확인했습니다. 이는 실험실 조건이 실제 진화적 압력을 완전히 반영하지 못함을 시사합니다.

4. 결과 (Results)

• 돌연변이 효과 예측: ProGen2-XL이 모든 모델 중 가장 강력한 성능을 보였습니다 (Top 10% Recall: 0.1980, Spearman 상관관계: 0.2930). ESM-2 15B 와 같은 다른 모델들은 통계적으로 유의미한 차이를 보이지 않았습니다.
• 항원 다양성 예측: 모델 간 성능 차이가 미미했으나, Tranception M 이 약간 우세했습니다. 이는 현재 pLM 들이 중화 예측 태스크에서 유사한 능력을 가지며, 여전히 개선의 여지가 크다는 것을 의미합니다.
• 팬데믹 예측 (실제 세계 적용):
  • ProGen2-XL은 GISAID 데이터에서 관찰된 우세한 돌연변이를 식별하는 데 가장 성공적이었습니다 (Precision@3: 0.33).
  • 핵심 발견: ProGen2-XL 이 예측한 상위 돌연변이 중 약 **50%**가 실제 자연계에서 우세한 돌연변이와 겹쳤습니다. 반면, DMS 어세이 기반 예측은 실제 우세 변이와 약 10% 만 겹쳤습니다.
  • 특히, SARS-CoV-2 Alpha 변이의 전염성 증가를 주도한 N501Y 치환이 ProGen2-XL 과 DMS 의 공통 상위 변이로 나타났습니다.
• 시사점: DMS 기반 평가로 선정된 모델이 실제 자연계 진화를 더 잘 예측한다는 것은, DMS 데이터가 pLM 을 미세 조정 (fine-tuning) 하는 데 직접적으로 사용하기보다는, **모델이 생물학적 제약을 포착하는 능력을 선별하는 대리 지표 (proxy)**로 사용하는 것이 더 효과적일 수 있음을 시사합니다.

5. 의의 및 결론 (Significance)

• 백신 개발 패러다임 전환: ViroGym 은 pLM 이 실험실 실험을 단순히 재현하는 것을 넘어, 실제 자연계에서 관찰되는 돌연변이 패턴을 포착하여 백신 균주 선정과 치료제 개발을 선도할 수 있음을 보여줍니다.
• 실험과 계산의 상호 보완: DMS 는 높은 해상도의 기능적 데이터를 제공하고, pLM 은 대규모 진화 데이터에서 학습한 광범위한 서열 제약을 제공합니다. 이 두 가지를 결합하면 실제 세계의 바이러스 진화를 더 정확하게 예측할 수 있습니다.
• 미래 연구 방향:
  • pLM 이 삽입/삭제 (indels) 를 처리하는 능력 향상 필요.
  • UniProtKB 와 BFD 와 같은 다양한 데이터셋의 결합 학습 (Joint pretraining) 필요.
  • 바이러스 단백질의 긴 서열을 처리하기 위한 컨텍스트 윈도우 확장 필요.

요약하자면, ViroGym 은 단백질 언어 모델이 바이러스 진화 예측과 백신 개발에 있어 실험실 데이터를 보완하고 대체할 수 있는 강력한 도구임을 입증한 획기적인 연구입니다.