CoPeP: Benchmarking Continual Pretraining for Protein Language Models

이 논문은 단백질 언어 모델 (pLM) 의 지속적 학습을 평가하기 위해 10 년 간의 UniProt 데이터를 기반으로 한 'CoPeP'벤치마크를 제안하고, 시간적 메타정보를 활용하거나 다양한 지속적 학습 기법을 적용함으로써 기존 방법론보다 우수한 성능을 입증했습니다.

핵심

1. 배경: 왜 이런 연구가 필요할까요?

비유: 끊임없이 업데이트되는 거대한 도서관
생물학자들은 매년 새로운 단백질 정보를 발견하고, 기존에 잘못 알려진 정보는 지우거나 수정합니다. 마치 도서관이 매년 새로운 책을 추가하고, 낡거나 틀린 책은 치워내는 것과 같습니다.

• 문제점: 기존 AI 모델은 이 도서관의 최신 상태를 반영하려면, 처음부터 다시 모든 책을 다 읽어야(재학습) 합니다. 이는 엄청난 시간과 돈이 들기 때문에 비효율적입니다.
• 기회: 하지만 도서관이 매년 어떻게 변하는지 (어떤 책이 남고, 어떤 책이 사라지는지) 를 기록해 둔다면, 그 '변화의 기록'을 이용해 AI 가 더 똑똑하게 배울 수 있습니다.

2. CoPeP 란 무엇인가요?

비유: 10 년간의 도서관 변화 기록을 활용한 실전 훈련
저자들은 2015 년부터 2024 년까지 10 년 동안 UniProt(단백질 정보 데이터베이스) 가 어떻게 변해왔는지 데이터를 모았습니다. 그리고 이 데이터를 이용해 AI 모델을 매년 조금씩 업데이트하며 훈련시켰습니다.

이것이 바로 **CoPeP(Continual Pretraining of Protein Language Models)**입니다.

• 기존 방식: 매년 새로운 책을 다 읽기 위해 도서관을 폐쇄하고 다시 짓는 것.
• CoPeP 방식: 도서관이 매년 변하는 모습을 지켜보며, AI 가 그 변화에 맞춰 계속해서 책을 읽고 지식을 업데이트하는 것.

3. 실험 방법: 어떤 전략들을 비교했나요?

저자들은 AI 가 이 '변화하는 도서관'을 어떻게 학습해야 가장 잘 배울 수 있는지 6 가지 다른 전략을 시험해 보았습니다.

1. 순차 학습 (Naive): 그냥 매년 새로운 책만 읽고 넘어가는 것. (가장 단순하지만, 예전 지식을 잊어버리기 쉬움)
2. 시간 기반 재학습 (Temporal Replay): ★핵심 아이디어
   • 비유: "오래전부터 도서관에 있던 책들은 신뢰할 수 있는 '명작'일 가능성이 높다."
   • 이 전략은 **오래전부터 계속 남아있던 책들 (단백질)**을 더 자주 반복해서 읽게 합니다. 반면, 금방 사라진 책들은 덜 읽습니다.
3. 기타 전략들:
   • 망각 방지 (Hare & Tortoise, Shrink & Perturb): 새로운 것을 배우면서도 예전 지식이 망가지지 않도록 뇌의 신경망을 유연하게 유지하는 방법.
   • 기억 삭제 (Gradient Ascent, Random Labels): "이 책은 틀린 정보야"라고 판단되면, AI 가 그 책을 완전히 잊게 만드는 방법.

4. 주요 발견: 어떤 결과가 나왔나요?

실험 결과, 놀라운 사실들이 밝혀졌습니다.

• 기록의 힘: 단순히 매년 데이터를 모아서 한 번에 학습하는 것보다, 시간의 흐름에 따라 변하는 기록 (메타데이터) 을 활용하는 것이 훨씬 좋았습니다.

  • 비유: 단순히 책 10 권을 한 번에 읽는 것보다, 10 년 동안 어떤 책이 살아남았는지 관찰하며 읽는 것이 더 깊은 이해를 줍니다.
  • 결과: 이 방법을 쓰면 AI 의 이해도 (Perplexity) 가 최대 7% 까지 향상되었습니다.

• 전략의 차이: 모든 방법이 모든 일에 좋은 것은 아니었습니다.

  • 자연스러운 단백질 분포를 이해하려면: 오래된 책 (단백질) 을 자주 반복해서 읽는 재학습 (Replay) 전략이 최고였습니다.
  • 새로운 단백질 변형을 예측하려면: 망각을 방지하거나 잘못된 정보를 지우는 기타 전략들이 더 잘 작동했습니다.

5. 결론: 이것이 왜 중요할까요?

이 연구는 "AI 가 생명과학 분야에서 어떻게 더 지속 가능하게 발전할 수 있는지" 보여줍니다.

• 약 개발 가속화: 단백질 AI 가 최신 정보를 빠르고 정확하게 반영하면, 새로운 약을 개발하는 속도가 훨씬 빨라집니다.
• 지속 가능성: 매번 처음부터 AI 를 다시 훈련할 필요가 없으므로, 에너지와 비용을 아낄 수 있습니다.

한 줄 요약:

"단백질 AI 가 매년 변하는 도서관의 흐름을 따라가며, 오래된 명작 (신뢰할 수 있는 단백질) 을 더 많이 읽고, 새로운 정보를 빠르게 흡수하도록 훈련시키는 방법을 발견했습니다. 이는 더 빠르고 똑똑한 신약 개발의 열쇠가 될 것입니다."

기술 요약

CoPeP: 단백질 언어 모델을 위한 지속적 사전학습 (Continual Pretraining) 벤치마크 기술 요약

이 논문은 CoPeP (Continual Pretraining of Protein Language Models) 라는 새로운 벤치마크를 소개하며, 단백질 언어 모델 (pLMs) 에 대한 지속적 학습 (Continual Learning) 방법론을 대규모로 평가하는 것을 목표로 합니다. 생물학 커뮤니티에 의해 지속적으로 업데이트되는 UniProt 지식베이스의 동적 특성을 활용하여, 기존에 존재하지 않았던 현실적이고 대규모의 지속적 학습 시나리오를 제시합니다.

---

1. 문제 정의 (Problem)

• 동적인 데이터 환경: 단백질 언어 모델 (pLMs) 은 UniProt 지식베이스 (UniProtKB) 와 같은 대규모 공개 데이터베이스에서 학습합니다. 이 데이터베이스는 매년 수백만 개의 새로운 단백질이 추가되고, 중복되거나 오류가 있는 시퀀스가 제거되며 끊임없이 진화합니다.
• 기존 접근법의 한계: 새로운 데이터 릴리스가 나올 때마다 모델을 처음부터 다시 훈련 (Retraining) 하는 것은 계산 비용이 너무 많이 들어 비효율적입니다.
• 지속적 학습의 필요성: 데이터의 시간적 변화 (Temporal Evolution) 를 활용하여 모델을 점진적으로 업데이트해야 합니다. 특히, 데이터베이스에 오랫동안 유지되는 시퀀스는 기능적인 단백질일 가능성이 높고, 제거된 시퀀스는 비기능적일 가능성이 높다는 '시간적 메타정보 (Temporal Meta-information)'를 활용할 수 있습니다.
• 연구 공백: 기존 지속적 학습 연구는 CIFAR-10, MNIST 등 소규모 합성 데이터셋에 의존하거나, 특정 도메인 적응에 국한되어 있어, 실제 대규모 사전학습 데이터셋의 시간적 진화를 다루는 벤치마크가 부재했습니다.

2. 방법론 (Methodology)

2.1. CoPeP 벤치마크 구성

• 데이터셋: 2015 년부터 2024 년까지 10 년간의 UniRef100 (UniProtKB 의 비중복 클러스터) 연간 릴리스를 활용합니다. 각 연도의 릴리스를 별도의 태스크로 간주하여 순차적으로 학습합니다.
• 평가 지표:
  1. UniProt Validation Set: 실험적으로 검증된 고품질 단백질로 구성된 검증 세트. 자연스러운 단백질 분포에 대한 퍼플렉시티 (Perplexity) 와 시퀀스 복구 (Sequence Recovery) 를 측정.
  2. ProteinGym: 돌연변이의 적합도 (Fitness) 예측 능력을 평가 (Spearman 상관관계).
  3. PEER & DGEB: 단백질 기능, 세포 내 위치, 구조 등 다양한 이해 태스크를 평가하는 멀티태스크 벤치마크.

2.2. 평가된 지속적 학습 방법론

논문은 3 가지 주요 범주의 7 가지 최신 지속적 학습 방법을 대규모 pLM (AMPLIFY-120M) 에 적용하여 평가했습니다.

1. 기초/순차 학습:
   • Sequential Training (Naive): 추가 개입 없이 순차적으로 학습.
   • Temporal Replay: 과거 데이터의 재현 (Replay) 시, 해당 단백질이 데이터베이스에 유지된 기간 (Multiplicity) 에 비례하여 확률적으로 샘플링하는 전략을 도입.
2. 가소성 유지 (Plasticity-preserving):
   • Shrink and Perturb: 가중치를 축소하고 노이즈를 주입하여 새로운 데이터 적응 능력을 유지.
   • Hare and Tortoise: 빠른 가중치와 느린 가중치 (지수 이동 평균) 를 병렬로 유지하며 주기적으로 동기화.
3. 학습 제거 (Unlearning):
   • Gradient Ascent: 이전 태스크 (삭제된 데이터) 에 대한 손실을 최대화하여 지식 제거, 현재 태스크 손실은 최소화.
   • Random Labels: 삭제된 데이터의 레이블을 무작위로 변경하여 모델이 해당 패턴을 잊도록 유도.

2.3. 실험 설정

• Base Model: AMPLIFY-120M (양방향 Transformer).
• 학습 스케줄: Cosine Decay 대신 Warmup-Stable-Decay (WSD) 사용 (지속적 학습 시 학습률 재설정 문제 해결).
• 비교 대상: 단일 연도 학습 (Incremental, Matched), 전체 데이터 합동 학습 (Joint Training).

3. 주요 기여 (Key Contributions)

1. CoPeP 벤치마크 출시: 실제 세계의 단백질 데이터베이스 진화를 반영한 대규모 지속적 학습 벤치마크를 최초로 제안했습니다.
2. 대규모 적용 평가: Replay, Unlearning, Plasticity 기반 방법론 등 7 가지 최신 지속적 학습 방법을 단백질 언어 모델 (수억 개의 파라미터, 수억 개의 시퀀스) 에 적용하여 평가했습니다.
3. 시간적 메타정보의 가치 입증: 데이터베이스에서 제거된 시퀀스 (노이즈) 와 유지된 시퀀스 (신뢰성 있는 데이터) 를 구분하는 시간적 정보를 활용함으로써, 단순한 i.i.d. 학습보다 성능을 향상시킬 수 있음을 증명했습니다.

4. 실험 결과 (Results)

• UniProt Validation Set (자연 분포 모델링):

  • 모든 지속적 학습 방법이 Naive 순차 학습보다 우수한 성능을 보였습니다.
  • Temporal Replay가 가장 뛰어난 성능을 기록했습니다. 이는 검증 세트가 오랫동안 유지된 고품질 단백질로 편향되어 있어, 시간적 지속성을 중시하는 Replay 전략이 효과적이었기 때문입니다.
  • 중요 발견: 전체 데이터를 합동 학습 (Joint Training) 한 모델보다 특정 지속적 학습 방법 (특히 Replay) 이 더 낮은 퍼플렉시티를 기록했습니다. 이는 합동 학습이 나중에 제거된 (노이즈가 있는) 데이터까지 학습했기 때문으로 해석됩니다.

• ProteinGym (돌연변이 적합도 예측):

  • Gradient Ascent와 Hare and Tortoise가 가장 우수한 성능을 보였습니다.
  • 흥미롭게도, Validation Set 에서 최상이었던 Temporal Replay 는 ProteinGym 에서 상대적으로 낮은 성능을 보였습니다. 이는 ProteinGym 이 특정 돌연변이에 민감한 태스크이며, Replay 가 과거의 흔적 (Persistent sequences) 에 집중하는 반면, 이 태스크는 국소적 변화에 대한 민감도가 필요하기 때문으로 분석됩니다.

• PEER 및 DGEB (멀티태스크 이해):

  • Shrink and Perturb (PEER) 와 Random Labels (DGEB) 이 각각 최고의 승률 (Win Rate) 을 기록했습니다.
  • 지속적 학습 방법들이 Naive 학습이나 단일 연도 학습보다 일관되게 우수한 성능을 보이며, 다양한 태스크에 대한 일반화 능력을 입증했습니다.

• 시간적 필터링 실험:

  • 두 연도의 데이터 교집합 (Intersection) 으로 학습한 모델이 전체 연도 데이터로 학습한 모델보다 더 좋은 성능을 보였습니다 (데이터 크기는 작지만 품질은 높음). 이는 시간적 지속성이 데이터 품질의 강력한 신호임을 시사합니다.

5. 의의 및 결론 (Significance)

• 지속적 학습의 실용성 입증: 단백질 언어 모델 분야에서 지속적 학습이 단순한 이론적 실험을 넘어, 실제 약물 발견 및 단백질 설계와 같은 실용적인 분야에서 계산 자원을 절약하면서도 최첨단 성능을 유지할 수 있는 유효한 전략임을 증명했습니다.
• 데이터 품질 vs 양: 단순히 데이터 양을 늘리는 것보다, 데이터의 시간적 진화 (유지/제거 이력) 를 활용하여 데이터 품질을 선별하는 것이 모델 성능 향상에 더 효과적일 수 있음을 보였습니다.
• 태스크별 최적화: 모든 태스크에 하나의 지속적 학습 방법이 최적인 것은 아니며, 목표 태스크 (자연 분포 모델링 vs 적합도 예측 vs 기능 이해) 에 따라 다른 방법론 (Replay, Unlearning, Plasticity 유지 등) 이 필요함을 밝혔습니다.
• 미래 전망: CoPeP 벤치마크는 단백질 언어 모델의 지속적 업데이트를 연구하는 데 필수적인 도구로, 더 지속 가능하고 접근 가능한 약물 발견 연구를 가속화할 것으로 기대됩니다.

요약하자면, 이 논문은 단백질 데이터의 동적 특성을 활용하여 지속적 학습을 효과적으로 수행하는 방법론을 제시하고, 이를 통해 기존 모델의 한계를 극복하고 더 정확한 단백질 이해 모델을 구축할 수 있음을 대규모 실험을 통해 입증했습니다.