CoPeP: Benchmarking Continual Pretraining for Protein Language Models

Le papier présente CoPeP, un nouveau benchmark évaluant l'apprentissage continu sur les modèles de langage protéiques en utilisant une décennie de données UniProt, et démontre que l'exploitation des métadonnées temporelles et de méthodes d'apprentissage continu améliore significativement les performances par rapport à l'entraînement classique.

L'essentiel

🧬 CoPeP : Apprendre aux ordinateurs à "parler" les protéines en temps réel

Imaginez que les protéines (les briques de base de la vie) sont des mots, et que les séquences d'acides aminés qui les composent forment des phrases. Pour comprendre comment la vie fonctionne ou pour créer de nouveaux médicaments, les scientifiques ont créé des modèles de langage pour les protéines. C'est un peu comme un ChatGPT, mais au lieu d'apprendre avec des livres, il apprend avec des milliards de séquences de protéines.

Le problème ? Le "livre" de référence (une immense base de données appelée UniProt) change tous les jours. Chaque année, des milliers de nouvelles protéines sont découvertes, et d'autres sont retirées car elles s'avéraient être des erreurs ou des doublons.

Si on entraîne un modèle une seule fois sur les données de 2015, il sera obsolète en 2024. Le réentraîner de zéro à chaque fois est trop cher et trop lent. C'est là qu'intervient CoPeP.

---

🧠 Le Concept : L'Écolier qui ne doit pas oublier

Le papier propose un nouveau défi (un "benchmark") appelé CoPeP. L'idée est de tester comment un modèle peut apprendre en continu, année après année, sans oublier ce qu'il a appris avant.

Pour faire une analogie simple :

• L'approche classique (Naïve) : C'est comme un étudiant qui lit un livre de 2015, passe son examen, puis jette le livre. L'année suivante, il lit le livre de 2016, mais il a oublié tout ce qu'il y avait dans le 2015. À la fin, il ne connaît rien de la suite.
• L'approche CoPeP : C'est comme un étudiant qui garde ses vieux cahiers. Chaque année, il ajoute un nouveau chapitre à son carnet. Mais il doit faire attention à deux choses :
  1. Ne pas oublier (Catastrophic Forgetting) : Ne pas effacer les connaissances de 2015 quand il apprend 2024.
  2. Rester flexible (Plasticity) : Ne pas devenir si rigide qu'il ne peut plus apprendre les nouvelles découvertes.

🕵️‍♂️ Le Secret : L'histoire comme filtre

Ce qui rend CoPeP spécial, c'est qu'il utilise l'histoire comme un indice.
Dans la base de données, certaines protéines apparaissent et disparaissent chaque année. D'autres, elles, restent présentes depuis 10 ans.

• L'analogie du "Vrai vs Faux" : Imaginez que vous cherchez des recettes de cuisine fiables. Si une recette apparaît dans un magazine en 2015, disparaît en 2016, puis réapparaît en 2024, c'est peut-être une erreur. Mais si une recette est présente dans tous les magazines de 2015 à 2024, c'est probablement une recette solide et fiable.
• La découverte : Les chercheurs ont découvert que les protéines qui "survivent" dans la base de données au fil des ans sont souvent de meilleure qualité. En utilisant cette information temporelle (la durée de vie d'une protéine dans la base), le modèle apprend mieux, même avec moins de données.

🏆 Les Résultats : Qui gagne la course ?

Les chercheurs ont testé plusieurs méthodes pour entraîner ce modèle "en continu" :

1. Le Rejeu Temporel (Temporal Replay) : C'est comme un bibliothécaire qui, quand il apprend une nouvelle année, relit aussi les livres des années précédentes, mais il donne la priorité aux livres qui sont restés sur les étagères depuis longtemps.
   • Résultat : C'est le champion pour comprendre la "nature" des protéines (comme si on lisait la littérature générale).
2. Les méthodes "Plasticité" (Hare & Tortoise, Shrink & Perturb) : Ce sont des techniques qui forcent le modèle à rester flexible, comme un gymnaste qui étire ses muscles pour ne pas se figer.
   • Résultat : Elles excellent pour prédire des mutations spécifiques (comme si on testait comment un médicament réagit à un virus qui change).
3. L'Effacement (Unlearning) : Des méthodes qui disent au modèle : "Oublie cette protéine, elle est fausse".
   • Résultat : Très efficace pour nettoyer les données et améliorer la précision sur des tâches complexes.

💡 Pourquoi c'est important pour nous ?

Imaginez que vous voulez inventer un nouveau médicament contre le cancer.

• Sans CoPeP : Vous devriez attendre des mois pour réentraîner un super-ordinateur avec les dernières données, ce qui est trop lent face à l'évolution des virus.
• Avec CoPeP : Le modèle se met à jour chaque année, comme un smartphone qui reçoit une mise à jour logicielle. Il devient plus intelligent, plus précis, et plus rapide à réagir.

En résumé : CoPeP est un nouveau terrain de jeu qui prouve qu'on peut entraîner des intelligences artificielles sur des données biologiques vivantes et changeantes. En utilisant l'histoire des données (ce qui reste, ce qui part), on obtient des modèles plus performants, ce qui pourrait accélérer considérablement la découverte de nouveaux traitements médicaux.

Résumé technique

1. Problématique et Contexte

Les modèles de langage pour les protéines (pLMs) ont révolutionné la biologie computationnelle en permettant de prédire la structure, la fonction et les propriétés des protéines à partir de leurs séquences d'acides aminés. Cependant, ces modèles sont généralement entraînés sur des bases de données statiques (comme UniProtKB) qui évoluent constamment. Chaque année, des millions de nouvelles séquences sont ajoutées, tandis que d'autres sont retirées (curated out) car elles sont jugées redondantes, erronées ou non codantes.

Le défi principal réside dans le fait que réentraîner un modèle de zéro à chaque nouvelle version de la base de données est computationnellement prohibitif et inefficace. De plus, les méthodes d'apprentissage continu (Continual Learning - CL) existantes sont souvent testées sur des benchmarks synthétiques ou de petite taille (ex: CIFAR-10, MNIST) qui ne reflètent pas la complexité et l'échelle des données biologiques réelles. Il manque un cadre pour évaluer comment les pLMs peuvent s'adapter dynamiquement à l'évolution temporelle des données tout en préservant les connaissances acquises.

2. Méthodologie : Le Benchmark CoPeP

Les auteurs introduisent CoPeP (Continual Pretraining of Protein Language Models), un benchmark réaliste et à grande échelle conçu pour évaluer les stratégies d'apprentissage continu sur les pLMs.

A. Construction du Dataset

• Source de données : Le benchmark utilise l'évolution temporelle de UniRef100, un cluster non redondant de la base de connaissances UniProt (UniProtKB).
• Séquence de tâches : Le dataset est divisé en 10 tâches consécutives correspondant aux releases annuelles de UniRef100 de 2015 à 2024.
• Dynamique : Contrairement aux benchmarks CL classiques où les distributions changent radicalement, ici, les tâches proviennent d'une distribution sous-jacente commune (les protéines naturelles), mais avec un décalage systématique (drift) dû à la croissance des données et aux changements de pratiques de curation (ajouts et suppressions).
• Métadonnées temporelles : Un aspect clé est la disponibilité des métadonnées temporelles. Le benchmark permet d'exploiter la "persistance" d'une séquence : une protéine qui reste dans la base sur plusieurs années est considérée comme plus fiable (signal de bruit faible) qu'une séquence éphémère.

B. Protocole d'Évaluation

Les modèles sont évalués sur une suite de 31 tâches de compréhension des protéines, regroupées en trois catégories :

1. Validation UniProt : Un ensemble de 10 000 protéines de haute qualité avec preuves expérimentales. Métriques : Perplexité et récupération de séquence (Sequence Recovery).
2. ProteinGym : Benchmark de prédiction de fitness (effet des mutations) basé sur des analyses de mutagenèse profonde (DMS). Métrique : Corrélation de Spearman.
3. PEER et DGEB : Benchmarks multi-tâches pour la prédiction de fonction, de localisation subcellulaire, de structure et d'interactions. Métrique : Taux de victoire (Win Rate) sur les sous-tâches.

C. Méthodes Comparées

Les auteurs évaluent 7 approches d'apprentissage continu sur le modèle de base AMPLIFY-120M (un modèle bidirectionnel de 120M de paramètres) :

• Baselines : Entraînement séquentiel naïf (Sequential Fine-tuning), Entraînement Joint (sur toutes les données cumulées), et entraînement sur une seule année (Matched/Incremental).
• Replay (Rejeu) : Une version améliorée du Experience Replay utilisant un tampon illimité pondéré par la multiplicité temporelle (les séquences persistantes sont plus souvent rejouées).
• Préservation de la plasticité :
  • Shrink and Perturb : Réduction périodique des poids et injection de bruit.
  • Hare and Tortoise : Deux ensembles de poids (rapide et lent) avec mise à jour par moyenne mobile.
• Oubli (Unlearning) :
  • Gradient Ascent : Maximisation de la perte sur les données oubliées (séquences retirées) tout en minimisant la perte sur les nouvelles données.
  • Random Labels : Remplacement des cibles des données oubliées par des tokens aléatoires pour "corrompre" la mémoire du modèle sur ces séquences.

3. Résultats Clés

Les expériences révèlent des résultats surprenants et nuancés :

• Supériorité de l'Apprentissage Continu : Toutes les méthodes d'apprentissage continu surpassent l'approche naïve (Sequential Training) et, dans de nombreux cas, surpassent même l'entraînement sur une seule année avec le même nombre de pas de calcul.
• Impact des Métadonnées Temporelles : La méthode Temporal Replay obtient les meilleurs résultats sur la validation UniProt (réduction de la perplexité jusqu'à 7% par rapport à l'entraînement joint). Cela suggère que filtrer les données en favorisant les séquences persistantes améliore la qualité de la distribution apprise.
• Compromis (Trade-off) selon la tâche :
  • Sur ProteinGym (prédiction de fitness/mutations), les méthodes de type unlearning (Gradient Ascent) et de préservation de plasticité (Hare and Tortoise) excellent, surpassant le Replay. Cela indique que pour la conception de protéines, il est crucial de ne pas sur-ajuster aux séquences historiques "bruyantes" et de maintenir une plasticité élevée.
  • Sur PEER et DGEB (tâches de compréhension générale), Shrink and Perturb et Random Labels obtiennent les meilleurs taux de victoire, suggérant que l'oubli actif ou la perturbation des poids favorise une meilleure généralisation.
• Efficacité des Méthodes d'Oubli : L'utilisation de techniques d'oubli (Gradient Ascent, Random Labels) sur des ensembles de données de cette échelle (des centaines de millions de séquences) démontre leur efficacité pour éliminer l'influence des données retirées (pseudogènes, redondances) qui pourraient nuire à l'apprentissage d'une distribution protéique saine.

4. Contributions Principales

1. Introduction de CoPeP : Le premier benchmark réaliste et à grande échelle pour l'apprentissage continu appliqué aux modèles de langage protéique, exploitant l'évolution temporelle réelle d'une base de données biologique majeure.
2. Évaluation à Grande Échelle : Application et évaluation de 7 méthodes d'apprentissage continu (certaines jamais testées à cette échelle) sur un modèle de 120M de paramètres et des datasets de plusieurs centaines de millions de séquences.
3. Démonstration de la Valeur des Métadonnées : Preuve empirique que l'historique temporel des données (persistance vs retrait) peut être exploité comme un signal de qualité pour améliorer les performances des modèles, dépassant même les performances d'un entraînement joint sur toutes les données brutes.

5. Signification et Impact

Ce travail est significatif pour plusieurs raisons :

• Durabilité de la Recherche : Il propose une voie pour maintenir les modèles de protéines à jour sans le coût prohibitif du réentraînement complet, rendant la recherche en découverte de médicaments plus durable et accessible.
• Nouvelle Perspective sur l'Apprentissage Continu : Il montre que dans le contexte biologique, l'objectif n'est pas seulement d'éviter l'oubli catastrophique, mais d'exploiter la dynamique des données (ce qui reste vs ce qui part) pour affiner la compréhension du "langage" des protéines.
• Guide pour l'Industrie Pharmaceutique : En démontrant que différentes stratégies CL sont optimales pour différentes tâches (ex: Replay pour la distribution naturelle, Unlearning pour la conception de mutants), le papier guide le développement de modèles spécialisés pour des pipelines de découverte de médicaments spécifiques.

En conclusion, CoPeP établit un nouveau standard pour l'évaluation des modèles de langage biologiques, prouvant que l'apprentissage continu, lorsqu'il est correctement conçu pour exploiter les métadonnées temporelles, est une solution viable et performante pour l'ère des données biologiques massives et évolutives.