💻 bioinformatics

TEDlm: domain-centric protein language models with optional structural pre-training

L'article présente TEDlm, un modèle de langage protéique centré sur les domaines et préentraîné sur des segments de domaines définis structurellement, qui surpasse les modèles de séquences complètes plus larges dans la détection d'homologie lointaine et la prédiction de la fonction moléculaire, démontrant que la focalisation sur les signaux intrinsèques aux domaines produit des représentations compactes et informées sur la structure.

Auteurs originaux : Wei, T., Kandathil, S. M., Buchan, D. W. A., Jones, D. T.

Publié 2026-07-13

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Wei, T., Kandathil, S. M., Buchan, D. W. A., Jones, D. T.

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ Ceci est une explication générée par l'IA d'un preprint qui n'a pas été évalué par des pairs. Ce n'est pas un avis médical. Ne prenez pas de décisions de santé basées sur ce contenu. Lire la clause de non-responsabilité complète

Imaginez les protéines comme de gigantesques et complexes châteaux en LEGO. Pendant longtemps, les scientifiques qui tentaient de comprendre ces châteaux en lisant leurs manuels d'instructions (les séquences d'acides aminés) regardaient l'intégralité du livre à la fois. Le problème ? Ces livres sont désordonnés. Ils contiennent les instructions pour le château, mais incluent aussi les instructions pour le pont, le jardin et les gribouillis aléatoires dans les marges (les lieurs et les régions désordonnées) qui maintiennent le tout ensemble. Quand vous essayez d'apprendre la forme d'une tour spécifique en lisant tout le livre désordonné, le signal est noyé par le bruit.

Entrez en scène TEDlm, une nouvelle équipe de détectives IA qui a décidé d'arrêter de lire tout le livre pour ne lire que les tours de LEGO individuelles et parfaitement formées (appelées « domaines »).

La grande idée : des livres plus petits, des cerveaux plus grands

Les chercheurs, dirigés par David T. Jones et Tiejun Wei, ont construit un nouveau type d'IA appelé TEDlm. Au lieu de s'entraîner sur des séquences de protéines complètes, ils l'ont nourrie avec des millions de ces segments de domaines isolés et propres provenant d'une immense bibliothèque appelée The Encyclopedia of Domains (TED).

Voyez cela comme ceci : si vous voulez apprendre à cuisiner un gâteau au chocolat parfait, vous ne liriez pas un livre de cuisine qui inclut des recettes de soupe, des manuels de voiture et l'histoire de la farine. Vous liriez simplement les chapitres sur le gâteau. C'est ce que TEDlm a fait. Il a appris les « recettes de gâteaux » (les formes et les repliements spécifiques des domaines protéiques) sans la distraction des « recettes de soupe » (les parties désordonnées de la protéine complète).

Les résultats : petit est puissant

Voici le retournement de situation surprenant : la taille ne fait pas tout.

Habituellement, dans le monde de l'IA, plus c'est grand, mieux c'est. Un cerveau géant avec 3 milliards de neurones (comme le célèbre modèle ESM2 3B) est censé écraser un cerveau plus petit avec seulement 650 millions de neurones. Mais dans cette course, le cerveau plus petit et focalisé a gagné.

Le modèle TEDlm 650M (le petit, focalisé) a obtenu un AUROC1 de 0,28 sur un test difficile appelé CATH S40, qui mesure la capacité d'un modèle à repérer des parents éloignés parmi les protéines.
Le géant ESM2 3B (le grand, non focalisé) n'a obtenu que 0,22.

L'article suggère qu'en s'entraînant sur des données plus propres, le plus petit modèle a bien mieux appris le « repliement » (fold) de la protéine que le géant qui était distrait par le bruit de la séquence complète. C'est comme si le petit détective, se concentrant uniquement sur les indices importants, résolvait le mystère plus vite que le grand détective qui essayait de lire chaque page du dossier de l'affaire.

Le super-pouvoir : voir la structure invisible

L'équipe a également créé une version surpuissante appelée TEDlm3D. Ce modèle ne se contentait pas de lire les instructions de construction LEGO ; on lui a aussi donné un aide-mémoire secret montrant comment les briques devraient se toucher dans l'espace 3D (plus précisément, la distance entre les « carbones alpha », ou les briques centrales de la structure).

Cet entraînement supplémentaire a changé la donne.

TEDlm3D a atteint un AUROC1 de 0,50.
C'est incroyablement proche de Foldseek, un outil qui utilise des structures 3D réelles pour trouver des correspondances, lequel a obtenu 0,53.

La partie étonnante ? TEDlm3D n'a besoin que du texte (la séquence) pour fonctionner. Il n'a pas besoin de la structure 3D au moment du test. Il a appris les règles 3D pendant son entraînement et peut désormais « voir » la forme simplement en lisant les lettres. L'article montre que ce signal structurel n'est pas seulement stocké dans une « tête de sortie » séparée (comme une calculatrice attachée au cerveau) ; il est tissé directement dans le processus de pensée même du cerveau.

Qu'en est-il des autres tâches ?

Les chercheurs ont testé ces modèles sur d'autres tâches, comme deviner ce qu'une protéine fait (sa fonction moléculaire) ou sa capacité à lier des métaux.

Fonction Moléculaire : Les modèles focalisés sur les domaines (TEDlm) ont été excellents pour cela, battant les grands modèles ESM2. Cela s'explique par le fait que la fonction principale d'une protéine est généralement assurée par une seule tour de LEGO (un domaine).
Processus Biologique et Localisation : Ici, les grands modèles ESM2 ont maintenu leur position. Pourquoi ? Parce que savoir où une protéine vit dans une cellule ou comment elle aide un organisme entier nécessite souvent de voir le château entier, et non pas seulement une tour. Les modèles de domaines seuls manquent le contexte de la vue d'ensemble.

La surprise de la « couche intermédiaire »

L'une des découvertes les plus fascinantes concerne l'endroit où l'IA stocke ses connaissances. Dans de nombreux modèles d'IA, la couche finale est la plus « intelligente ». Mais ici, l'article a découvert que les couches intermédiaires des modèles TEDlm étaient en réalité les meilleures pour repérer les relations structurelles. Les couches finales semblaient devenir un peu trop focalisées sur la simple prédiction de la lettre suivante dans la séquence, oubliant l'image globale de la structure. C'est comme un étudiant qui, après avoir étudié pour un examen, devient tellement concentré sur la mémorisation de la dernière phrase du chapitre qu'il en oublie l'intrigue principale de l'histoire.

Ce que l'article écarte

Les auteurs précisent soigneusement ce qu'ils n'ont pas fait. Ils n'ont pas utilisé d'alignements de séquences multiples (regarder les arbres généalogiques évolutifs) pour entraîner ces modèles ; ils se sont appuyés uniquement sur la séquence et les données structurelles qu'ils ont injectées. Ils notent également que bien que leurs modèles soient excellents pour trouver des parents structurels, ils ne sont pas parfaits pour prédire des choses qui dépendent du contexte de la protéine entière, comme la stabilité thermique (la capacité à survivre à la chaleur), car la résistance à la chaleur provient souvent de la manière dont les différentes tours interagissent entre elles, et non seulement des tours elles-mêmes.

L'essentiel

Cet article suggère que nous n'avons pas nécessairement besoin de construire des cerveaux d'IA plus grands et plus coûteux pour comprendre les protéines. Au lieu de cela, nous devons peut-être simplement les nourrir avec des données plus propres et plus ciblées. En apprenant à l'IA à regarder les protéines un « domaine » à la fois, les chercheurs ont créé des modèles compacts et intelligents capables de prédire les formes et les fonctions des protéines presque aussi bien que des outils qui nécessitent de véritables plans 3D. C'est un rappel que parfois, pour voir l'image globale, il faut zoomer sur les détails.

Résumé Technique : TEDlm et TEDlm3D

Énoncé du Problème
Les modèles de langage protéiques (pLM) conventionnels, tels que la famille ESM, sont généralement préentraînés sur des séquences de protéines de pleine longueur. Ces séquences intercalent souvent plusieurs domaines fonctionnels avec des régions désordonnées et des lieurs (linkers). Les auteurs soutiennent que l'entraînement sur de telles séquences de pleine longueur dilue les signaux spécifiques aux repliements (folds), car le modèle doit apprendre des motifs à travers des contextes plus longs et structurellement hétérogènes. De plus, bien que les modèles bimodaux récents (par exemple, ProstT5, SaProt) incorporent des jetons structurels explicites, ils dépendent de structures de vérité terrain pendant l'entraînement ou nécessitent des entrées structurelles lors de l'inférence, ce qui limite leur applicabilité aux scénarios de séquences seules. Le défi consiste à développer des pLM compacts et informés par la structure, capables de détecter l'homologie lointaine et de prédire la fonction sans nécessendre d'alignements de séquences multiples (MSA) ou d'entrées structurelles explicites lors de l'inférence.

Méthodologie
Le document présente TEDlm et TEDlm3D, des modèles de langage protéiques basés sur des transformeurs, préentraînés sur des segments de domaines structurellement définis plutôt que sur des protéines de pleine longueur.

Source de Données : Les modèles utilisent The Encyclopedia of Domains (TED), un ensemble de données dérivé de l'AlphaFold Protein Structure Database (AFDB) contenant plus de 365 millions de domaines structurellement définis. Les auteurs ont constitué des sous-ensembles spécifiques (TED50 et TED90) en regroupant ces domaines par clustering pour gérer la redondance.
Architecture TEDlm : Ce modèle adopte un objectif standard de modélisation de langage masqué (MLM) de type BERT. Il est préentraîné exclusivement sur les séquences d'acides aminés de domaines individuels, visant à capturer les motifs et les dépendances à longue portée inhérents à des repliements et des superfamilles spécifiques, sans le bruit des lieurs inter-domaines.
Architecture TEDlm3D : Cette variante étend le cadre de TEDlm en ajoutant une perte auxiliaire structurelle. Pendant le préentraînement, en plus de l'objectif MLM, le modèle est optimisé pour prédire les distances C $\alpha$ entre les résidus. Cette perte guidée par le contact supervise les cartes d'attention, encourageant le modèle à encoder explicitement la proximité résidu-résidu et les relations géométriques dérivées des structures de domaines.
Stratégie d'Évaluation : Les modèles ont été évalués sur plusieurs tâches de zéro-shot (zero-shot) et d'apprentissage par transfert :
- Détection d'Homologie : Utilisation de l'ensemble de données CATH S40 (homologie lointaine, <40 % d'identité) avec l'AUROC1 comme métrique.
- Prédiction de Contact : Utilisation de l'analyse jacobienne catégorielle et du sondage des cartes d'attention pour évaluer l'encodage des contacts résidu-résidu.
- Prédiction Fonctionnelle : Prédiction de termes de l'Ontologie Génique (GO) en zéro-shot (Fonction Moléculaire, Processus Biologique, Composant Cellulaire) via le transfert de labels KNN sur les benchmarks CAFA3 et Swiss-Prot.
- Propriétés Biophysiques : Prédiction de l'efficacité catalytique enzymatique ( $K_{cat}$ ), de la liaison aux ions métalliques et de la thermostabilité.

Résultats Clés

Détection d'Homologie : Le préentraînement centré sur les domaines a généré des gains significatifs par rapport à l'échelle du modèle. Un TEDlm de 650 millions de paramètres a surpassé l'ESM2 3B (un modèle de 3 milliards de paramètres) et l'outil basé sur l'alignement MMseqs2 sur le benchmark CATH S40. TEDlm3D, incorporant la perte structurelle, a atteint un AUROC1 de 0,50, approchant les performances de l'outil de recherche basé sur la structure Foldseek (0,53) en utilisant uniquement des entrées de séquence. Notamment, même la variante TEDlm3D de 160 millions de paramètres a surpassé tous les baselines de séquences seules.
Analyse par Couche : L'étude a révélé que les couches intermédiaires de tous les modèles testés contenaient des informations structurelles plus riches que les couches finales. Cependant, les modèles TEDlm3D conservent des signaux structurels forts même dans leurs couches finales, contrairement aux modèles ESM2 où la performance des couches finales chute significativement en dessous des pics intermédiaires.
Prédiction de Contact : Les sondages sur les cartes d'attention et les jacobiennes catégorielles ont confirmé que TEDlm3D encode des signaux de coévolution et de contact plus forts que TEDlm ou ESM2. La tête de contact supervisée de TEDlm3D a atteint une haute précision (P@L/5 $\approx$ 0,789 pour 1,3B) en un seul passage direct (forward pass), surpassant nettement les baselines non supervisées de la jacobienne.
Tâches Fonctionnelles et Biophysiques :
- Fonction Moléculaire (MF) : Les variantes TEDlm ont nettement surpassé l'ESM2 en prédiction de MF en zéro-shot, ce qui est cohérent avec l'hypothèse selon laquelle de nombreuses fonctions moléculaires sont intrinsèques aux domaines individuels.
- Processus Biologique (BP) & Composant Cellulaire (CC) : Les modèles ESM2 conservent un avantage dans ces tâches, car celles-ci dépendent du contexte multi-domaines et des interactions protéiques, que le préentraînement au niveau des domaines ne capture pas.
- Propriétés Biophysiques : TEDlm et TEDlm3D égalent ou dépassent légèrement l'ESM2 pour l'efficacité catalytique enzymatique et la liaison aux ions métalliques (tâches définies par les sites actifs au niveau du domaine). Cependant, l'ESM2 a mieux performé sur la thermostabilité inter-espèces, suggérant que les adaptations au niveau de l'organisme s'étendent au-delà des propriétés des domaines individuels.

Signification et Revendications
L'article avance que le préentraînement centré sur les domaines est une stratégie hautement efficace pour créer des modèles de langage protéiques compacts et informés par la structure. La contribution principale est de démontrer que la qualité et la granularité des données de préentraînement (domaines isolés et structurellement cohérents) peuvent l'emporter sur les bénéfices de l'augmentation de l'échelle du modèle ou de l'entraînement sur des séquences de pleine longueur.

Les auteurs affirment que :

Efficacité des Données : Restreindre l'entraînement aux segments de domaines permet à de plus petits modèles (ex: 650M) de surpasser des modèles beaucoup plus grands (ex: 3B) pour la détection d'homologie lointaine.
Biais Inductif Structurel : L'ajout d'une perte de contact guidée par la distance C $\alpha$ (TEDlm3D) injecte efficacement la connaissance structurelle dans l'espace de représentation, permettant aux modèles de séquences seules de rivaliser avec les outils de recherche basés sur la structure comme Foldseek.
La Granularité Compte : Les gains de performance dépendent des tâches. Les représentations au niveau du domaine excellent pour les tâches intrinsèques aux domaines uniques (reconnaissance de repliement, fonction moléculaire, efficacité catalytique) mais peuvent éprouver des difficultés pour les tâches nécessitant un contexte multi-domaines (localisation subcellulaire, stabilité au niveau de l'organisme).
Qualité de la Représentation : Le signal structurel est encodé au sein des représentations internes du modèle (cartes d'attention et embeddings) plutôt que uniquement dans une tête de sortie entraînée, comme le démontre la forte performance des sondes non supervisées.

L'étude conclut que le préentraînement centré sur les domaines offre une voie viable pour créer des « modèles de langage protéiques compacts et informés par la structure » qui généralisent bien à travers les tâches de prédiction structurelle et fonctionnelle sans nécessiter d'entrées structurelles lors de l'inférence.