Résumé technique : Un atlas géométrique de l'organisation des modalités d'ESM3

Énoncé du problème

Les modèles de langage protéiques (PLM) ont fait progresser la prédiction de la structure et de la fonction des protéines en apprenant des représentations à usage général à partir de vastes ensembles de données. Les modèles multimodaux comme ESM3 ingèrent simultanément plusieurs canaux d'entrée — incluant la séquence d'acides aminés, la structure 3D, la structure secondaire (SS8), l'accessibilité au solvant (SASA) et les annotations fonctionnelles discrètes — en sommant leurs plongements (embeddings) dans un flux résiduel unique. Alors que les travaux d'interprétabilité précédents ont examiné les têtes d'attention et les caractéristiques apprises dans les modèles uniquement séquentiels, on sait peu de choses sur l'organisation mécaniste de ces différentes modalités d'entrée au sein d'une architecture multimodale. Plus précisément, il reste à déterminer si ces modalités occupent des sous-espaces distincts, à quelle profondeur elles fusionnent, et si cette fusion est un artefact architectural ou une propriété apprise.

Méthodologie

Les auteurs emploient une approche descriptive « axée sur la géométrie » pour créer un atlas de l'organisation des modalités à travers la profondeur d'ESM3 (spécifiquement le modèle esm3-sm-open-v1 : 1,4 milliard de paramètres, 48 couches de transformateurs, plongement de 1536 dimensions).

Conception expérimentale :

• Isolation et agrégation : Pour chaque protéine du jeu de données, le modèle est exécuté de manière isolée pour chacune des cinq conditions de mono-modalité (séquence, structure, SS8, SASA, fonction) et une condition « toutes les modalités ».
• Collecte de données : Le flux résiduel est lu à chaque couche (1–48). Les représentations sont analysées à la fois comme des vecteurs de niveau protéique par regroupement moyen (mean-pooling) et, pour un sous-ensemble, comme des activations individuelles par résidu.
• Jeux de données : L'analyse couvre un ensemble humain de 892 protéines pour les résultats primaires et un ensemble diversifié de 5 555 protéines issues de 12 organismes (couvrant Eukaryota, Bacteria et Archaea) pour tester l'universalité. Un groupe de contrôle de 177 protéines avec des structures expérimentales (X-ray/cryo-EM) valide les résultats par rapport aux coordonnées prédites par AlphaFold.
• Métriques :
  • Score de Silhouette : Mesure la séparation entre les conditions de modalité à chaque couche.
  • Alignement de Noyau Centré (CKA) : Suit l'alignement entre paires de conditions pour déterminer le moment de la fusion.
  • Indice d'intégration : La moyenne des CKA par paires de toutes les modalités physiques.
  • Rang effectif : Mesure la dimensionnalité de la variance au sein du nuage de représentations.
  • Sondes linéaires : Sondes logistiques entraînées pour décoder l'identité de la modalité à partir du flux.
• Contrôles : L'étude inclut un modèle initialisé aléatoirement (poids du tronc et des plongements réinitialisés, préservant l'encodeur de structure) pour distinguer la fusion apprise de l'artefact de sommation architecturale.

Résultats clés

1. Fusion nette et ordonnée des modalités physiques

Les quatre modalités physiques (séquence, structure, SS8, SASA) commencent dans des sous-espaces distincts à l'entrée. Elles restent maximalement séparées durant la première moitié du réseau, atteignant une séparation maximale (score de Silhouette ~0,42) autour de la couche 24. Une transition abrupte se produit entre les couches 25 et 35, où ces modalités s'effondrent dans un sous-espace partagé de faible dimension.

• Ordre de fusion : La fusion est ordonnée. Les modalités dérivées de la structure (structure, SS8, SASA) sont mutuellement alignées dès l'entrée (Couche 0). La séquence, qui porte des informations non dérivables de la structure, rejoint la fusion en dernier, s'intégrant significativement après la couche 28.

2. Orthogonalité persistante des annotations fonctionnelles

Contrairement aux modalités physiques, la modalité d'annotation fonctionnelle ne fusionne jamais avec le sous-espace physique.

• Orthogonalité : Le CKA par paire entre le canal de fonction et toute modalité physique reste proche de 0,01–0,07 à travers les 48 couches.
• Indépendance de la granularité : Cette séparation se maintient même en utilisant des annotations fonctionnelles par résidu (dérivées d'InterPro) plutôt que des annotations de protéine entière, indiquant que la séparation est dictée par le contenu et non par un artefact de granularité de la tokenisation.
• Rétention d'information : Malgré l'orthogonalité, l'information fonctionnelle n'est pas perdue ; des sondes linéaires peuvent décoder les classes d'enzymes et les classes de repliement (folds) à partir du sous-espace physique fusionné avec une grande précision, suggérant que le réseau extrait le contenu fonctionnel vers le sous-espace physique tout en maintenant le canal de fonction explicite sur un axe séparé et ténu.

3. La fusion est une propriété apprise

Un modèle initialisé aléatoirement avec la même architecture ne montre aucune fusion dépendante de la profondeur. La séparation des conditions reste élevée et constante, et l'indice d'intégration ne change pas avec la profondeur. Cela confirme que la fusion observée est le résultat de l'entraînement, et non simplement la conséquence mathématique de la sommation des plongements.

4. Réorganisation de la variance sans isotropie

La fusion ne résulte pas en un effondrement vers un point unique ou une diffusion vers l'isotropie.

• Rang effectif : Le rang effectif du nuage de représentations s'effondre à ~3 au pic de séparation (couche 24), s'étend à ~85 dimensions dans la zone de fusion (couches 25–35), puis se contracte.
• Décalage de variance : La fusion déplace la variance de l'inter-conditions vers l'intra-conditions. L'identité de la modalité reste décodable (précision ~1,0 dans l'espace complet) même après la fusion, indiquant une réorganisation contrôlée plutôt qu'une perte d'information.

5. Universalité et dépendances structurelles

• Universalité : Le schéma de fusion est universel à travers divers organismes. Chaque super-royaume (Eukaryota, Bacteria, Archaea) et chaque organisme individuel de l'étude atteint la fusion maximale (séparation minimale) exactement à la couche 35.
• Dépendance structurelle : La profondeur de fusion est indépendante de la longueur de la protéine mais est retardée par le désordre structurel. Les protéines présentant une fraction de pelote (coil) plus élevée fusionnent plus tard, tandis que les protéines hélicoïdales bien repliées fusionnent plus tôt. L'effet n'est pas corrélé aux scores de confiance AlphaFold (pLDDT).

Signification et affirmations

L'article affirme fournir le premier atlas géométrique complet de la manière dont l'information multimodale est organisée dans un modèle de langage protéique. La principale signification réside dans la révélation qu'ESM3 organise ses entrées en deux régimes distincts :

1. Un régime physique unifié où la séquence et les caractéristiques structurelles fusionnent en un sous-espace partagé de faible dimension à mi-profondeur, suggérant que le réseau construit des caractéristiques spécifiques à la modalité avant de s'engager dans une représentation physique unifiée une fois la structure secondaire résolue.
2. Un régime fonctionnel séparé où les étiquettes fonctionnelles discrètes sont maintenues sur un axe orthogonal tout au long du réseau, indépendamment du fait que cette information soit redondante avec les modalités physiques.

Les auteurs concluent que cette organisation verrouillée par la profondeur est intrinsèque au modèle entraîné plutôt qu'un artefact de protéomes ou de coordonnées de prédiction spécifiques. Les résultats suggèrent que le « raisonnement » du réseau implique un ordre temporel spécifique d'intégration, où la cohérence structurelle est établie avant que l'information de séquence ne soit pleinement intégrée, tandis que les étiquettes fonctionnelles restent distinctes. Ce travail établit une base pour l'interprétabilité mécaniste dans les modèles biologiques multimodaux, démontant que la fusion est un phénomène appris, universel et ordonné.