STAR-GO: Improving Protein Function Prediction by Learning to Hierarchically Integrate Ontology-Informed Semantic Embeddings

1. Problématique

La prédiction précise de la fonction des protéines est essentielle pour comprendre les mécanismes moléculaires et avancer dans la découverte thérapeutique. Cependant, l'annotation expérimentale ne parvient pas à suivre la croissance rapide des données de séquences protéiques (moins de 1 % des protéines dans UniProt sont annotées expérimentalement).

Les approches computationnelles actuelles tentent de combler ce fossé en associant les protéines à des termes de l'Ontologie des Gènes (GO). Le GO est une classification hiérarchique (Fonction Moléculaire, Processus Biologique, Composant Cellulaire) représentée sous forme de graphe acyclique dirigé (DAG).
Les défis majeurs identifiés dans les modèles existants sont :

• Négligence de la structure hiérarchique : De nombreux modèles traitent les termes GO comme des étiquettes indépendantes, ignorant les relations parent-enfant et les définitions sémantiques.
• Limites de la généralisation (Zero-Shot) : Les modèles peinent à prédire des fonctions liées à des termes GO jamais vus lors de l'entraînement (nouveaux termes ou termes exclus pour l'évaluation), car ils ne capturent pas bien les dépendances fonctionnelles entre les niveaux de l'ontologie.
• Modélisation unimodale : Les approches récentes privilégient soit la structure du graphe (topologie), soit le texte (définitions), mais rarement les deux de manière conjointe et optimisée.

2. Méthodologie : STAR-GO

STAR-GO (Semantic and Topological Attention for Gene Ontology) est un cadre basé sur l'architecture Transformer conçu pour modéliser conjointement les caractéristiques sémantiques et structurelles des termes GO afin d'améliorer la prédiction de fonction en mode zero-shot.

L'architecture se compose de deux modules principaux :

A. Module d'Embedding des termes GO (GO Embedder)

Ce module vise à apprendre des représentations vectorielles unifiées pour les termes GO en combinant :

1. Information Sémantique : Utilisation de SBERT-BioBERT (un encodeur de phrases pré-entraîné sur des textes biomédicaux) pour générer des embeddings à partir des définitions textuelles des termes GO.
2. Information Structurelle : Un autoencodeur entraîné avec une supervision multi-tâches pour "rétablir" la structure de l'ontologie à partir des embeddings textuels. L'autoencodeur est formé pour prédire simultanément :
   • L'identité du terme.
   • L'aspect du terme (MF, BP, CC).
   • L'ensemble des termes ancêtres (hiérarchie).
   • Objectif : Apprendre un espace latent qui préserve à la fois la similarité sémantique et les dépendances hiérarchiques, contrairement aux méthodes précédentes (comme anc2Vec) qui utilisent des vecteurs one-hot limités.

B. Architecture Transformer (Encodeur-Décodeur)

Le modèle fusionne les représentations protéiques et GO dans un cadre Transformer unifié :

• Encodeur : Prend les embeddings de séquence protéique (extraites de ProtT5, un modèle de langage protéique pré-entraîné) et les affine par des couches d'attention auto-attentionnelle (Self-Attention) pour capturer les dépendances au sein de la séquence.
• Décodeur : Prédit les probabilités d'association aux termes GO.
  • Ordre Hiérarchique : Les termes GO sont traités dans un ordre topologique (du général au particulier, du parent à l'enfant).
  • Attention Causale : Une masque causal est appliqué à l'auto-attention du décodeur, forçant chaque terme à ne "voir" que ses ancêtres dans l'ordre de traitement. Cela propage l'information des termes généraux vers les termes spécifiques.
  • Cross-Attention : Les représentations GO sont connectées aux représentations protéiques via des couches de Cross-Attention, permettant à chaque terme GO de se concentrer sur les résidus protéiques les plus pertinents pour sa sémantique.

3. Contributions Clés

1. Intégration conjointe Sémantique-Structure : STAR-GO est le premier cadre à optimiser conjointement les embeddings sémantiques (texte) et structurels (graphe) dans un mécanisme de décodage hiérarchique, permettant de capturer les dépendances fonctionnelles à travers les niveaux de l'ontologie.
2. Généralisation Zero-Shot sans réentraînement : Grâce à l'utilisation de définitions textuelles pour générer les embeddings, le modèle peut prédire des fonctions pour des termes GO nouveaux ou jamais vus sans nécessiter de réentraînement, contrairement aux méthodes basées sur des embeddings fixes (comme anc2Vec).
3. Mécanisme de Décodage Hiérarchique : L'ordre topologique des termes dans le décodeur agit comme un biais inductif fort, améliorant la cohérence des prédictions à travers les niveaux de l'ontologie.
4. Interprétabilité : Le modèle permet d'identifier les résidus protéiques critiques pour une fonction donnée via les poids d'attention, même pour des fonctions non vues lors de l'entraînement.

4. Résultats

Les évaluations ont été menées sur un jeu de données de 36 641 protéines, comparant STAR-GO à des modèles de l'état de l'art (DeepGOZero, DeepGO-SE, PFresGO, TransFew, etc.).

• Performance Globale : STAR-GO atteint des performances compétitives, obtenant les meilleurs scores AUC (Area Under Curve) sur tous les ontologies (BP, CC, MF), indiquant une forte capacité de discrimination au niveau des termes.
• Généralisation Zero-Shot : Sur un ensemble de test où 16 termes GO ont été exclus de l'entraînement :
  • STAR-GO (et ses variantes) surpasse systématiquement les autres modèles sur 13 des 16 termes exclus.
  • La variante combinée (STARST) maintient une performance stable, tandis que la variante purement textuelle (START) excelle sur les termes MF et BP, confirmant la puissance des définitions sémantiques pour la généralisation.
• Ablation :
  • L'élimination de l'ordre hiérarchique ou des embeddings pré-entraînés entraîne une baisse significative des performances.
  • La combinaison des embeddings textuels et structurels s'avère supérieure à l'utilisation d'une seule modalité, bien que les deux soient complémentaires.
• Analyse d'Attention : Dans un scénario zero-shot, les cartes d'attention du modèle ont correctement identifié les résidus de liaison à l'ADN pour des facteurs de transcription, validant que le modèle apprend une correspondance généralisable entre la sémantique du terme et les caractéristiques de la séquence.

5. Signification et Impact

STAR-GO représente une avancée significative dans la prédiction de la fonction des protéines en démontrant que l'intégration de la sémantique textuelle et de la structure de l'ontologie est cruciale pour la robustesse et l'adaptabilité des modèles.

• Adaptabilité aux mises à jour : Contrairement aux modèles qui deviennent obsolètes lorsque l'ontologie GO évolue (ajout de nouveaux termes), STAR-GO peut intégrer instantanément de nouveaux termes grâce à leurs définitions textuelles, sans réentraînement coûteux.
• Robustesse : La capacité à généraliser à des fonctions inconnues (Zero-Shot) est essentielle pour explorer l'espace fonctionnel non annoté, accélérant ainsi la découverte biologique.
• Futur : Ce travail ouvre la voie à des mécanismes de fusion adaptative et à l'intégration de modalités supplémentaires (structures 3D, interactions protéine-protéine) pour affiner encore davantage la prédiction fonctionnelle.

En résumé, STAR-GO propose une approche élégante et efficace pour transformer la prédiction de fonction protéique en un problème de compréhension sémantique et structurelle, rendant les modèles plus résilients face à l'évolution continue des connaissances biologiques.