Benchmarking GNN Models on Molecular Regression Tasks with CKA-Based Representation Analysis

Cette étude présente un benchmark systématique de quatre architectures de GNN sur des tâches de régression moléculaire, démontrant qu'une approche de fusion hiérarchique combinant GNN et empreintes moléculaires surpasse les modèles individuels, tout en révélant via l'analyse CKA que les représentations apprises par les GNN et les empreintes occupent des espaces latents largement indépendants.

L'essentiel

🧪 Le Défi : Prédire les propriétés des molécules

Imaginez que vous êtes un chef cuisinier (ou un chimiste) qui veut prédire le goût d'un plat avant même de l'avoir goûté. Pour cela, vous avez deux méthodes :

1. La méthode traditionnelle (Les "Empreintes") : Vous avez une liste de contrôle écrite à la main. Vous cochez des cases : "Il y a du sel ?", "Il y a du sucre ?", "C'est épicé ?". C'est rapide et fiable si vous connaissez bien les recettes, mais cela demande beaucoup de travail manuel et ça ne capture pas toute la complexité du plat.
2. La méthode moderne (Le "Réseau de Neurones Graphique" ou GNN) : Vous laissez un robot intelligent observer la structure du plat, voir comment les ingrédients sont connectés les uns aux autres, et essayer de deviner le goût par lui-même. C'est plus flexible, mais le robot a besoin de beaucoup d'exemples pour apprendre.

Le problème : En chimie (pour trouver de nouveaux médicaments), on a souvent très peu d'exemples (peu de données). Le robot (GNN) risque de ne pas être aussi performant que la liste de contrôle manuelle (les empreintes moléculaires) quand il y a peu de données.

---

🔍 Ce que les chercheurs ont fait

Les chercheurs de l'Institut indien de technologie de Delhi ont voulu tester ces deux méthodes sur quatre types de "plats" différents (des molécules avec des propriétés différentes : solubilité, goût, temps de conservation, etc.).

Ils ont comparé :

• Les modèles classiques (basés sur les listes de contrôle manuelles).
• Quatre types de robots GNN différents (GCN, GAT, GIN, GraphSAGE), qui sont comme quatre façons différentes d'organiser l'information dans le cerveau du robot.
• Une nouvelle idée : La Fusion. Ils ont décidé de faire travailler le robot et la liste de contrôle ensemble.

💡 Les Découvertes Clés (avec des analogies)

1. Le duo gagnant : La Fusion (GNN + Empreintes)

C'est la découverte la plus importante.

• L'analogie : Imaginez que vous essayez de deviner un mot dans un jeu de devinettes.
  • Le robot (GNN) regarde la forme des lettres.
  • La liste (Empreintes) vous donne des indices sur le sens des lettres.
  • Résultat : Si vous les combinez, vous gagnez beaucoup plus souvent !
• En chiffres : Leurs modèles combinés ont été plus précis de 7 % à 26 % que les modèles seuls. C'est comme si le robot apprenait à lire les indices que la liste de contrôle lui fournissait.

2. Les robots sont-ils tous pareils ? (L'analyse CKA)

Les chercheurs ont utilisé un outil mathématique appelé CKA pour voir si les différents robots (GCN, GAT, etc.) pensaient de la même façon.

• Les robots "Isotropes" (GCN, GraphSAGE, GIN) : C'est comme avoir trois jumeaux. Même s'ils ont des noms différents, ils regardent le monde de la même manière. Ils apprennent presque la même chose. Si vous en choisissez un au hasard, vous obtiendrez le même résultat.
• Le robot "GAT" : C'est l'outsider. C'est comme un artiste qui regarde les choses sous un angle unique. Il utilise une "mécanisme d'attention" (il se concentre sur les détails importants). Il pense différemment des autres.
• Pourquoi c'est cool ? Comme le robot GAT voit les choses différemment, quand on le combine avec la liste de contrôle (les empreintes), le résultat est souvent le meilleur. C'est la diversité des points de vue qui fait la force.

3. Le paradoxe des petites données

• Petits jeux de données (1000 molécules) : Les listes de contrôle manuelles (les modèles classiques) gagnent souvent. Pourquoi ? Parce que le robot a besoin de beaucoup d'exemples pour apprendre à bien voir la structure. Avec peu d'exemples, il se trompe plus facilement.
• Gros jeux de données : Si on avait des millions de molécules, le robot deviendrait probablement le champion, car il peut apprendre des motifs complexes que la liste manuelle ne voit pas.

---

🏁 Conclusion en une phrase

Cette étude nous apprend que la meilleure stratégie n'est pas de choisir entre l'ancien et le nouveau, mais de les marier. En combinant la puissance d'apprentissage automatique des robots (GNN) avec la fiabilité des connaissances humaines (les empreintes moléculaires), on obtient un système de prédiction beaucoup plus robuste, surtout quand on manque de données.

C'est un peu comme dire : "Ne choisissez pas entre un expert humain et une intelligence artificielle. Faites-les travailler ensemble, et vous aurez le meilleur des deux mondes."

Résumé technique

1. Problématique et Contexte

La prédiction des propriétés moléculaires est une tâche fondamentale en découverte de médicaments et en chimie computationnelle. Traditionnellement, les molécules sont représentées par des empreintes moléculaires (fingerprints) de taille fixe, telles que les ECFP4, qui encodent des motifs structuraux basés sur l'expertise humaine. Ces descripteurs sont utilisés pour entraîner des modèles d'apprentissage automatique (ML) classiques (régression linéaire, SVM, Random Forest, XGBoost).

Cependant, cette approche présente plusieurs limites :

• Dépendance forte à l'ingénierie de caractéristiques manuelle.
• Difficulté à généraliser sur des données hors distribution (OOD).
• Manque d'explicabilité.
• Besoin de grandes quantités de données pour éviter le surapprentissage, ce qui est souvent indisponible dans le domaine pharmaceutique (petits ensembles de données).

Les Réseaux de Neurones à Graphes (GNN) émergent comme une solution alternative en représentant les molécules comme des graphes (atomes = nœuds, liaisons = arêtes), apprenant ainsi automatiquement les relations structurelles. Pourtant, leur efficacité sur des petits ensembles de données et la nature de leurs biais inductifs par rapport aux empreintes traditionnelles restent mal comprises. De plus, il est peu clair si différentes architectures de GNN (GCN, GAT, GIN, GraphSAGE) apprennent des représentations complémentaires ou redondantes.

2. Méthodologie

Les auteurs ont mené une étude comparative systématique structurée en plusieurs étapes :

A. Jeux de Données et Prétraitement

Quatre jeux de données de régression moléculaire ont été utilisés, couvrant trois domaines :

• Chimie physique : ESOL (solubilité aqueuse) et Lipophilicity (log D).
• Biologie : B3DB (perméabilité de la barrière hémato-encéphalique).
• Analytique : RT (temps de rétention en chromatographie).
• Note : Le jeu de données FreeSolv a été exclu car trop petit (< 1000 molécules). Chaque jeu de données a été échantillonné à 1 000 molécules et divisé en 80 % pour l'entraînement et 20 % pour le test.

B. Modèles de Référence (Baselines)

Quatre modèles ML classiques ont été entraînés sur des empreintes ECFP4 (1024 bits) générées via RDKit : Régression Linéaire (LR), SVM, Random Forest (RF) et XGBoost.

C. Architectures GNN et Hybrides

• GNN purs : Quatre architectures ont été comparées : GCN, GAT, GIN et GraphSAGE. Pour isoler les biais inductifs fondamentaux, les auteurs ont utilisé une architecture simplifiée : une seule couche de convolution graphique suivie d'un pooling moyen global et d'une tête de régression MLP (deux couches).
• Modèle Hybride (Fusion Hiérarchique) : Un cadre GNN + FP a été proposé. Il fusionne les embeddings au niveau du graphe (issus du GNN) avec les embeddings des empreintes ECFP4 (projetés via une couche linéaire) avant la prédiction finale.

D. Analyse de Similarité Représentationnelle (CKA)

Pour analyser la similarité entre les espaces latents, les auteurs ont utilisé l'Alignement du Noyau Centré (CKA) avec un noyau à base radiale (RBF).

• CKA GNN vs FP : Pour mesurer l'indépendance entre les représentations apprises par le GNN et les empreintes fixes.
• CKA GNN vs GNN : Pour évaluer la redondance entre les différentes architectures de GNN (GCN, GAT, etc.).

E. Métriques d'Évaluation

La performance a été mesurée par l'Erreur Quadratique Moyenne Racine (RMSE) avec des intervalles de confiance à 95 % obtenus par bootstrapping.

3. Résultats Clés

A. Performance Prédictive

• Supériorité des modèles hybrides : Le cadre de fusion hiérarchique (GNN+FP) a systématiquement surpassé ou égalé les performances des modèles GNN seuls et des baselines ML classiques.
• Amélioration du RMSE : L'ajout des empreintes aux GNN a entraîné une amélioration significative du RMSE :
  • RT : +26,13 %
  • ESOL : +22,72 %
  • Lipophilicity : +15,19 %
  • B3DB : +7,06 %
• Performance des GNN seuls : Les modèles GNN seuls ont généralement sous-performé par rapport aux baselines ML (RMSE 17-27 % plus élevé), principalement en raison de la taille réduite des données (1000 molécules) et de la profondeur limitée du modèle (une seule couche).

B. Analyse CKA (Similarité Représentationnelle)

• Indépendance GNN vs FP : Les scores CKA entre les embeddings GNN et les empreintes ECFP4 sont faibles à modérés (moyenne 0,29–0,32 pour la plupart des jeux, jusqu'à 0,46 pour ESOL). Cela confirme que les GNN capturent des informations structurelles orthogonales et complémentaires aux empreintes fixes, justifiant l'efficacité de la fusion.
• Convergence des modèles isotropes : Les architectures GCN, GraphSAGE et GIN (mécanismes de passage de messages isotropes) montrent une similarité très élevée (CKA ≥ 0,88, atteignant 0,992 sur B3DB). Cela suggère qu'elles convergent vers des variétés de caractéristiques presque identiques sur ces petits jeux de données.
• Divergence de GAT : Le GAT (basé sur l'attention) présente une similarité beaucoup plus faible avec les autres architectures (CKA 0,55–0,80), indiquant qu'il apprend des représentations relationnelles uniques et non capturées par les agrégateurs standards.

4. Contributions Principales

1. Benchmarking Systématique : Une comparaison rigoureuse de quatre architectures GNN majeures contre des baselines ML sur un éventail diversifié de tâches de régression moléculaire avec des données limitées.
2. Cadre de Fusion Hiérarchique : Proposition et validation d'une architecture combinant GNN et empreintes moléculaires (GNN+FP), démontrant une amélioration constante des performances (gain > 7 % sur tous les jeux de données).
3. Analyse CKA Appliquée : Utilisation du CKA pour quantifier mathématiquement la redondance entre architectures GNN et la complémentarité entre GNN et empreintes.
   • Démonstration que le choix de l'architecture GNN (GCN vs GraphSAGE vs GIN) est peu pertinent pour les petits jeux de données en raison de leur convergence vers des représentations identiques.
   • Mise en évidence du rôle unique du GAT.
4. Insights sur la "Diversité Illusoire" : Révélation que des agrégateurs mathématiquement distincts peuvent apprendre des représentations redondantes lorsque les données sont insuffisantes pour exploiter leurs différences structurelles.

5. Signification et Conclusion

Cette étude met en lumière le compromis entre l'apprentissage automatique traditionnel et l'apprentissage profond géométrique dans le contexte de la découverte de médicaments, où les données sont rares.

• Pour les petits jeux de données : Les empreintes moléculaires (FP) agissent comme des régularisateurs puissants. Les GNN seuls peinent à apprendre des hiérarchies chimiques complexes sans données massives.
• L'avenir est hybride : La fusion des embeddings appris (GNN) et des descripteurs fixes (FP) permet de combiner la flexibilité de l'apprentissage automatique avec la robustesse des connaissances expertes, offrant la meilleure performance prédictive.
• Choix de l'architecture : Pour les petits jeux de données, l'effort de sélection entre GCN, GIN ou GraphSAGE est probablement superflu car ils apprennent des représentations quasi-identiques. En revanche, le GAT se distingue par sa capacité à apprendre des représentations uniques, ce qui explique pourquoi le modèle hybride GAT+FP a souvent obtenu les meilleurs résultats.

En conclusion, bien que les GNN seuls ne surpassent pas encore les modèles ML classiques sur de petits jeux de données, leur intégration via une fusion hiérarchique avec des empreintes moléculaires constitue une approche supérieure pour la prédiction de propriétés moléculaires.