Count your bits: fingerprint benchmarking to assess broad chemical space representation

Cette étude présente un cadre de référence complet pour évaluer les empreintes moléculaires, démontrant que les variantes basées sur les comptes (souvent logarithmiques) et non repliées améliorent la spécificité et l'alignement structurel par rapport aux méthodes binaires repliées, tout en introduisant la bibliothèque open-source `chemap` pour standardiser ces calculs.

L'essentiel

Imaginez que vous essayez de trouver des jumeaux parmi des milliards de personnes dans le monde entier. Pour ce faire, vous ne pouvez pas regarder chaque visage en détail ; vous devez utiliser une sorte de carte d'identité simplifiée pour chaque personne.

Dans le monde de la chimie, ces "personnes" sont des molécules (des petites structures qui composent tout ce qui nous entoure, des médicaments aux parfums). Les chercheurs utilisent des empreintes digitales moléculaires (des codes numériques) pour comparer ces molécules et voir à quel point elles se ressemblent.

Ce papier est comme un grand concours de test pour voir quelles cartes d'identité fonctionnent le mieux. Voici l'explication simple, avec quelques images pour aider à comprendre :

1. Le problème : Trop de "faux jumeaux"

Jusqu'à présent, les chimistes utilisaient souvent une méthode par défaut pour créer ces codes, un peu comme si on prenait une photo de haute résolution et qu'on la réduisait à la taille d'un timbre-poste (c'est ce qu'on appelle le "pliage" ou folding).

• L'analogie : Imaginez que vous essayez de reconnaître quelqu'un en réduisant sa photo à 10x10 pixels. Si deux personnes ont des cheveux noirs et un nez rond, leur photo réduite va sembler identique, même si l'une a une cicatrice sur le front et l'autre non.
• La découverte : Les auteurs ont montré que cette méthode de "réduction" crée des erreurs massives. Des molécules très différentes finissent par avoir le même code, ce qui fausse toutes les recherches. C'est comme confondre un lion et un chat parce que tous deux ont quatre pattes sur une photo floue.

2. La solution : Compter, pas juste dire "présent"

Les chercheurs ont testé deux façons de remplir ces cartes d'identité :

• Version Binaire (Oui/Non) : "Est-ce que cette molécule a un groupe chimique X ? Oui ou Non."

• Version Comptage (Combien ?) : "Combien de fois ce groupe chimique apparaît-il ?"

• L'analogie : Pensez à une recette de cuisine.

  • La version Oui/Non dit : "Il y a du sel."
  • La version Comptage dit : "Il y a 3 cuillères de sel."

• Le résultat : La version "Comptage" est beaucoup plus précise. Elle permet de distinguer une soupe très salée d'une soupe légèrement salée, là où la version "Oui/Non" les traiterait toutes les deux comme identiques. De plus, ils ont découvert qu'il faut souvent utiliser des logarithmes (une façon mathématique de dire "ne pas trop se focaliser sur les très grandes quantités") pour que le compte soit juste.

3. Le piège des gros codes (Les collisions)

Pour les molécules complexes (comme les produits naturels ou les médicaments), les codes générés sont énormes. Quand on les force à rentrer dans une petite boîte (le "pliage"), les informations se mélangent et se cassent.

• L'analogie : Imaginez un parking de 100 places (la boîte). Si vous avez 500 voitures (les informations chimiques), vous allez devoir empiler les voitures les unes sur les autres. Résultat : vous ne savez plus quelle voiture est où. C'est ce qu'on appelle une collision de bits.
• La recommandation : Pour les molécules complexes, il faut arrêter de les forcer dans la petite boîte. Il faut utiliser des parkings géants (des codes non pliés) ou des parkings intelligents qui ne stockent que les voitures importantes. Cela évite les erreurs et rend les comparaisons beaucoup plus rapides et justes.

4. Le nouveau outil : "chemap"

Pour aider tout le monde à ne plus faire ces erreurs, les auteurs ont créé un nouvel outil gratuit (une bibliothèque informatique appelée chemap).

• L'analogie : C'est comme si les auteurs avaient créé un nouveau GPS universel pour les chimistes. Au lieu d'utiliser de vieilles cartes papier qui montrent des routes qui n'existent plus, ce GPS calcule le meilleur itinéraire en temps réel, en tenant compte du trafic (la taille des molécules) et des embouteillages (les collisions de données).

En résumé, ce papier nous dit trois choses importantes :

1. Arrêtez de réduire les photos : Ne forcez pas les codes chimiques complexes dans de petites boîtes, sinon vous confondrez des molécules très différentes.
2. Comptez les détails : Il vaut mieux savoir combien de fois un élément apparaît plutôt que de juste savoir s'il est là.
3. Choisissez votre outil avec soin : Il n'y a pas de "meilleure" empreinte digitale pour tout. Selon ce que vous cherchez (un médicament précis ou une vue d'ensemble de la chimie), il faut choisir la bonne méthode.

Grâce à cette étude, les chercheurs peuvent maintenant naviguer dans l'océan des molécules sans se perdre, trouver les vrais jumeaux chimiques et éviter les fausses pistes qui ralentissaient la découverte de nouveaux médicaments.

Résumé technique

1. Problématique

La quantification de la similarité moléculaire est un pilier de la chimioinformatique, essentielle pour le criblage virtuel, la recherche de voisins les plus proches, la visualisation de l'espace chimique et l'évaluation des modèles d'apprentissage automatique. Cependant, le comportement pratique des mesures de similarité (généralement basées sur le coefficient de Tanimoto appliqué à des empreintes digitales ou fingerprints 2D) dépend fortement du type d'empreinte, de sa représentation (binaire vs comptage) et de la méthode de réduction de dimension (repliement ou folding dans des vecteurs de taille fixe).

Les auteurs identifient plusieurs lacunes dans les pratiques actuelles :

• Arbitraire des choix : Le choix de l'algorithme d'empreinte et de ses paramètres est souvent arbitraire.
• Limites du repliement (Folding) : Le repliement des empreintes dans des vecteurs de taille fixe (ex: 1024, 2048, 4096 bits) provoque des collisions de bits (bit collisions), faussant les scores de similarité, en particulier pour les molécules complexes ou les empreintes à forte occupation de bits.
• Biais des benchmarks existants : La plupart des évaluations se concentrent uniquement sur des tâches de récupération de composés actifs (criblage virtuel), négligeant d'autres applications cruciales comme la visualisation de l'espace chimique hétérogène ou l'entraînement de modèles d'IA.
• Manque de comparaison systématique : Il existe peu d'études comparant systématiquement les variantes (binaire vs comptage, replié vs déplié) sur de grands ensembles de données hétérogènes.

2. Méthodologie

Les auteurs ont développé une approche de benchmarking multi-critères sur plusieurs grands ensembles de données de petites molécules (natural products, métabolomiques) :

• Ensembles de données :

  • ms2structures (37k composés) : Données de spectrométrie de masse.
  • biostructures (718k composés) : Ensemble hétérogène et biologiquement pertinent utilisé comme test de stress.
  • rascalMCES : Paires de composés comparées via une mesure de référence basée sur le sous-graphe commun maximum (MCES), calculée avec RDKit.
  • Tâches de classification : Prédiction de classes bioactives (12 classes) et de sous-classes chimiques (120 classes).

• Types d'empreintes testées :

  • Basées sur dictionnaire : MACCS, PubChem, Klekota-Roth, Biosynfoni.
  • Circulaires (Morgan/FCFP).
  • Basées sur les chemins (RDKit).
  • Basées sur la distance topologique (Atom Pair).
  • Hybrides (MAP4), Torsion, LINGO, Avalon.

• Variantes évaluées :

  • Représentation : Binaire (présence/absence) vs Comptage (fréquence d'occurrence).
  • Mise en forme : Repliée (folded, taille fixe, ex: 4096 bits) vs Dépliée (unfolded, vecteurs épars sans collisions).
  • Mise à l'échelle : Logarithmique des comptages, TF-IDF, et "frequency folding" (garder les bits les plus fréquents).

• Outils : Développement de la bibliothèque Python open-source chemap pour unifier le calcul de ces variantes et optimiser les calculs de similarité (Tanimoto, Cosine).

• Métriques d'évaluation :

  1. Spécificité : Taux de doublons d'empreintes et écarts de masse entre molécules partageant la même empreinte.
  2. Comportement des scores : Distribution des scores et dépendance à la taille des composés.
  3. Accord de classement : Comparaison des top-k voisins.
  4. Alignement structurel : Corrélation de Spearman avec les scores graphiques (rascalMCES).
  5. Tâches prédictives : Performance de modèles de réseaux de neurones pour la prédiction d'activité et de classe chimique.
  6. Cohérence de l'espace chimique : Visualisation UMAP et cohérence des sous-classes dans l'espace vectoriel.

3. Résultats Clés

• Impact du comptage (Count vs Binary) : Les variantes basées sur le comptage (souvent avec une mise à l'échelle logarithmique) améliorent systématiquement la spécificité (réduction des doublons), réduisent la dépendance à la taille des molécules et s'alignent mieux avec les mesures de référence graphiques (MCES) par rapport aux variantes binaires.
• Problème critique du repliement (Folding) : Pour les empreintes à forte occupation de bits (notamment RDKit et MAP4), le repliement dans des vecteurs de taille fixe (même 4096 bits) génère des collisions de bits massives. Cela fausse les scores de similarité, créant de faux positifs (molécules structurellement différentes apparaissant très similaires) et augmentant artificiellement les scores moyens.
  • Solution : L'utilisation de variantes dépliées (unfolded) est cruciale pour RDKit et indispensable pour MAP4 sur des ensembles de données hétérogènes.
• Dépendance à la taille des molécules : Les empreintes repliées (surtout RDKit et MAP4) montrent une forte dépendance à la masse moléculaire : les grandes molécules obtiennent des scores de similarité artificiellement élevés. Les variantes dépliées et les comptages atténuent fortement ce biais.
• Performance des tâches prédictives :
  • Pour la prédiction de bioactivité, la présence/absence (binaire) suffit souvent, mais les comptages ne nuisent pas.
  • Pour la prédiction de classes chimiques et la cohérence des voisins (visualisation), les variantes comptage (souvent log-comptage) et dépliées surperforment nettement.
• Comparaison des algorithmes :
  • MAP4 et RDKit (dépliés) offrent une excellente cohérence de l'espace chimique et une forte corrélation avec les mesures graphiques.
  • Morgan/FCFP (surtout avec des rayons plus grands, ex: 9) sont très performants, plus économes en mémoire et rapides, avec un risque de collision faible même en version repliée.
  • Les empreintes basées sur dictionnaire (MACCS, PubChem) montrent une spécificité plus faible sur des ensembles hétérogènes.

4. Contributions Majeures

1. Framework de Benchmarking : Introduction d'un cadre d'évaluation multi-critères allant au-delà du simple criblage virtuel, incluant la spécificité, la dépendance à la taille, l'alignement structurel et la visualisation.
2. Bibliothèque chemap : Mise à disposition d'une bibliothèque Python open-source permettant le calcul unifié et optimisé de variantes repliées, dépliées, et fréquentielles de nombreuses empreintes, facilitant la reproductibilité.
3. Preuve empirique des collisions de bits : Démonstration que les collisions de bits dans les vecteurs repliés sont un problème majeur, souvent sous-estimé, qui dégrade la qualité des similarités pour les grandes molécules et les empreintes denses.
4. Recommandations pratiques :
   • Privilégier les variantes comptage (ou log-comptage) plutôt que binaire.
   • Utiliser des variantes dépliées (ou des tailles de vecteur très grandes) pour RDKit et MAP4 sur des données hétérogènes.
   • Pour une représentation générale de l'espace chimique, Morgan-9/FCFP-9 (comptage) ou RDKit/MAP4 (dépliés) sont des choix robustes.

5. Signification

Cet article remet en question les paramètres par défaut couramment utilisés en chimioinformatique. Il démontre que le choix de l'empreinte et de sa configuration (binaire/comptage, replié/déplié) n'est pas anodin et modifie radicalement les résultats des analyses en aval, qu'il s'agisse de la recherche de composés, de l'entraînement de modèles d'IA ou de la visualisation de données.

Les auteurs plaident pour une sélection plus consciente des empreintes, adaptée à la nature des données (taille, diversité chimique) et à la tâche visée. L'adoption de variantes comptage et dépliées permettrait d'éviter des artefacts statistiques graves et d'améliorer la fiabilité des modèles prédictifs et des analyses d'espace chimique à grande échelle. La bibliothèque chemap fournit les outils nécessaires pour mettre en œuvre ces meilleures pratiques.