Count your bits: fingerprint benchmarking to assess broad chemical space representation

Deze studie introduceert een uitgebreid benchmarkkader en de open-source bibliotheek *chemap* om aan te tonen dat het gebruik van tellingen in plaats van binaire bitvectoren en het vermijden van vouwing (folding) de specificiteit en structurele nauwkeurigheid van moleculaire vingerafdrukken aanzienlijk verbetert.

De kern

Titel: De "Vingerafdruk" van Moleculen: Waarom de Maatstaf voor Vergelijking Belangrijker is dan het Vergelijken Zelf

Stel je voor dat je een enorme bibliotheek hebt met miljarden unieke boeken (moleculen). Je wilt weten welke boeken op elkaar lijken. Soms zoek je naar exact dezelfde verhalen (zoals bij het vinden van medicijnen), en soms wil je gewoon een overzicht hebben van hoe de hele bibliotheek eruitziet.

In de chemie gebruiken wetenschappers iets dat een "moleculaire vingerafdruk" heet. Dit is een soort digitale code die een molecule beschrijft. De meest populaire manier om te kijken of twee moleculen op elkaar lijken, is door te kijken naar hoeveel bits (de 0-en en 1-en in die code) ze gemeen hebben. Dit heet de "Tanimoto-score".

Maar hier zit de addertje onder het gras: niet alle vingerafdrukken zijn even goed gemaakt, en niet alle manieren om ze te vergelijken werken even goed.

In dit onderzoek hebben Florian Huber en Julian Pollmann een enorme test uitgevoerd om te zien welke "vingerafdrukken" en welke "vergelijkingsmethodes" het beste werken. Ze hebben een nieuwe tool (een computerprogramma genaamd chemap) gebouwd om dit allemaal te testen.

Hier is wat ze hebben ontdekt, vertaald naar alledaagse taal:

1. Het probleem met de "Korte Lijst" (Bit-collisions)

Stel je voor dat je een lijst maakt van alle ingrediënten in een recept.

• De oude manier (Folded): Je hebt een lijstje met maar 10 vakjes. Als je recept 15 ingrediënten heeft, moet je er 5 weggooien of ze samenvoegen in één vakje. Dit heet "vouwen" (folding). Het probleem? Twee heel verschillende recepten kunnen per ongeluk op precies dezelfde lijstje eindigen omdat ze in hetzelfde vakje zijn gedrukt. Dit noemen ze bit-collisions. Het is alsof je twee verschillende auto's (een Ferrari en een fiets) op dezelfde parkeerplaats zet omdat de parkeerplaats te klein is. Ze lijken dan ineens op elkaar, terwijl ze dat totaal niet zijn.
• De nieuwe manier (Unfolded): Gebruik een lijstje met oneindig veel vakjes. Dan komt elk ingrediënt op zijn eigen plek. Geen gedoe, geen verwarring.

De conclusie: Voor complexe moleculen (zoals die in medicijnen of natuurlijke stoffen) is de "korte lijst" vaak te kort. Het leidt tot fouten. De onderzoekers raden aan om voor bepaalde methoden (zoals RDKit en MAP4) de "lange lijst" (unfolded) te gebruiken, zelfs als dat iets meer rekenkracht kost.

2. "Aan of Uit" vs. "Hoeveelheid" (Binary vs. Count)

Stel je voor dat je twee mensen vergelijkt op basis van hun hobby's.

• Binary (Aan/Uit): "Heeft hij piano gespeeld? Ja/Nee." "Heeft hij gitaar gespeeld? Ja/Nee."
• Count (Hoeveelheid): "Hoeveel uur heeft hij piano gespeeld? 10 uur." "Hoeveel uur gitaar? 100 uur."

De onderzoekers ontdekten dat het tellen van de hoeveelheid (Count) bijna altijd beter werkt dan alleen kijken of iets aanwezig is.

• Waarom? Als een molecule heel veel van hetzelfde stukje heeft (bijvoorbeeld een lange keten van koolstofatomen), zegt een "Aan/Uit" lijstje niets. Maar een "Hoeveelheid" lijstje ziet dat dit een belangrijk kenmerk is. Het maakt de vergelijking veel specifieker. Het is alsof je niet alleen zegt "hij heeft een auto", maar "hij heeft een hele dure, snelle auto". Dat vertelt je veel meer over de persoon.

3. De "Grootte" van het Molecule

Er was een verrassend effect: bij sommige methoden leken grote moleculen (zware auto's) altijd meer op elkaar dan kleine moleculen (fietsen), puur omdat ze meer onderdelen hebben.

• De onderzoekers zagen dat als je de "Count"-methode gebruikt en de "Unfolded"-lijstjes, dit probleem verdwijnt. Dan wordt een grote molecule eerlijk vergeleken met een andere grote molecule, en een kleine met een kleine.

4. De Winnaars van de Test

Ze hebben tientallen methodes getest. Hier zijn de winnaars voor het vergelijken van een heel diverse verzameling moleculen:

• De Alleskunner: RDKit en MAP4. Maar! Alleen als je ze gebruikt in de "Unfolded" modus (de lange lijstjes). Als je ze vouwt, krijg je veel fouten.
• De Efficiënte: Morgan en FCFP. Deze werken al heel goed, zelfs met de "korte lijstjes", en zijn snel. Ze lijken op het vergelijken van lokale buurten in een stad.
• De Slechtste: Methoden die gebaseerd zijn op een vaste lijst van bekende onderdelen (zoals MACCS of PubChem) deden het minder goed bij het vinden van unieke moleculen in een grote, diverse verzameling. Ze waren te star.

5. De Nieuwe Tool: chemap

Om dit allemaal makkelijker te maken voor anderen, hebben de auteurs een gratis computerprogramma (chemap) gemaakt.

• Wat doet het? Het stelt wetenschappers in staat om makkelijk te switchen tussen de "korte" en "lange" lijsten, en tussen "Aan/Uit" en "Hoeveelheid".
• Waarom is dit handig? Het zorgt ervoor dat iedereen dezelfde regels gebruikt. Vroeger deed de één het met de ene instelling en de ander met een andere, waardoor resultaten nooit goed te vergelijken waren. Nu is het als het hebben van een standaard maatschaal voor iedereen.

Samenvattend

De boodschap van dit papier is simpel: Kies je gereedschap met zorg.
Als je moleculen wilt vergelijken, kun je niet zomaar de standaardinstelling gebruiken.

1. Gebruik liever hoeveelheden (counts) dan alleen "aan/uit".
2. Gebruik voor grote, complexe moleculen liever lange lijsten (unfolded) om verwarring te voorkomen.
3. Gebruik de nieuwe tool chemap om je vergelijkingen eerlijk en reproduceerbaar te maken.

Het is alsof je stopt met het meten van afstand met je pasjes en begint met het gebruik van een GPS die rekening houdt met de werkelijke weg, in plaats van een kaartje dat te klein is om de hele route te tonen.

Technische samenvatting

Probleemstelling

In de cheminformatica is het kwantificeren van moleculaire gelijkenis fundamenteel voor toepassingen zoals virtuele screening, chemische ruimtelijke visualisatie en het trainen van machine learning-modellen. De Tanimoto-coëfficiënt op basis van 2D-vingerafdrukken (fingerprints) is de de facto standaard. Echter, de praktische prestaties van deze maatstaven zijn sterk afhankelijk van de gekozen vingerafdruksoort, de representatie (binair vs. telling) en of de vingerafdrukken zijn "gevouwen" (folded) naar een vaste lengte.

Bestaande benchmarks focussen vaak uitsluitend op het terugvinden van actieve verbindingen (virtual screening), wat slechts één perspectief biedt. Er ontbreekt een systematische evaluatie op grote, heterogene datasets voor bredere taken zoals visualisatie, classificatie en het evalueren van de structuur van chemische ruimtes. Een specifiek, maar vaak onderschat probleem is de "bit-collisie" (bit collisions) die optreedt wanneer substructuren worden gehasht naar een te kleine vector, wat leidt tot vertekende gelijkeniscores en een verlies van discriminatievermogen.

Methodologie

De auteurs hebben een uitgebreid benchmarking-framework ontwikkeld en een nieuwe open-source Python-bibliotheek, chemap, geïntroduceerd om vingerafdrukken uniform te genereren en te vergelijken.

• Datasets: Er zijn meerdere grote datasets gebruikt, waaronder:
  • ms2structures (37.811 verbindingen, massa-spectrometrie data).
  • biostructures (718.067 verbindingen, een heterogene verzameling van natuurlijke producten en metabolieten).
  • Gespecificeerde datasets voor classificatie (25 en 120 subklassen) en bioactiviteit.
  • Een dataset van 5,4 miljoen verbindingenparen voor vergelijking met grafische methoden.
• Vingerafdrukken: Er is een breed scala aan 2D-vingerafdrukken getest, waaronder:
  • Dictionary-based (MACCS, PubChem, Klekota-Roth, Biosynfoni).
  • Circular (Morgan, FCFP).
  • Path-based (RDKit).
  • Topological-distance (Atom Pair).
  • Hybrid (MAP4), Torsion, LINGO en Avalon.
• Variabelen: Voor elke vingerafdruksoort werden verschillende varianten vergeleken:
  • Binair vs. Telling (Count): Aanwezigheid/afwezigheid versus het aantal voorkomende substructuren.
  • Gevouwen (Folded) vs. Ontvouwd (Unfolded): Vaste vectorlengte (bijv. 4096 bits) versus het behouden van alle unieke hashes (vaak met hoge dimensie).
  • Schaaltechnieken: Logaritmische schaling en TF-IDF (Term Frequency-Inverse Document Frequency).
• Evaluatiemetrics:
  1. Specificiteit: Frequentie van identieke vingerafdrukken voor structureel verschillende moleculen en massaverschillen.
  2. Scoreverdeling: Gedrag van gelijkeniscores en afhankelijkheid van molecuulgrootte.
  3. Ranking-overeenkomst: Overlap in top-k (bijv. top-10) dichtste buren.
  4. Referentie: Vergelijking met RascalMCES (Maximum Common Edge Subgraph), een grafische referentiemaatstaf, via Spearman-correlatie.
  5. Downstream taken: Bioactiviteitsvoorspelling (multilabel classificatie), chemische subklasse-voorspelling en chemische ruimtelijke visualisatie (UMAP).

Belangrijkste Bijdragen

1. De chemap bibliotheek: Een open-source tool die de berekening van gevouwen, ontvouwen en frequentie-gevouwen vingerafdrukken standaardiseert, inclusief geoptimaliseerde Tanimoto-berekeningen.
2. Multi-criteria Benchmark: Een nieuw evaluatiekader dat verder gaat dan alleen virtuele screening, met nadruk op specificiteit, structuurbehoud en schaalbaarheid op grote datasets.
3. Systematische Analyse van "Bit Collisions": Een gedetailleerde kwantificering van hoe het vouwen van vingerafdrukken (vooral bij hoge bezettingsgraden) leidt tot ernstige artefacten en valse gelijkenissen.

Resultaten

• Telling (Count) vs. Binair:
  • Telling-varianten (vaak met logaritmische schaling) presteren over het algemeen beter dan binaire varianten. Ze tonen een hogere specificiteit (minder dubbele vingerafdrukken voor verschillende moleculen) en een betere correlatie met de grafische RascalMCES-referentie.
  • Voor bioactiviteitsvoorspelling maakt het minder uit (aanwezigheid is vaak voldoende), maar voor chemische klasse-classificatie en ruimtelijke consistentie zijn tellingen superieur.
• Gevouwen vs. Ontvouwd (Bit Collisions):
  • Voor vingerafdrukken met een hoge bezettingsgraad (zoals RDKit en MAP4) veroorzaakt het vouwen naar 4096 bits ernstige bit-collities. Dit leidt tot een systematische overschatting van gelijkenis, vooral bij grotere moleculen, en een zwakke correlatie met de werkelijke structurele gelijkenis (RascalMCES).
  • Ontvouwen (unfolded) van deze vingerafdrukken elimineert deze artefacten en verbetert de prestaties drastisch. Voor RDKit en MAP4 is dit op heterogene datasets essentieel.
  • Voor vingerafdrukken met lage bezettingsgraad (zoals Morgan-3 of FCFP-3) zijn de verschillen tussen gevouwen en ontvouwen varianten minimaal.
• Ranking en Visualisatie:
  • Er is vaak een lage overeenkomst in de top-10 dichtste buren tussen verschillende vingerafdruktypen, wat aantoont dat ze verschillende concepten van "gelijkheid" meten.
  • MAP4 (ontvouwd) en RDKit (ontvouwd) tonen de beste consistentie in chemische ruimtes (subklasse-omgeving), gevolgd door Morgan/FCFP met grotere stralen (bijv. radius 9).
  • Dictionary-based vingerafdrukken (zoals MACCS) presteren vaak slechter op heterogene datasets vanwege hun beperkte substructuurset.
• Schaaltechnieken: Logaritmische schaling van tellingen is robuust en verbetert vaak de prestaties voor clustering en visualisatie, terwijl TF-IDF geen overtuigend voordeel bood in deze studie.

Significantie en Conclusie

De studie concludeert dat er geen enkele "beste" vingerafdruk bestaat, maar dat de keuze cruciaal is voor het resultaat. De auteurs pleiten voor een meer bewuste selectie van vingerafdrukken en instellingen:

1. Gebruik Telling-varianten: Standaardiseer op count- (en vaak log-count) varianten in plaats van binaire, tenzij er specifieke rekenbeperkingen zijn.
2. Vermijd Bit Collities: Voor vingerafdrukken met hoge bezettingsgraad (RDKit, MAP4) op grote, heterogene datasets is het gebruik van ontvouwen (unfolded) of zeer grote vectorgroottes noodzakelijk om valse gelijkenissen te voorkomen.
3. Heroverweeg Standaardinstellingen: De veelgebruikte Morgan-2/3 met straal 2 of 3 en radius 3 zijn niet altijd optimaal; grotere stralen (bijv. radius 9) en count-varianten presteren vaak beter.
4. Reproduceerbaarheid: De introductie van chemap stelt de gemeenschap in staat om deze complexe varianten consistent te testen en toekomstige algoritmen te benchmarken.

Kortom, de paper waarschuwt dat het blindelings vertrouwen op standaard, gevouwen, binaire vingerafdrukken kan leiden tot misleidende resultaten in chemische ruimtelijke analyses en machine learning-taken, en biedt een onderbouwde richtlijn voor het kiezen van robuuste representaties.