Count your bits: fingerprint benchmarking to assess broad chemical space representation

Questo studio presenta un benchmark sistematico che dimostra come le varianti di impronte digitali chimiche basate su conteggi e non compresse migliorino significativamente la specificità e l'allineamento strutturale rispetto alle configurazioni predefinite, introducendo inoltre la libreria Python open-source *chemap* per standardizzare tali calcoli.

L'essenziale

Il Titolo: "Contare i bit: l'arte di riconoscere le molecole"

Immagina di essere in una biblioteca enorme piena di libri (le molecole). Il tuo compito è trovare libri simili tra loro. Per farlo, non puoi leggere ogni singola pagina di ogni libro: ci vorrebbe un'eternità!

Invece, dai a ogni libro un codice a barre (questo è il "fingerprint" o impronta digitale chimica). Questo codice è una lista di luci accese e spente (bit) che descrive la struttura del libro. Se due libri hanno codici a barre molto simili, probabilmente sono simili anche nel contenuto.

Questo studio si chiede: Quale tipo di codice a barre funziona meglio? E soprattutto: come lo leggiamo per non fare errori?

---

1. Il Problema: Quando il codice a barre si "rompe"

Gli scienziati usano da anni un metodo per creare questi codici: prendono la struttura della molecola e la "piegano" in un foglio di dimensioni fisse (ad esempio, 4096 caselle). È come se dovessi mettere un libro gigante in una cassetta delle lettere piccola: devi piegarlo per farci stare dentro.

L'analogia della cassetta delle lettere:
Immagina di dover mettere un foglio con 10.000 parole in una cassetta da 100 caselle. Per farci stare tutto, devi sovrapporre le parole.

• Se due parole diverse finiscono nella stessa casella, si "scontrano" (questo si chiama collisione di bit).
• Risultato? Due libri completamente diversi finiscono con lo stesso codice a barre perché le loro differenze sono state schiacciate via dalla piegatura.

Gli autori di questo studio hanno scoperto che, specialmente per molecole grandi e complesse, questo "piegamento" crea molti errori. Due molecole che sembrano molto diverse finiscono per sembrare gemelle perché il loro codice a barre è stato "strozzato" troppo.

2. La Soluzione: Smetti di contare solo "Sì/No", conta "Quanti!"

Fino a poco tempo fa, la maggior parte dei codici a barre chimici funzionava come un interruttore della luce: acceso (la parte della molecola c'è) o spento (non c'è).

Gli scienziati di questo studio hanno detto: "Aspetta un attimo! Non basta sapere che c'è un pezzo di legno in una casa. Dobbiamo sapere quanti pezzi di legno ci sono!"

• Versione Binaria (Vecchia): "C'è una finestra?" -> Sì.
• Versione di Conteggio (Nuova): "Quante finestre ci sono?" -> 1, 2, 5, o 10.

L'analogia della ricetta:
Se due torte hanno entrambe "uova", sono simili? Sì, ma solo un po'.
Se una torta ha 2 uova e l'altra ne ha 10, sono molto diverse!
Usare il conteggio (invece del semplice sì/no) permette di distinguere meglio le molecole, proprio come distinguere una torta piccola da una gigante.

3. Le Scoperte Chiave (Cosa hanno imparato)

Ecco i tre punti fondamentali che hanno scoperto, spiegati con metafore:

• A. Non tutte le "casse" sono uguali (Il problema della piegatura):
  Per alcune molecole (come quelle usate nei farmaci classici), la "cassetta piccola" (4096 bit) va bene. Ma per molecole grandi e strane (come quelle che si trovano in natura o nei metaboliti), la cassetta è troppo piccola e crea confusione.

  • La soluzione: Usare una "cassetta infinita" (chiamata unfolded o "spiegata"). Invece di forzare la molecola a stare in uno spazio piccolo, si lascia che occupi tutto lo spazio necessario. È come passare da una cassetta delle lettere a un container: niente più collisioni, tutto si vede chiaramente.

• B. I contatori sono migliori degli interruttori:
  Quasi sempre, contare quante volte appare un pezzo di molecola (versione count) funziona meglio che dire solo se c'è o no (versione binary). È come dire: "Ho visto un cane" vs "Ho visto 5 cani". Il secondo ti dà un'idea molto più precisa della scena.

• C. Non esiste un "codice perfetto" per tutto:
  Se cerchi un libro di cucina, un codice a barre fatto per i libri di storia non funziona bene. Allo stesso modo, non esiste un tipo di impronta digitale chimica che sia perfetta per ogni situazione.

  • Se vuoi trovare farmaci simili, usa un tipo di codice.
  • Se vuoi visualizzare la diversità di un intero ecosistema chimico, ne serve un altro (spesso quello che non viene piegato e che conta le cose).

4. Il "Cucciolo" che hanno creato: Chemap

Per aiutare tutti a fare questi test senza impazzire, gli autori hanno creato un nuovo strumento software gratuito chiamato chemap.
Immaginalo come una scatola degli attrezzi universale per chimici. Prima, per testare diversi codici a barre, dovevi usare dieci programmi diversi e imparare dieci linguaggi diversi. Ora, con chemap, puoi provare tutte le varianti (piegate, non piegate, che contano, che non contano) con un solo clic, per vedere quale funziona meglio per il tuo lavoro specifico.

In sintesi

Questo studio ci dice che la chimica è complessa e i nostri vecchi metodi per confrontare le molecole erano un po' "rozzi" (come cercare di descrivere un elefante usando solo un foglio di quaderno).

I consigli pratici per il futuro:

1. Non limitarti al "Sì/No": Conta le cose (i pezzi della molecola).
2. Non schiacciare troppo: Se la molecola è grande, non piegarla in un codice troppo piccolo, altrimenti perdi informazioni importanti.
3. Scegli lo strumento giusto: Non usare lo stesso righello per misurare un atomo e un grattacielo.

Grazie a questo lavoro, gli scienziati potranno trovare farmaci più velocemente, capire meglio la natura e fare meno errori quando cercano molecole simili nel mare immenso della chimica.

Sommario tecnico

Titolo e Contesto

Titolo: Count your bits: fingerprint benchmarking to assess broad chemical space representation (Conta i tuoi bit: benchmarking delle impronte digitali per valutare la rappresentazione dello spazio chimico ampio).
Autori: Florian Huber e Julian Pollmann (Centro per la Digitalizzazione e la Digitalità, Università di Scienze Applicate di Düsseldorf).
Obiettivo: Valutare sistematicamente diverse tipologie di impronte digitali molecolari (fingerprints) e le loro varianti per determinare quali offrano la migliore rappresentazione dello spazio chimico su larga scala, andando oltre i tradizionali test di recupero per lo screening virtuale.

1. Il Problema

La quantificazione della similarità molecolare è fondamentale in chemioinformatica per applicazioni come lo screening virtuale, la ricerca del vicino più prossimo, la visualizzazione dello spazio chimico e la valutazione di modelli di machine learning. Tuttavia, esistono diverse criticità:

• Dipendenza dai parametri: Il comportamento pratico delle misure di similarità (spesso basate sul coefficiente Tanimoto) dipende fortemente dal tipo di fingerprint, dalla rappresentazione (binaria vs. conteggio) e dal fatto che siano "piegate" (folded) in vettori di lunghezza fissa.
• Collisioni di bit: La pratica comune di ridurre le impronte digitali a vettori di lunghezza fissa (es. 1024 o 4096 bit) tramite hashing introduce collisioni di bit, che possono distorcere gravemente le similarità, specialmente per fingerprint ad alta occupazione o su dataset eterogenei.
• Mancanza di benchmarking olistico: La maggior parte degli studi si concentra solo sul recupero di composti attivi (screening virtuale), trascurando altri aspetti cruciali come la specificità, la dipendenza dalle dimensioni del composto e la coerenza strutturale in spazi chimici ampi e diversificati.
• Scelta arbitraria: La selezione del fingerprint e dei parametri è spesso arbitraria, senza una comprensione sistematica di come le diverse rappresentazioni influenzino i risultati su dataset eterogenei (es. prodotti naturali, metaboliti).

2. Metodologia

Gli autori hanno sviluppato un framework di benchmarking multi-criterio e una nuova libreria Python open-source chiamata chemap.

• Dataset: Sono stati utilizzati diversi dataset su larga scala, tra cui:
  • ms2structures (37.811 composti, dati spettrometrici).
  • biostructures (718.067 composti, dataset eterogeneo di prodotti naturali/metaboliti).
  • Dataset bilanciati per classi chimiche (25 e 120 sottoclassi).
  • Coppie di composti per il confronto con metriche basate su grafi (RascalMCES).
• Fingerprint Testati: Sono state valutate diverse categorie:
  • Basati su dizionario (MACCS, PubChem, Klekota-Roth, Biosynfoni).
  • Circolari (Morgan, FCFP).
  • Basati su percorsi (RDKit).
  • Basati su distanza topologica (Atom Pair).
  • Ibridi (MAP4), Torsione, LINGO, Avalon.
• Varianti Valutate:
  • Binario vs. Conteggio (Count): Presenza/assenza vs. frequenza di occorrenza.
  • Piegato (Folded) vs. Svolto (Unfolded): Vettori di lunghezza fissa (con collisioni) vs. vettori che conservano tutti i bit originali (hash a 32 bit).
  • Frequenza-piegato (Frequency-folded): Conservazione solo dei bit più frequenti per evitare collisioni mantenendo una dimensione fissa.
  • Scaling: Logaritmo dei conteggi e scaling TF-IDF.
• Metriche di Valutazione:
  1. Specificità: Tasso di duplicati (composti diversi con fingerprint identici) e discrepanze di massa associate.
  2. Distribuzione dei punteggi: Analisi della dipendenza dalle dimensioni del composto (massa molecolare).
  3. Accordo di ranking: Sovrapposizione dei top-k vicini più simili.
  4. Correlazione con riferimento: Confronto con i punteggi RascalMCES (Maximum Common Edge Subgraph) come riferimento strutturale.
  5. Task predittivi: Classificazione di bioattività e sottoclassi chimiche tramite reti neurali semplici.
  6. Visualizzazione: Coerenza delle sottoclassi negli spazi 2D generati da UMAP.

3. Contributi Chiave

1. Libreria chemap: Introduzione di una libreria Python open-source che unifica il calcolo di fingerprint piegati, svolti e basati sulla frequenza, ottimizzando i calcoli di similarità.
2. Framework di Benchmarking Olistico: Spostamento dal focus esclusivo sullo screening virtuale a una valutazione multi-dimensionale che include specificità, comportamento dei punteggi e coerenza strutturale.
3. Analisi delle Collisioni di Bit: Dimostrazione quantitativa di come le collisioni indotte dal folding distorcano le similarità, specialmente per fingerprint ad alta occupazione come RDKit e MAP4 su dataset eterogenei.
4. Raccomandazioni sui Conteggi: Evidenza che le varianti basate sul conteggio (spesso con scaling logaritmico) superano sistematicamente le varianti binarie in termini di specificità e allineamento strutturale.

4. Risultati Principali

• Conteggio vs. Binario: Le varianti count (e spesso log-count) migliorano significativamente la specificità, riducono i duplicati di fingerprint e mostrano una migliore coerenza con i riferimenti basati su grafi (RascalMCES). Le varianti binarie tendono a perdere informazioni critiche.
• Folding e Collisioni:
  • Per fingerprint ad alta occupazione (come RDKit e MAP4), il folding su vettori di 4096 bit causa gravi collisioni di bit, portando a sovrastime delle similarità e a una forte dipendenza dalle dimensioni del composto (i composti più grandi appaiono più simili di quanto non siano).
  • L'uso di varianti unfolded (svolte) elimina queste distorsioni, migliorando drasticamente la correlazione con RascalMCES (es. per MAP4, la correlazione passa da quasi 0 a ~0.59).
  • Per fingerprint a bassa occupazione (es. Morgan-3, FCFP-3), le varianti folded e unfolded mostrano differenze minime.
• Dipendenza dalla Dimensione: I fingerprint folded mostrano una forte dipendenza dalla massa molecolare (i composti grandi ottengono punteggi di similarità artificialmente alti). Le varianti count e unfolded riducono questo effetto.
• Task Predittivi:
  • Per la predizione di bioattività, le varianti binarie e count hanno prestazioni simili, suggerendo che la semplice presenza di sottostruture è sufficiente.
  • Per la predizione di classi chimiche e la coerenza delle sottoclassi (neighborhood consistency), le varianti count (spesso log-count) e unfolded (o frequency-folded per Morgan/FCFP) offrono prestazioni superiori.
  • I fingerprint RDKit e MAP4 (quando usati in modalità unfolded) e Morgan/FCFP (con raggi più grandi, es. raggio 9) hanno mostrato le prestazioni migliori in termini di coerenza dello spazio chimico.
• Fingerprint Basati su Dizionario: MACCS, PubChem e Klekota-Roth hanno mostrato una specificità inferiore e una minore capacità di discriminare composti strutturalmente diversi rispetto ai fingerprint generati dinamicamente (come Morgan o RDKit), specialmente su dataset eterogenei.

5. Significato e Implicazioni

Il paper fornisce linee guida cruciali per la scelta dei fingerprint in chemioinformatica moderna:

• Rivalutazione delle Default: Le impostazioni predefinite (binario, folded, raggi piccoli) non sono ottimali per spazi chimici ampi. Si raccomanda l'uso di varianti count e, per fingerprint ad alta occupazione, l'uso di varianti unfolded o vettori di dimensioni molto maggiori.
• Impatto sui Modelli ML: La scelta del fingerprint influenza drasticamente i risultati dei modelli di machine learning e le visualizzazioni dello spazio chimico (es. UMAP). L'uso di fingerprint distorti da collisioni può portare a conclusioni errate sulla similarità strutturale.
• Scalabilità: Sebbene i fingerprint unfolded siano computazionalmente più costosi per alcune tipologie (es. RDKit su composti molto grandi), per molti casi (es. Morgan) sono addirittura più veloci e privi di errori di collisione.
• Strumento per la Comunità: La libreria chemap permette alla comunità di riprodurre questi benchmark e sviluppare nuovi algoritmi con standardizzazione e trasparenza.

In sintesi, gli autori concludono che non esiste un "miglior" fingerprint universale, ma che per una rappresentazione robusta dello spazio chimico eterogeneo, le varianti count, log-count e unfolded (specialmente per RDKit e MAP4) dovrebbero diventare la nuova norma, sostituendo le impostazioni binarie e piegate tradizionali.