Critical Assessment of ML models for ADMET Prediction in TDC leaderboards

Questo studio offre una valutazione critica delle procedure di benchmarking sui leaderboard ADMET di Therapeutics Data Commons, rivelando che la maggior parte dei modelli di punta presenta problemi di riproducibilità, fughe di dati e sovradattamento, e sottolineando l'urgente necessità di standard più rigorosi per garantire l'affidabilità dei risultati.

L'essenziale

Immagina il mondo della scoperta di farmaci come un enorme torneo di cucina.
L'obiettivo è trovare la ricetta perfetta (un nuovo farmaco) che non solo sia deliziosa (efficace contro una malattia), ma anche sicura da mangiare (non tossica).

Per anni, gli chef (i ricercatori) hanno usato una piattaforma pubblica chiamata TDC per confrontare le loro ricette. Su questa piattaforma, c'è una classifica (Leaderboard) che premia i migliori chef basandosi su quanto bene le loro ricette passano una serie di "assaggi" ufficiali (i dati di test).

Il problema? Questo torneo ha dei buchi enormi nella sicurezza.

Cosa hanno scoperto gli autori?

Un gruppo di esperti (gli autori di questo studio) ha deciso di fare un'ispezione a sorpresa, come se fossero ispettori sanitari che controllano le cucine dei campioni della classifica. Hanno preso i 3 migliori chef per ogni categoria di 22 diverse sfide e li hanno messi alla prova.

Ecco cosa è emerso, spiegato con metafore:

1. Il "Fantasma" delle Ricette (Problemi di Riproducibilità)

Molti chef in cima alla classifica hanno inviato le loro ricette, ma quando gli ispettori hanno provato a cucinarle, non funzionavano.

• L'analogia: È come se uno chef vincesse una gara con un piatto incredibile, ma quando provi a seguire la sua ricetta scritta, ti manca un ingrediente fondamentale o le istruzioni sono incomprensibili.
• Il risultato: Molti dei modelli "migliori" non potevano nemmeno essere eseguiti dai computer. Erano come ricette scritte su un foglio di carta strappato o con ingredienti che non esistono più. Solo 3 chef su tutti quelli controllati hanno superato il test: avevano ricette chiare, funzionanti e riproducibili.

2. Il Trucco del "Copiare dal Foglio delle Risposte" (Data Leakage)

Alcuni chef, invece di imparare a cucinare davvero, avevano copiato le risposte dal foglio delle risposte prima ancora di iniziare la gara.

• L'analogia: Immagina che il foglio delle risposte (i dati di test) sia lasciato in bella vista sulla scrivania. Alcuni chef, invece di studiare gli ingredienti, hanno guardato le risposte e hanno "adattato" la loro ricetta per farla combaciare perfettamente con quelle risposte.
• Il risultato: Hanno ottenuto punteggi perfetti, ma non perché sono bravi chef, ma perché hanno barato. Lo studio ha scoperto che alcuni modelli famosi (come MiniMol) avevano "visto" le risposte durante la loro preparazione, rendendo i loro punteggi falsi. Altri (come GradientBoost) avevano mescolato per sbaglio le risposte nel loro libro di studio.

3. L'Esperimento del "Barone" (Overfitting)

Per dimostrare quanto sia facile ingannare il sistema, gli autori hanno creato un loro modello "onesto" e poi ne hanno creato una versione "disonesta".

• L'analogia: Hanno preso un cuoco onesto che studia davvero. Poi, hanno preso lo stesso cuoco e gli hanno detto: "Ehi, guarda le risposte della gara prima di cucinare. Adatta la ricetta solo per quelle".
• Il risultato: Il cuoco "disonesto" è saltato immediatamente in cima alla classifica, superando molti chef famosi. Questo dimostra che se guardi le risposte, puoi arrivare primo anche se non sei il migliore. La classifica attuale premia chi sa "barare" meglio (o chi ci prova), non necessariamente chi ha la ricetta più robusta.

4. La Verità Nascosta

Non tutto è negativo. Hanno scoperto che alcuni chef (i modelli MapLight e CaliciBoost) sono davvero bravi. Le loro ricette funzionano, sono riproducibili e i loro punteggi sono veri.
Tuttavia, il sistema attuale è così fragile che non possiamo fidarci ciecamente della classifica. Se un modello è primo oggi, potrebbe essere primo solo perché ha studiato le risposte, non perché è il migliore in assoluto.

La Soluzione Proposta: Un Torneo Più Giusto

Gli autori suggeriscono di cambiare le regole del gioco per il futuro:

1. Niente Fogli delle Risposte Aperti: Le domande di test devono essere segrete (come in un esame scritto vero e proprio). Nessuno deve poterle vedere prima di consegnare il compito.
2. Versioni Bloccate: I dati devono essere come una foto istantanea congelata nel tempo. Se cambiano gli ingredienti, deve esserci una nuova versione numerata, così tutti sanno esattamente cosa è stato testato.
3. Invia la Cucina, non il Piatto: Invece di inviare solo il punteggio, gli chef devono inviare il loro intero "ambiente di cucina" (il codice e il software) in un contenitore standardizzato, così chiunque può ricucinare il piatto e verificare che funzioni.

In Sintesi

Questo studio è un avvertimento necessario. Ci dice che la classifica attuale dei modelli per i farmaci è un po' come un torneo di calcio dove alcuni giocatori hanno visto le telecamere della difesa avversaria prima della partita.
Alcuni sono davvero forti, ma molti stanno solo "indovinando" le risposte. Per trovare i veri farmaci del futuro, dobbiamo smettere di guardare solo la classifica e iniziare a controllare se le ricette sono davvero solide e se il gioco è pulito.

Sommario tecnico

Titolo: Valutazione Critica dei Modelli ML per la Predizione ADMET nelle Classifiche TDC

1. Il Problema

Lo sviluppo di nuovi farmaci è un processo costoso e rischioso, in cui il fallimento è spesso dovuto a proprietà farmacocinetiche e tossicologiche sfavorevoli (ADMET: Assorbimento, Distribuzione, Metabolismo, Escrezione e Tossicità). Per accelerare la scoperta di farmaci, la comunità scientifica si affida sempre più a modelli di Machine Learning (ML) e a piattaforme di benchmarking come il Therapeutics Data Commons (TDC), considerato lo "standard aureo" per il confronto delle prestazioni.

Tuttavia, il paper evidenzia gravi carenze nell'attuale approccio di benchmarking:

• Rischio di Overfitting: La disponibilità pubblica e statica dei set di test permette ai ricercatori di ottimizzare involontariamente o deliberatamente i modelli sui dati di test, inflazionando le metriche senza garantire robustezza su dati reali.
• Mancanza di Riproducibilità: Molti modelli leader nelle classifiche non sono riproducibili a causa di codice non disponibile, ambienti di esecuzione non configurabili o istruzioni di installazione incomplete.
• Data Leakage: Esiste il rischio che informazioni dal set di test "trapolino" nel set di training (es. attraverso pre-addestramento su dataset che contengono molecole del test o split dei dati errati), portando a metriche irrealisticamente alte.
• Mancanza di Versioning: L'assenza di versioni fisse dei dataset rende impossibile la riproduzione esatta dei risultati nel tempo.

2. Metodologia

Gli autori hanno condotto una valutazione critica e sistematica dei 22 endpoint ADMET presenti nelle classifiche TDC. La metodologia si è articolata in diverse fasi:

• Selezione dei Modelli: Sono stati analizzati i primi 3 modelli per ogni endpoint, identificando un set finale di 10 architetture rappresentative (tra cui MiniMol, MapLight, XGBoost, GradientBoost, ADMETrix, ZairaChem, ecc.).
• Protocollo di Valutazione Unificato: Ogni modello è stato sottoposto a un controllo a più stadi:
  1. Verifica di Riproducibilità: Tentativo di esecuzione del codice in un ambiente locale controllato.
  2. Valutazione della Data Leakage: Calcolo delle similarità Tanimoto (tramite fingerprint Morgan) tra i set di training e test, e verifica della pulizia dei dataset di pre-addestramento (es. per MiniMol).
  3. Verifica delle Procedure di Ottimizzazione: Analisi delle pubblicazioni e dei repository per accertare che l'ottimizzazione degli iperparametri non fosse stata effettuata sui set di test pubblici.
  4. Rivalutazione delle Prestazioni: Esecuzione dei modelli che hanno superato i controlli precedenti per confrontare le metriche riportate con quelle ottenute in riproduzione.
• Modelli "Onesti" vs. "Overfittati": Gli autori hanno sviluppato modelli interni basati su LightGBM e Mol2Vec. Hanno creato due varianti:
  • Onesta: Ottimizzata rigorosamente solo sui dati di training/validazione (cross-validation).
  • Deliberatamente Overfittata: Ottimizzata utilizzando direttamente i dati di test pubblici durante la selezione delle feature e la ricerca degli iperparametri, per quantificare quanto le classifiche siano sensibili al "barare" sui dati di test.

3. Contributi Chiave

• Audit Sistematico: È il primo studio che applica un protocollo rigoroso di verifica (codice, leakage, ottimizzazione) su un ampio campione di modelli leader nelle classifiche ADMET.
• Dimostrazione della Fragilità delle Classifiche: L'analisi dimostra che le posizioni nelle classifiche pubbliche sono altamente sensibili a pratiche scorrette (anche involontarie) come l'overfitting sul test set.
• Identificazione di Flussi di Dati Specifici: Hanno scoperto leakage specifici in modelli di alto profilo (es. MiniMol a causa di una filtrazione insufficiente degli stereoisomeri e tautomeri; GradientBoost e XGBoost a causa di un errore di splitting dei dati durante l'ottimizzazione).
• Proposta di Nuovi Standard: Definizione di requisiti essenziali per la prossima generazione di benchmark (test set nascosti, versioning rigoroso dei dataset, invio di container di inferenza standardizzati).

4. Risultati

• Bassa Riproducibilità: Su un campione di modelli leader, solo 3 modelli (CaliciBoost, MapLight, MapLight+GNN) hanno superato tutti i controlli di riproducibilità e robustezza.
  • Molti modelli (es. CFA, ADMETrix, SimGCN, ZairaChem) non sono stati eseguibili a causa di errori di dipendenze, link rotti o istruzioni di installazione incomplete.
• Data Leakage Rilevato:
  • MiniMol: Nonostante le dichiarazioni degli autori, è stato trovato un leakage significativo dovuto alla filtrazione basata solo su SMILES canonici, che non rimuoveva stereoisomeri o tautomeri presenti nel set di test.
  • GradientBoost e XGBoost: Un errore di codice ha causato la sovrapposizione tra set di validazione e set di test durante l'ottimizzazione, gonfiando artificialmente le metriche. Dopo la correzione, le loro posizioni sono crollate (dal 1° al 3° posto e dal 2° all'8° posto rispettivamente).
• Rivalutazione dei Modelli Riproducibili: I modelli MapLight e MapLight+GNN hanno mostrato prestazioni generalmente riproducibili, con piccole variazioni nelle metriche attribuibili a fattori tecnici (versioni software, hardware). Tuttavia, hanno mostrato discrepanze significative su alcuni endpoint (es. bioavailability_ma), suggerendo che il dataset sottostante potrebbe essere cambiato senza versioning.
• Impatto dell'Overfitting:
  • I modelli interni "onesti" hanno raggiunto il top-3 solo 2 volte su 22 endpoint.
  • I modelli interni "deliberatamente overfittati" sono saliti al top-3 in 10 casi su 22 (circa il 45%), dimostrando che l'adattamento al test set può trasformare modelli mediocri in leader della classifica.
  • Nonostante ciò, i modelli leader attuali (MapLight, MiniMol) appaiono nel top-3 molto più frequentemente (13-17 volte su 22) rispetto ai modelli overfittati degli autori, suggerendo che la loro superiorità deriva probabilmente da architetture e descrittori migliori, non solo dall'overfitting.

5. Significato e Implicazioni

Lo studio conclude che le classifiche TDC attuali, sebbene utili come punto di riferimento, non dovrebbero essere considerate prove dirette della capacità predittiva di un modello in contesti reali.

• Crisi di Fiducia: L'assenza di versioning dei dataset e la facilità di overfitting minano la validità scientifica dei risultati pubblicati.
• Necessità di Cambiamento: Per il futuro dei benchmark ADMET, gli autori raccomandano:
  1. L'uso di set di test nascosti (non pubblici) per evitare l'adattamento.
  2. Un versioning rigoroso dei dataset (con checksum) per garantire la riproducibilità esatta.
  3. La sottomissione di modelli containerizzati (con ambiente di inferenza standardizzato) invece che solo di risultati numerici, per automatizzare il controllo di qualità.

In sintesi, il paper avverte che senza un cambiamento radicale nelle pratiche di benchmarking, il progresso nella scoperta di farmaci basata sull'IA rischia di essere guidato da metriche inflazionate piuttosto che da reali innovazioni metodologiche.