Benchmarking Artificial Intelligence Models for Predicting Nuclear Receptor Activity from Tox21 Assays

Questo studio presenta un benchmarking completo di modelli di machine learning e deep learning per prevedere l'attività dei recettori nucleari utilizzando i dati Tox21, evidenziando come le prestazioni dipendano dallo squilibrio delle classi e identificando che circa il 40% degli errori di classificazione deriva dalla mancanza di analoghi strutturali nel set di addestramento.

L'essenziale

Immaginate di essere dei detective chimici con un compito enorme: devono scoprire quali tra migliaia di sostanze chimiche (come quelle che troviamo nei cosmetici, nei pesticidi o nei materiali da costruzione) potrebbero "ingannare" il nostro corpo, agendo come ormoni falsi e causando problemi alla salute.

Questi "falsi ormoni" prendono di mira dei recettori nucleari, che sono come dei lucchetti presenti sulle nostre cellule. Quando una sostanza chimica sbagliata apre il lucchetto, può far scattare catene di eventi dannosi.

Il problema è che ci sono così tante sostanze chimiche da controllare che non possiamo testarle tutte sugli animali (sarebbe troppo costoso, lento e non etico). Quindi, gli scienziati hanno bisogno di un supercomputer che faccia da "oracolo" e ci dica quali sostanze sono pericolose.

Ecco cosa ha fatto questo studio, spiegato in modo semplice:

1. La Grande Biblioteca dei Segreti (I Dati)

Gli scienziati hanno preso in prestito una gigantesca biblioteca di dati chiamata Tox21. È come un archivio enorme dove sono registrati i risultati di milioni di test su quasi 10.000 sostanze chimiche diverse. Hanno selezionato solo le pagine che parlano di quei "lucchetti" specifici (i recettori nucleari) che ci interessano.

2. La Gara tra gli Studenti (I Modelli AI)

Per capire quale "oracolo" digitale funziona meglio, hanno messo in gara diversi tipi di intelligenza artificiale, come se fossero studenti che devono imparare a riconoscere i cattivi:

• I Classici (Machine Learning): Sono come studenti che usano schede tecniche molto dettagliate. Analizzano la "forma" della molecola, il suo peso, la sua carica elettrica, ecc. (questi sono i descrittori).
• I Moderni (Deep Learning): Sono come studenti che guardano la molecola come un disegno complesso, cercando di capire come gli atomi sono collegati tra loro (come un grafo).
• I Geni Linguisti (Transformer): Sono come studenti che leggono la formula chimica come se fosse una frase in una lingua straniera (una stringa di testo chiamata SMILES). Usano modelli simili a quelli che fanno parlare gli assistenti virtuali (come ChatGPT) per capire il "significato" della molecola.

3. La Sfida della Scarsità (Il Problema degli Squilibri)

C'era un grosso ostacolo: in queste biblioteche di dati, le sostanze "cattive" (quelle attive) sono pochissime rispetto a quelle "innocue".

• Immaginate di cercare un ago in un pagliaio. Se il pagliaio è enorme e l'ago è minuscolo, è difficile per l'AI imparare a riconoscerlo.
• La scoperta: Hanno scoperto che quando le sostanze cattive sono un po' più numerose (più del 10%), i metodi classici (quelli che usano le schede tecniche) vincono facilmente. Sono come detective esperti che sanno leggere i dettagli minuti.
• Quando le sostanze cattive sono molto rare (tra il 5% e il 10%), i metodi moderni (Deep Learning) fanno un lavoro migliore, perché sono più bravi a trovare schemi nascosti anche con pochi esempi.
• Quando sono davvero rarissime (meno del 5%), nessuno dei metodi funziona bene: è come cercare un fantasma in una nebbia fitta.

4. Il Mistero degli "Isolati" (Perché alcuni falliscono)

Hanno notato una cosa curiosa: circa il 40% delle sostanze cattive che l'AI ha sbagliato a classificare erano come isole deserte in un oceano di sostanze.

• L'analogia: Immaginate di dover insegnare a un bambino a riconoscere una "mela rossa". Se gli mostrate solo mele rosse che sono tutte uguali, impara bene. Ma se gli mostrate una mela rossa che ha una forma strana e non assomiglia a nessuna delle altre che ha visto, il bambino si confonderà.
• Queste sostanze "isolate" non avevano parenti stretti (simili) nel database di addestramento. L'AI non aveva nulla con cui confrontarle, quindi ha sbagliato.

5. La Prova sul Campo (Validazione Esterna)

Alla fine, hanno preso i migliori "detective" creati e li hanno mandati a fare un esame pratico su dati reali che non avevano mai visto prima (dati su ormoni maschili e femminili).

• Risultato: Hanno funzionato molto bene per alcuni tipi di ormoni (come quelli maschili), dimostrando che il computer può davvero aiutare a prevedere i rischi.
• Il limite: Per alcuni casi complessi (come gli antagonisti maschili nel corpo vivo), l'AI ha fatto più fatica. È come se il computer avesse studiato solo la teoria in laboratorio, ma non avesse ancora capito come il corpo umano elabora le sostanze in modo complesso (metabolismo, ecc.).

In Sintesi: Cosa ci insegna?

Questo studio è come una mappa del tesoro per chi vuole creare software per la sicurezza chimica. Ci dice che:

1. Non esiste un "super-eroe" unico: la scelta del modello dipende da quanti dati "cattivi" abbiamo.
2. I dati devono essere ricchi di dettagli (le schede tecniche aiutano molto).
3. Se una sostanza è troppo strana e unica, l'AI fatica a prevedere il suo comportamento.

L'obiettivo finale? Creare strumenti digitali affidabili per proteggere il nostro ambiente e la nostra salute, riducendo la necessità di test sugli animali e accelerando la scoperta di sostanze sicure. È un passo avanti verso un futuro in cui la chimica è più sicura e più intelligente.

Sommario tecnico

Titolo: Benchmarking di Modelli di Intelligenza Artificiale per la Predizione dell'Attività dei Recettori Nucleari dai Saggi Tox21

1. Il Problema

I recettori nucleari sono fattori di trascrizione attivati da ligandi fondamentali per la regolazione di processi fisiologici come sviluppo, riproduzione e metabolismo. Sono bersagli primari degli interferenti endocrini (EDC), sostanze chimiche ambientali che possono causare gravi tossicità. La valutazione tossicologica tradizionale basata su animali è costosa, lenta e solleva preoccupazioni etiche. Sebbene esistano iniziative di screening ad alto rendimento (HTS) come il programma Tox21, che ha generato dati bioattivi su quasi 10.000 composti, l'uso di questi dati per lo sviluppo di modelli predittivi in silico presenta diverse sfide:

• Limitazioni dei dataset esistenti: Molti studi precedenti si basano su dataset limitati (es. la sfida Tox21) che non distinguono tra attività agonista e antagonista e coprono un numero ridotto di recettori.
• Squilibrio delle classi: I dati di bioattività sono fortemente sbilanciati, con una proporzione molto bassa di composti "attivi" rispetto a quelli "inattivi", il che rende difficile l'addestramento di modelli accurati.
• Mancanza di benchmarking sistematico: C'è una carenza di studi che confrontino sistematicamente diverse architetture di AI (Machine Learning, Deep Learning, Transformer) e diverse rappresentazioni chimiche (descrittori, fingerprint, grafi) su un ampio spettro di saggi nucleari specifici.

2. Metodologia

Lo studio ha condotto un benchmarking estensivo su 43 dataset curati, derivanti da 30 saggi Tox21 associati a 18 recettori nucleari unici, estratti dal database ToxCast invitrodb v4.3.

• Curatela dei Dati:

  • Sono stati selezionati 8.430 composti chimici validi dopo la rimozione di sali, strutture non valide e duplicati.
  • Sono stati calcolati fingerprint chimici (MACCS, Morgan/ECFP4, FCFP4, Layered) e descrittori molecolari (2D e 3D) utilizzando strumenti come RDKit, PaDEL e Open Babel.
  • L'attività è stata binarizzata (attivo/inattivo) basandosi su criteri di consenso (hit-call $\ge$ 0.9), escludendo i risultati inconcludenti.

• Modelli Valutati:
  Sono stati testati 54 modelli per ogni dataset, combinando diverse architetture con diverse rappresentazioni dei dati:

  1. Machine Learning (ML) Tradizionale: 7 algoritmi (Logistic Regression, Decision Tree, Random Forest, Gradient Boosting, XGBoost, SVM, MLP) combinati con descrittori, fingerprint o entrambi.
  2. Deep Learning (DL): Una rete neurale basata su grafi, DGCL (Dual-graph neural networks contrastive learning), che integra rappresentazioni di grafo (SMILES) con fingerprint o descrittori.
  3. Modelli basati su Transformer: Tre approcci che trattano le stringhe SMILES come sequenze: ChemBERTa, MoLFORMER e MolRAG (che integra retrieval-augmented generation e ragionamento a catena di pensiero con Llama 3).

• Preprocessing e Valutazione:

  • Gestione dello sbilanciamento: Utilizzo di SMOTE (Synthetic Minority Over-sampling Technique) e pesatura delle classi.
  • Split dei dati: Divisione stratificata (80-10-10% o 80-20%) ripetuta con tre diversi semi casuali per garantire stabilità.
  • Metriche: La metrica principale è stata l'F1-score (più robusta dell'accuratezza per dati sbilanciati), affiancata da AUC-ROC, AUC-PR e MCC.
  • Analisi del Dominio di Applicabilità (DA): Utilizzo di un indice basato sui k-nearest neighbor per filtrare le previsioni non affidabili.

3. Risultati Chiave

• Impatto dello Sbilanciamento delle Classi:

  • >10% di composti attivi: I modelli ML basati su alberi decisionali (Random Forest e XGBoost), addestrati su descrittori (o combinazione descrittori+fingerprint), hanno mostrato le prestazioni migliori e più consistenti.
  • 5-10% di composti attivi: I modelli di Deep Learning (in particolare DGCL con descrittori) hanno dimostrato una maggiore robustezza e prestazioni superiori rispetto agli altri.
  • <5% di composti attivi: Non è emerso un trend chiaro; le prestazioni sono state altamente dipendenti dalle caratteristiche specifiche del singolo dataset, con alta variabilità.

• Analisi dello Spazio Chimico:

  • Circa il 40% dei composti attivi classificati erroneamente (falsi negativi) occupava nodi isolati nella rete di similarità chimica (CSN). Questo indica che questi composti non avevano analoghi strutturali vicini nel set di addestramento, privando il modello del contesto strutturale necessario per generalizzare.

• Validazione Esterna:

  • I modelli sono stati validati su dati esterni in vitro e in vivo per i recettori Androgeno (AR) ed Estrogeno (ER$\alpha$, ER$\beta$).
  • Risultati: Buona concordanza per gli agonisti AR ed ER$\alpha$ (F1-score medio ~0.73-0.74). Prestazioni inferiori per gli antagonisti AR in vivo e gli agonisti ER$\beta$, attribuite alla complessità dei processi biologici in vivo (metabolismo, cinetica) non catturati dai dati in vitro di addestramento.

• Confronto con la Letteratura:

  • Il confronto con 49 studi precedenti ha mostrato che i modelli sviluppati in questo studio sono comparabili o superiori in termini di F1-score, grazie all'uso di dataset più aggiornati (v4.3), una gamma più ampia di architetture e la distinzione tra agonismo/antagonismo.

4. Contributi Principali

1. Curatela Estensiva: Creazione di un dataset curato di 43 sottogruppi di bioattività per 18 recettori nucleari, distinguendo tra agonismo e antagonismo, superando le limitazioni dei dataset precedenti.
2. Benchmarking Olistico: Primo studio che confronta sistematicamente ML, DL e Transformer su un ampio spettro di rappresentazioni chimiche per i recettori nucleari Tox21.
3. Analisi dello Spazio Chimico: Identificazione del fatto che la posizione topologica dei composti attivi (nodi isolati vs cluster) è un fattore critico per il fallimento della classificazione, indipendentemente dallo sbilanciamento delle classi.
4. Linee Guida per la Modellazione: Dimostrazione che la scelta del modello ottimale dipende criticamente dalla proporzione di composti attivi nel dataset (ML per dati meno sbilanciati, DL per sbilanciamento moderato).

5. Significato e Implicazioni

Questo studio fornisce una guida fondamentale per lo sviluppo di Nuove Metodologie di Approccio (NAMs) nella tossicologia computazionale.

• Affidabilità: Dimostra che è possibile costruire modelli in silico affidabili per la previsione dell'attività dei recettori nucleari, supportando la riduzione dei test sugli animali.
• Ottimizzazione delle Risorse: Fornisce indicazioni chiare su quali architetture e feature utilizzare in base alla disponibilità e alla distribuzione dei dati, evitando tentativi inefficaci.
• Interpretabilità: L'analisi dei nodi isolati suggerisce che per migliorare le previsioni su composti strutturalmente unici, sarà necessario espandere i dataset di addestramento o sviluppare strategie di apprendimento specifiche per i "casi rari".
• Futuro: Sebbene i modelli basati su Transformer non abbiano superato i modelli ML/DL tradizionali in questo contesto specifico, la loro capacità di apprendere direttamente dalle stringhe SMILES senza feature predefinite rimane promettente per catturare pattern strutturali complessi non codificati nei descrittori convenzionali.