Do Larger Models Really Win in Drug Discovery? A Benchmark Assessment of Model Scaling in AI-Driven Molecular Property and Activity Prediction

1. Enunciato del Problema

Il campo della scoperta di farmaci guidata dall'IA è attualmente dominato da una narrazione "centrata sulla scala", che suggerisce che modelli fondativi più grandi e preaddestrati (ad esempio, Large Language Models, grandi Graph Neural Networks) sostituiranno universalmente i modelli compatti e specifici per il compito (ad esempio, Random Forest, QSAR classici). Tuttavia, i dataset per la scoperta di farmaci sono spesso piccoli, rumorosi, sbilanciati e raggruppati chimicamente. Il paper sfida l'assunzione secondo cui un aumento del numero di parametri o della dimensione del corpus di preaddestramento si traduca automaticamente in prestazioni predittive superiori per le proprietà molecolari e le attività biologiche. La domanda centrale è: la scala del modello predice in modo affidabile le prestazioni a livello di endpoint, oppure le prestazioni sono guidate dall'allineamento tra l'induzione bias del modello, il regime dei dati e l'endpoint biologico specifico?

2. Metodologia

Ambito del Benchmark e Dataset

Gli autori hanno valutato i modelli su 22 endpoint distinti comprendenti 167.056 valutazioni task-molecola tenute fuori:

• ADMET Pubblico (8 task): 5 task di classificazione binaria e 3 task di regressione (ad esempio, permeabilità Caco2, solubilità) provenienti dal Therapeutics Data Commons.
• Tox21 (12 task): 12 saggi di tossicità binaria con alto sbilanciamento di classe (tassi di positività dal 2,9% al 16,2%).
• Anti-Infettivi (2 task):
  • Anti-TB: 49.266 molecole contro M. tuberculosis H37Rv (soglia 1 µM).
  • Antimalarico: 2.088 molecole contro P. falciparum (ceppi 3D7 e Dd2, soglia 100 nM).

Famiglie di Modelli Confrontate

Lo studio ha confrontato quattro distinte famiglie di modelli che coprono ordini di grandezza in termini di complessità:

1. Piccoli Modelli ML: Apprenditori QSAR classici (Random Forest, ExtraTrees, GBDT, Regressione Logistica) addestrati su feature ingegnerizzate: fingerprint ECFP4/6, chiavi MACCS e descrittori RDKit.
2. Medie Graph Neural Networks (GNN): Modelli grafici specifici per il task (GCN, GAT, GIN, Ligandformer) con ~10⁵–10⁶ parametri, che apprendono rappresentazioni strutturali direttamente dai grafi molecolari.
3. Modelli di Sequenza Molecolare Preaddestrati: Modelli basati su Transformer (ChemBERTa, ChemBERTa2, MoLFormer) con 10-77 milioni di parametri, fine-tunati da preaddestramento su SMILES.
4. Baseline di Ragionamento LLM-SAR: Sistemi basati su regole (GPT5.5-SAR, Opus4.7-SAR) in cui LLM all'avanguardia generano regole SAR (regex/SMARTS) basate sui dati di addestramento, che vengono poi applicate ai fold tenuti fuori. Questi non sono predittori fine-tunati ma motori di applicazione di regole.

Protocollo di Valutazione

• Strategia di Validazione: Validazione incrociata a cinque fold separata per similarità strutturale. Le molecole sono state raggruppate tramite fingerprint ECFP4 utilizzando MiniBatchKMeans per garantire che molecole strutturalmente simili (vicini chimici) non fossero divise tra set di addestramento e test. Questo previene la "perdita di vicini" (near-neighbor leakage) e simula le prestazioni prospettiche meglio della divisione casuale.
• Metriche:
  • Classificazione: PR-AUC (critico per i dati sbilanciati di Tox21) e ROC-AUC.
  • Regressione: MAE (Errore Assoluto Medio) e Correlazione di Pearson.
• Implementazione: Tutti i modelli sono stati ottimizzati con iperparametri specifici (ad esempio, ponderazione delle classi per lo sbilanciamento) per garantire un confronto equo all'interno delle rispettive famiglie.

3. Risultati Chiave

Vincitori Generali delle Prestazioni

Su 167.056 valutazioni, i modelli più grandi non hanno vinto universalmente:

• ML Classico (RF, ExtraTrees): Hanno vinto 10 task con metrica primaria. Hanno eccelluto nella regressione ADMET e in molti saggi Tox21.
• GNN (GIN, Ligandformer): Hanno vinto 9 task. Hanno mostrato forza in specifici endpoint ADMET (ad esempio, DILI, hERG) e nel task Antimalarico.
• Modelli di Sequenza Preaddestrati (MoLFormer, ChemBERTa2): Hanno vinto solo 3 task (specificamente DILI, hERG e NR-AR/NR-AhR).
• Baseline LLM-SAR: Non hanno vinto nessun task con metrica primaria contro i migliori modelli addestrati.

Risultati Specifici per Dominio

• ADMET & Tox21: I modelli ML classici sono rimasti altamente competitivi o superiori, in particolare nei task di regressione e nei saggi di tossicità altamente sbilanciati. Il divario di prestazioni tra ML e GNN è stato spesso modesto e dipendente dall'endpoint.
• Attività Anti-Infettiva:
  • Anti-TB: RF e ExtraTrees (ECFP4) hanno superato MoLFormer e le baseline LLM-SAR (PR-AUC ~0,565 contro ~0,448 per MoLFormer).
  • Antimalarico: I GNN (in particolare GIN) hanno guidato il settore (PR-AUC 0,556), superando i modelli di sequenza e LLM-SAR.
• Prestazioni LLM-SAR: Sebbene le baseline LLM-SAR non abbiano raggiunto la massima accuratezza predittiva, l'aggiunta di "conoscenza SAR derivata dal fold di addestramento" (regole apprese dal set di addestramento) ha fornito guadagni misurabili ma disomogenei. Ad esempio, nell'Anti-TB, la ROC-AUC di LLM-SAR è migliorata da ~0,51 a ~0,61 con regole apprese, ma sono rimaste indietro rispetto ai predittori supervisionati.

Regressione vs Classificazione

• Regressione: I modelli ML classici (in particolare ExtraTrees con descrittori RDKit) hanno dominato i task di regressione (Caco2, Lipofilia, Solubilità), ottenendo un MAE inferiore e una correlazione di Pearson superiore rispetto ai modelli di sequenza.
• Sensibilità allo Sbilanciamento: Per Tox21, la PR-AUC è stata una metrica più discriminativa rispetto alla ROC-AUC. Molti modelli apparivano di successo sotto la ROC-AUC ma fallivano nell'identificare efficacemente le classi positive sotto la PR-AUC, evidenziando il pericolo di affidarsi esclusivamente alla ROC-AUC in contesti di scoperta di farmaci sbilanciati.

4. Contributi Chiave

1. Sfatare Empiricamente la Scalabilità Universale: Il paper fornisce prove rigorose che "più grande è meglio" non è una legge universale nella scoperta di farmaci. Modelli compatti e specializzati spesso superano i massicci modelli fondativi su endpoint specifici e vincolati dai dati.
2. Benchmarking Completo: Stabilisce un benchmark su larga scala e standardizzato che copre 22 endpoint diversi (pubblici e interni) con un rigoroso protocollo di validazione separato per struttura, affrontando il problema della perdita di dati comune negli studi precedenti.
3. Analisi dell'Induzione Bias: Lo studio dimostra che il successo predittivo dipende dall'allineamento tra:
   • Rappresentazione Molecolare: Fingerprint (ECFP) vs Grafi vs Token SMILES.
   • Induzione Bias: Pattern SAR locali (favoriti da RF) vs Pattern topologici (favoriti da GNN) vs regolarità chimiche globali (favoriti da Transformer).
   • Regime dei Dati: Dataset piccoli/rumorosi favoriscono modelli più semplici; dataset grandi e diversificati possono trarre vantaggio dal preaddestramento.
4. Riformulazione degli LLM nella Scoperta di Farmaci: Gli autori posizionano gli LLM non come predittori diretti per sostituire i modelli QSAR, ma come motori di ragionamento per la generazione di ipotesi, l'interpretazione SAR e l'estrazione di regole. Sono preziosi per l'interpretabilità ma attualmente inferiori per l'accuratezza predittiva grezza quando sono disponibili dati etichettati.

5. Significato e Implicazioni

• Guida Pratica per i Professionisti: I team di scoperta di farmaci non dovrebbero adottare ciecamente grandi modelli fondativi. Per molti task standard di previsione ADMET e attività, l'addestramento di modelli compatti su fingerprint o descrittori rimane l'approccio più efficace, efficiente in termini di costi e robusto.
• Il Protocollo di Validazione Conta: La scelta della strategia di validazione incrociata (casuale vs separata per struttura) altera drasticamente le classifiche dei modelli. Il paper sostiene per divisioni separate per struttura per garantire che i modelli generalizzino a nuove serie chimiche piuttosto che memorizzare analoghi locali.
• Direzione per la Ricerca Futura: Il valore dei modelli grandi risiede nel ragionamento zero-shot, nella generazione di ipotesi meccanicistiche e nell'interpretazione di SAR complessi, piuttosto che nel sostituire i predittori supervisionati per la previsione quantitativa. Il lavoro futuro dovrebbe concentrarsi su approcci ibridi che sfruttano le capacità di ragionamento degli LLM per guidare l'ingegneria delle feature o l'architettura dei modelli predittivi.

Conclusione: Il paper conclude che la scala del modello è una variabile esplicativa debole per le prestazioni nella scoperta di farmaci. Invece, il successo è determinato dal "Model-Task Fit"—l'allineamento preciso dell'induzione bias del modello con l'endpoint biologico specifico, le caratteristiche dei dati e il protocollo di validazione.