A novel benchmark dataset for enzyme function prediction reveals the limitations of state-of-the-art models

Nella vasta biblioteca della vita, ogni essere vivente porta con sé un insieme di istruzioni scritte in un codice chiamato DNA. All'interno di queste istruzioni si trovano i progetti per minuscole macchine biologiche note come enzimi. Questi enzimi agiscono come gli operai della cellula, accelerando le reazioni chimiche che mantengono in vita un organismo, dalla digestione del cibo alla riparazione dei tessuti danneggiati. Per tenere traccia dei milioni di diversi enzimi scoperti, gli scienziati utilizzano un sistema di etichettatura standardizzato chiamato numeri della Commissione Enzimatica. Pensate a questi numeri come a un sistema di catalogazione universale che dice a un ricercatore esattamente quale lavoro svolge uno specifico enzima. Man mano che gli scienziati sequenziano i genomi di sempre più organismi, stanno scoprendo nuovi enzimi a un ritmo vertiginoso. La sfida ora è capire cosa facciano questi nuovi enzimi scoperti senza doverli testare ciascuno in un laboratorio, un compito che richiederebbe secoli. Per risolvere questo problema, i ricercatori si sono rivolti ai computer, addestrando l'intelligenza artificiale a guardare la sequenza di un enzima e a prevederne la funzione basandosi su schemi appresi da esempi noti.

Un team di ricercatori ha recentemente deciso di testare se questi modelli informatici comprendano davvero come funzionano gli enzimi o se stiano semplicemente prendendo scorciatoie. Hanno creato un nuovo set di dati di test chiamato EnzymARC per vedere se i migliori programmi attuali potessero distinguere tra un enzima funzionante e uno rotto. Per costruire questo test, sono partiti da enzimi che erano già noti per funzionare e poi li hanno sistematicamente danneggiati. Utilizzando un modello computerizzato della forma 3D dell'enzima, hanno mirato al punto specifico in cui avviene la reazione chimica, noto come sito attivo. Hanno poi alterato la struttura in un modo che distruggesse la capacità dell'enzima di funzionare, creando quelli che chiamano sequenze "esca". Queste esche erano progettate per apparire quasi identiche agli enzimi originali funzionanti, fatta eccezione per il danno critico alla macchina che li fa lavorare. Hanno creato queste versioni rotte cambiando la struttura entro distanze specifiche dal sito attivo, che andavano da un raggio molto stretto di 5 Angstrom fino a un raggio più ampio di 15 Angstrom, assicurandosi che il resto dell'enzima rimanesse ampiamente invariato.

I ricercatori hanno poi inserito queste esche rotte in tre diversi tipi di strumenti di previsione informatica per vedere cosa direbbero le macchine. Uno strumento si basava sulla ricerca di sequenze simili in un database, un altro utilizzava un metodo che impara confrontando diverse forme proteiche, e il terzo era un modello di deep learning addestrato specificamente per riconoscere enzimi non funzionanti. I risultati sono stati rivelatori. Quando i modelli informatici guardavano gli enzimi leggermente danneggiati, fallivano quasi completamente. Nonostante la meccanica catalitica fosse stata distrutta, i modelli assegnavano con sicurezza la descrizione corretta del lavoro originale alle esche rotte. In effetti, per le esche meno danneggiate, i modelli facevano previsioni errate più del 90 percento delle volte. Ciò suggerisce che i modelli non stiano effettivamente imparando le regole fisiche di come funziona un enzima; invece, stanno facendo affidamento su una scorciatoia. Stanno guardando la somiglianza complessiva con gli enzimi noti e assumendo che se sembra un'anatra, allora deve essere un'anatra, anche se l'anatra è rotta.

Persino il modello più avanzato, che era stato addestrato a riconoscere gli enzimi rotti, ha faticato a identificare il danno specifico quando questo era concentrato sul sito attivo. Sebbene questo modello abbia ottenuto prestazioni migliori quando il danno era più severo, ha comunque mancato le interruzioni mirate che rendevano l'enzima inutile. Lo studio dimostra che gli attuali programmi informatici sono altamente vulnerabili a queste scorciatoie filogenetiche, il che significa che sono facilmente ingannati dalla storia familiare di una proteina piuttosto che dalla sua funzione reale. I ricercatori concludono che, per costruire strumenti veramente affidabili per comprendere la biologia, la prossima generazione di modelli deve essere addestrata con esempi che includano queste versioni rotte e consapevoli della struttura. Solo insegnando ai computer a riconoscere la differenza tra una macchina funzionante e una rotta, piuttosto che limitarsi a far corrispondere i pattern, potremo sviluppare modelli abbastanza robusti da gestire la complessa realtà della funzione enzimatica.