Memorization in reaction-conditioned generative enzyme design: folding confidence, database identity, and docking all fail to detect it

L'ambiente è saturo di sostanze chimiche sintetiche che la natura non si è evoluta per scomporre. Dai ritardanti di fiamma nei mobili ai pesticidi nelle colture, queste sostanze persistono perché gli organismi viventi mancano degli strumenti biologici per smantellarle. Gli scienziati sperano da tempo di ingegnerizzare enzimi personalizzati — i catalizzatori microscopici della natura — per digerire questi inquinanti e ripulire il disastro. Negli ultimi anni, sono emersi potenti programmi informatici in grado di scrivere le piante genetiche di nuove proteine, promettendo di progettare questi enzimi da zero sulla base della specifica chimica del contaminante che devono distruggere. L'idea è quella di fornire al computer una descrizione di una sostanza chimica tossica e ottenere in output una sequenza proteica capace di neutralizzarla.

Un nuovo studio esamina se questi programmi informatici stiano effettivamente progettando nuovi strumenti o stiano semplicemente copiando quelli vecchi. I ricercatori di Terram Technologies hanno costruito un sistema chiamato XenoFold per generare enzimi capaci di scomporre gli xenobiotici, ovvero il termine scientifico per gli inquinanti sintetici. Hanno addestrato il sistema su reazioni enzimatiche note e poi gli hanno chiesto di creare nuovi candidati per varie sostanze chimiche, incluse alcune che non hanno un degradatore naturale noto. Il team ha sottoposto gli enzimi generati dal computer a una serie di test informatici standard volti a verificarne la qualità, controllando se fossero in grado di ripiegarsi in forme stabili e di legarsi ai loro target chimici. I risultati hanno rivelato un fallimento sorprendente: il sistema non stava progettando nuovi enzimi affatto. Inveve, stava memorizzando i dati di addestramento e riproducendoli quasi esattamente, un difetto che ogni test informatico standard utilizzato per convalidare il lavoro aveva completamente ignorato.

I ricercatori hanno iniziato addestrando il loro modello su quindici diverse classi di enzimi, accoppiando specifiche reazioni chimiche con le sequenze proteiche che le eseguono. Hanno poi chiesto al sistema di generare nuovi enzimi per quattro scenari specifici: due reazioni in cui gli enzimi naturali sono ben noti e due reazioni che coinvolgono inquinanti come l'acido perfluorottanoico e un particolare metabolita di un pesticida che non hanno alcun degradatore naturale documentato in grado di decomporli. Per garantire che le proteine generate fossero plausibili, il team le ha sottoposte a tre metodi di validazione informatica ampiamente accettati. Per prima cosa, hanno previsto quanto bene la proteina si sarebbe ripiegata in una forma 3D, una misura della stabilità strutturale. In secondo luogo, hanno confrontato le nuove sequenze con un enorme database pubblico di tutte le proteine note per vedere se fossero innovative. Terza, hanno simulato quanto strettamente i nuovi enzimi si sarebbero legati ai loro target chimici, un passaggio inteso a dimostrare che potessero effettivamente svolgere il compito.

In superficie, i risultati sembravano un successo. Il computer prevedeva che gli enzimi generati si sarebbero ripiegati in forme stabili e ben definite con un alto grado di confidenza. Quando i ricercatori hanno confrontato queste nuove sequenze con il database pubblico delle proteine note, i punteggi suggerivano che i design fossero unici e distinti da qualsiasi cosa precedentemente registrata. Anche le simulazioni di docking hanno prodotto punteggi che sembravano indicare che gli enzimi potessero legarsi ai loro target. Sulla base di questi tre controlli standard, lo studio sembrava inizialmente mostrare un sistema funzionante per la progettazione di nuovi enzimi. Tuttavia, i ricercatori si sono resi conto che questi controlli standard non stavano raccontando l'intera storia. Hanno condotto un'indagine più profonda e diretta confrontando le sequenze generate non con il database pubblico generale, ma con l'elenco specifico degli esempi di addestramento che il computer aveva memorizzato durante la sua fase di apprendimento.

Questo confronto diretto ha esposto la verità. Quando i ricercatori hanno controllato gli enzimi generati rispetto ai dati di addestramento, hanno scoperto che il quaranta per cento delle sequenze erano copie esatte, carattere per carattere, degli esempi che il computer aveva già visto. Un altro quarantasette per cento erano così simili agli esempi di addestramento da differire solo per una minima frazione della loro struttura. Questo schema si è mantenuto anche quando il computer è stato chiamato a progettare enzimi per inquinanti che non hanno un degradatore naturale noto e che erano completamente assenti dai dati di addestramento. Il sistema produceva gli stessi alti tassi di copia indipendentemente dal fatto che la sostanza chimica target fosse familiare o del tutto nuova. Il computer non stava ragionando sulla chimica del contaminante per creare una nuova soluzione; stava semplicemente recuperando e ripetendo i pattern che aveva memorizzato nella sua memoria.

Lo studio ha ulteriormente indagato se il computer stesse effettivamente utilizzando l'informazione chimica fornita. In un test, i ricercatori hanno fornito al sistema addestrato una reazione chimica completamente slegata dalla classe di enzimi su cui era stato addestrato. Se il sistema fosse stato realmente sensibile all'input chimico, cambiare la reazione avrebbe dovuto cambiare l'output. Invezione, gli enzimi generati rimanevano quasi identici a quelli prodotti per la reazione corretta, e i loro punteggi di stabilità previsti non cambiavano in modo significativo. Ciò ha confermato che l'input chimico aveva un effetto minimo o nullo sul design finale. Il sistema stava essenzialmente ignorando le istruzioni specifiche riguardanti il contaminante e tornando ai pattern generali appresi durante l'addestramento.

I ricercatori hanno anche esaminato attentamente i test di docking informatico che inizialmente sembravano promettenti. Hanno scoperto che questi test non erano in grado di distinguere tra gli enzimi generati dal computer e gli enzimi naturali che dovevano mimare. Più criticamente, quando i ricercamenti hanno provato a usare i punteggi di docking per stimare la velocità con cui gli enzimi avrebbero lavorato, i risultati sono stati estremamente inaccurati. Per due enzimi naturali noti, le stime del computer per la loro efficienza erano errate di fattori fino a quindicimila volte rispetto alle misurazioni del mondo reale. In un caso, il computer ha classificato due enzimi nell'ordine esattamente opposto rispetto alla loro reale performance. Poiché i punteggi di docking non riuscivano affatto a corrispondere alla realtà, i ricercatori li hanno rimossi dalla loro analisi finale, concludendo che queste comuni simulazioni informatiche non potevano essere affidate per convalidare la qualità dei design generati.

Il nucleo centrale di questo lavoro è un monito su come verifichiamo la biologia generata dal computer. Lo studio dimostra che un sistema può produrre sequenze che sembrano perfette secondo gli standard informatici — con un buon ripiegamento, che appaiono uniche nei database pubblici e che ottengono buoni punteggi nel legame con i target — pur essendo in realtà nient'altro che una copia dei dati di addestramento. I tre strumenti di validazione più comuni utilizzati nel settore non sono riusciti a rilevare questa memorizzazione. Solo controllando direttamente l'output rispetto ai dati specifici appresi dal computer, i ricercatori sono riusciti a scoprire il difetto. L'autore conclude che, senza questi controlli specifici e poco costosi, le affermazioni sulla progettazione di nuovi enzimi potrebbero basarsi su un'illusione di novità. Il sistema testato non produce attualmente enzimi pronti per l'uso nel mondo reale, e lo studio suggerisce che il campo debba ripensare il modo in cui valida i design informatici per garantire che siano davvero nuovi e non semplici ricordi riciclati.