JURY: A Comprehensive Training-Free to Fully-Supervised Framework for Evaluating Chemical Language Models

Nella corsa alla scoperta di nuovi medicinali, gli scienziati affrontano un collo di bottiglia che rallenta ogni progresso: prima che un nuovo composto chimico possa diventare un farmaco, deve superare una rigorosa serie di controlli di sicurezza. I ricercatori devono sapere se il corpo lo assorbirà, come viaggerà attraverso il sangue, se il fegato lo decomporrà e se potrebbe essere tossico. Questi controlli, noti come assorbimento, distribuzione, metabolismo, escrezione e tossicità, sono costosi e lenti da eseguire in laboratorio. Per accelerare il processo, gli scienziati si sono rivolti ai computer, utilizzando l'intelligenza artificiale per prevedere queste proprietà semplicemente osservando la struttura di una molecola. Per anni, gli strumenti più efficaci sono stati i "modelli linguistici" addestrati su milioni di formule chimiche scritte come stringhe di testo. Questi modelli imparano a comprimere una molecola complessa in un elenco unico e fisso di numeri, un'impronta digitale digitale che cattura la sua essenza chimica. Il modo standard per giudicare quanto siano buoni questi modelli è stato quello di collegare a loro un semplice strumento di previsione, addestrare tale strumento su un piccolo set di dati sperimentali e vedere quanto bene indovini la risposta. Se l'ipotesi è buona, il modello riceve un punteggio alto.

Tuttavia, un nuovo studio suggerisce che questo metodo standard ha nascosto una verità cruciale. I ricercatori hanno scoperto che lo strumento di previsione stesso spesso svolge gran parte del lavoro pesante, tanto da mascherare ciò che il modello sottostante ha effettivamente imparato. Uno strumento potente può imparare molto solo dalle risposte che gli vengono date, anche se l'impronta digitale che sta leggendo è debole o poco utile. Per risolvere questo problema, un team di ricercatori dalla Germania ha sviluppato un nuovo modo per testare questi modelli, chiamato JURY. Invece di affidarsi a un singolo strumento addestrato, hanno utilizzato quattro metodi diversi per leggere le impronte digitali dei modelli. Due di questi metodi non richiedevano alcun addestramento, limitandosi a osservare quanto le molecole fossero vicine tra loro nello spazio digitale. Gli altri due metodi utilizzavano un addestramento semplice, che andava da un calcolo lineare di base a una piccola rete flessibile. Applicando questi quattro metodi a dieci diversi modelli chimici attraverso settantatré diversi test di sicurezza, il team ha scoperto che i modelli sono molto più simili tra loro di quanto si fosse realizzato. Nessun singolo modello era il migliore in tutto. Infatti, un metodo manuale creato decenni fa per descrivere le molecole si è dimostrato efficace quanto l'IA più avanzata in molti casi.

La scoperta più sorprendente è stata che i modelli non differiscono per la quantità di conoscenza chimica che contengono, ma per il modo in cui organizzano tale conoscenza. Alcuni modelli dispongono le loro impronte digitali in modo che le molecole con proprietà simili si trovino naturalmente vicine, rendendole facili da trovare senza ulteriore addestramento. Altri modelli nascondono la stessa conoscenza chimica in un modo che è visibile solo dopo che un predittore è stato addestrato per riorganizzare i dati. È come guardare una biblioteca dove un bibliotecario ha già ordinato i libri per genere, mentre un altro ha impilato i libri casualmente ma sa esattamente dove trovare un libro specifico se si pone la domanda giusta. Lo studio ha dimostito che un modello che eccelle nel primo approccio potrebbe fallire nel secondo, e viceversa. Ciò significa che un singolo punteggio non può dirti se un modello è buono; devi guardare il suo profilo attraverso diversi metodi di test per capire dove risiedono i suoi punti di forza.

I ricercatori hanno testato dieci diversi modelli linguistici chimici, inclusi diversi che utilizzano tre diverse famiglie di transformer, insieme a un metodo tradizionale manuale noto come impronta digitale a connettività estesa (extended-connectivity fingerprint). Hanno applicato i loro quattro metodi di test a settantatré diverse attività, coprendo tutto, da come un farmaco viene assorbito a quanto potrebbe essere tossico. Quando hanno esaminato i risultati, hanno scoperto che la classifica dei modelli cambiava completamente a seconda del metodo di test utilizzato. Un modello che arrivava al primo posto quando testato con un metodo che non richiedeva addestramento, spesso scendeva in fondo alla lista quando testato con un metodo che comportava l'addestramento di un predittore. Al contrario, un modello che faticava senza addestramento saliva in cima alla classifica una volta aggiunto un semplice predittore. Questa incoerenza ha dimostrato che i modelli non erano semplicemente "migliori" o "peggiori", ma che conservavano la loro conoscenza chimica in modi fondamentalmente diversi.

Un modello, chiamato MoLFormer-XL, ha dimostrato di aver organizzato il proprio spazio digitale in modo così chiaro che le molecole con comportamenti simili erano già raggruppate insieme. Ha ottenuto prestazioni eccezionali quando i ricercatori hanno semplicemente osservato i vicini più prossimi nello spazio digitale, senza addestrare strumenti aggiuntivi. Al contrario, un altro modello, MolEncoder, ha ottenuto prestazioni scarse quando i ricercatori hanno osservato la disposizione grezza dello spazio. Tuttavia, una volta addestrato un semplice predittore sui suoi dati, MolEncoder è balzato in cima alle classifiche. Ciò ha dimostrato che MolEncoder possedeva la stessa quantità di conoscenza chimica, ma era nascosta in un formato che richiedeva uno strumento addestrato per essere sbloccata. Lo studio ha anche scoperto che il metodo tradizionale dell'impronta digitale manuale, che precede l'IA moderna, spesso superava i modelli più avanzati quando non era consentito l'addestramento, in particolare nella previsione di come le sostanze chimiche si comportano nel corpo. Ciò suggerisce che per certi compiti, il vecchio modo di organizzare i dati chimici è ancora altamente efficace.

Il team ha concluso che il campo si è affidato a un singolo numero per giudicare sistemi complessi, il che è come giudicare un musicista basandosi su una sola canzone. Un modello può essere eccellente per un tipo di previsione ma terribile per un altro, a seconda di come sono strutturati i suoi dati interni. Il nuovo framework, JURY, sostituisce quel singolo punteggio con un profilo dettagliato che mostra come un modello si comporta attraverso diversi livelli di supervisione. Ciò consente agli scienziati di scegliere lo strumento giusto per il compito. Se un ricercatore ha bisogno di esaminare rapidamente una libreria di prodotti chimici senza spendere tempo nell'addestrare un nuovo strumento, dovrebbe scegliere un modello che funzioni bene nei test non addestrati. Se dispone di molti dati e vuole addestrare un predittore specifico per un compito ad alta posta in gioco, potrebbe scegliere un modello che eccelle solo dopo l'addestramento. Comprendendo dove si trova la conoscenza di un modello e come è organizzata, gli scienziati possono prendere decisioni migliori su quali strumenti utilizzare, andando oltre le semplici classifiche per raggiungere una comprensione più profonda di ciò che queste intelligenze artificiali hanno effettivamente imparato.