Genetic Perturbation Prediction Models Fail Out-of-Distribution: A Rigorous Benchmark and Systematic Evaluation

Immaginate un mondo in cui gli scienziati possano prevedere come una cella vivente reagirà a una specifica modifica genetica senza dover mai eseguire l'esperimento in un laboratorio. Questa è la promessa dei modelli di "cella virtuale", programmi informatici progettati per simulare gli effetti dell'accensione o dello spegnimento dei geni. Nel mondo reale, i ricercatori utilizzano strumenti potenti per disabilitare i geni uno alla volta e poi misurare i cambiamenti risultanti nell'attività della cella, un processo che è lento, costoso e difficile da scalare. Se un computer potesse prevedere accuratamente questi esiti, agirebbe come una scorciatoia massiccia, consentendo agli sviluppatori di farmaci di esaminare migliaenti di potenziali trattamenti in una frazione del tempo. Per anni, il campo ha corso per costruire questi modelli, con molti ricercatori convinti che sistemi di intelligenza artificiale più complessi avrebbero infine padroneggiato il compito.

Tuttavia, un nuovo studio suggerisce che l'attuale generazione di questi modelli sta fallendo un test critico. I ricercatori dietro questo lavoro, un team della Elucidata Corporation, hanno voluto vedere se questi programmi informatici stiano davvero imparando le regole biologiche della vita o se stiano semplicemente memorizzando schemi dai dati che sono stati loro forniti. Hanno scoperto che, sebbene i modelli sembrino funzionare bene in condizioni di test standard, crollano quando viene chiesto loro di prevedere gli effetti di geni che non hanno mai visto prima. Lo studio rivela che i modelli più sofisticati, inclusi quelli costruiti sulle ultime tecnologie di base (foundation technologies), non offrono alcun reale vantaggio rispetto a metodi molto più semplici. Invece di comprendere la meccanica sottostante della cella, questi programmi stanno essenzialmente indovinando sulla base della somiglianza con esempi passati, una strategia che si interrompe di fronte a nuovi e sconosciuti scenari biologici.

Per capire perché questo sia importante, bisogna innanzitutto comprendere la natura della sfida. Quando gli scienziati studiano i geni, osservano come cambiano le istruzioni interne della cella quando un gene specifico viene rimosso. In un tipico esperimento, potrebbero testare centinaia di geni in un singolo tipo di cella. L'obiettivo per un modello informatico è imparare da questi centinaia di esempi e poi prevedere cosa accadrebbe se un gene diverso, che non ha mai incontrato, venisse rimosso. Questo è un compito difficile perché la relazione tra un gene e il suo effetto non è sempre ovvia; dipende da una complessa rete di interazioni all'interno della cella. Il modo standard per testare questi modelli è stato quello di dividere casualmente i dati, dando al computer alcuni geni da cui imparare e altri pochi da prevedere. Il problema di questo approccio è che i "nuovi" geni sono spesso biologicamente simili a quelli che il computer già conosce. È come chiedere a uno studente di sostenere un esame in cui le domande sono solo lievi variazioni di quelle che ha studiato. Lo studente potrebbe ottenere un punteggio perfetto, non perché comprenda la materia, ma perché ha riconosciuto lo schema.

Il team dietro questo studio, guidato da Kanupriya Tiwari e colleghi, ha deciso di cambiare le regole del gioco. Hanno introdotto un nuovo framework di test chiamato EL-PERTURB, progettato per testare sotto stress questi modelli in condizioni realistiche. Invece di divisioni casuali, hanno raggruppato i geni in base a come influenzano effettivamente il comportamento della cella. Hanno poi costretto i modelli a prevedere gli effetti di geni provenienti da un gruppo completamente diverso, assicurandosi che i geni di test fossero funzionalmente distinti dai geni di addestramento. Questa configurazione imita uno scenario del mondo reale in cui uno sviluppatore di farmaci deve prevedere l'effetto di un gene che non è mai stato studiato prima. Hanno testato venti modelli diversi, che vanno da semplici strumenti statistici a complessi sistemi di deep learning, inclusi quelli che utilizzano enormi database pre-addestrati di conoscenza biologica. Hanno eseguito questi test su dati provenienti da quattro diverse linee cellulari umane, coprendo sia i geni essenziali, che sono critici per la sopravvivenza della cella, sia un set più ampio di geni trovati negli screening genomici completi.

I risultati sono stati netti e costanti. Quando i modelli venivano testati su geni simili ai loro dati di addestramento, performavano ragionevolmente bene, confermando che potevano interpolare, ovvero colmare le lacune tra gli esempi noti. Ma quando i ricercatori hanno applicato il nuovo, più rigoroso test con geni funzionalmente distinti, le prestazioni di ogni singolo modello sono scese drasticamente. I modelli complessi, che includevano reti neurali avanzate e sistemi costruiti su modelli di base addestrati su vasti volumi di testo e dati biologici, non sono stati affatto migliori dei modelli di base più semplici. In effetti, in alcuni casi, i modelli più semplici hanno tenuto il passo leggermente meglio. Lo studio ha scoperto che le architetture più sofisticate non fornivano alcun vantaggio affidabile nel gestire queste nuove, inesplorate situazioni biologiche. I modelli non stavano imparando la logica causale di come i geni controllano le cellule; stavano semplicemente recuperando risposte da un quartiere memorizzato di esempi simili.

I ricercatori hanno anche indagato se l'uso di dati da molteplici tipi di cellule potesse aiutare i modelli a generalizzare meglio. Hanno scoperto che questo approccio funzionava solo quando le risposte biologiche tra i diversi tipi di cella erano altamente simili, come nel caso dei geni essenziali che innescano comuni risposte allo stress. Tuttavia, quando si sono spostati sugli screening genomici completi, che coinvolgono un insieme molto più diversificato e caotico di reazioni biologiche, il beneficio dell'uso di molteplici tipi di cellule è scomparso del tutto. In questi scenari complessi, i modelli non riuscivano a trasferire la conoscenza in modo efficace, e i predittori più di successo erano spesso i più semplici, come gli strumenti di regressione di base o i metodi che si basano sul recupero di fatti biologici noti piuttosto che sull'apprendimento dai dati stessi. Ciò suggerisce che il collo di bottiglia non sia il design del modello, ma la natura dei dati e la mancanza di una vera comprensione dei meccanismi causali che guidano il comportamento della cella.

Un altro risultato chiave riguardava l'uso di "modelli di base" (foundation models), che sono grandi sistemi di intelligenza artificiale pre-addestrati su massicci dataset di informazioni genetiche. Molti ricercatori speravano che questi sistemi, avendo appreso schemi biologici generali, potessero fornire un vantaggio iniziale per prevedere gli effetti genetici specifici. Lo studio ha testato gli embedding, ovvero le rappresentazioni digitali dei geni, derivati da questi modelli di base e li ha confrontati con rappresentazioni costruite su conoscenza biologica curata e selezionata. I risultati hanno mostrato che gli embedding dei modelli di base non offrivano alcun miglioramento rispetto alla conoscenza curata. In alcune configurazioni, rendevano persino le previsioni leggermente peggiori. Ciò indica che l'attuale generazione di questi grandi modelli non codifica ancora le informazioni causali specifiche necessarie per prevedere come una cella reagirà a un cambiamento genetico, almeno non in un modo che superi fonti di conoscenza biologica più semplici e dirette.

Lo studio conclude che il campo sta sopravvalutando le capacità di questi modelli perché i metodi di test standard sono troppo facili. Basandosi su divisioni casuali e quantità generose di dati di addestramento, i precedenti benchmark hanno permesso ai modelli di avere successo attraverso l'interpolazione piuttosto che attraverso una genuina estrapolazione. Gli autori sostengono che, per procedere, la comunità debba adottare standard di valutazione più rigorosi che costringano i modelli ad affrontare sfide biologiche veramente nuove. Propongono che i futuri modelli debbano andare oltre il semplice riconoscimento di schemi (pattern matching) e iniziare a codificare la reale struttura causale della biologia, comprendendo come una perturbazione si propaghi attraverso una rete di interazioni per produrre un risultato specifico. Fino ad allora, la promessa di una "cella virtuale" che possa affidabilmente sostituire gli esperimenti in laboratorio rimane fuori portata, e gli strumenti più efficaci per prevedere gli effetti genetici potrebbero essere ancora i metodi più semplici e trasparenti che sono stati trascurati nella corsa verso la complessità.