Single-cell foundation models benefit from cross-modal training: adding proteomics data beats parameter scaling

Dentro ogni cellula vivente, sta avendo luogo una conversazione complessa, scritta in due lingue diverse. Una lingua è fatta di RNA, molecole che trasportano le istruzioni per costruire le proteine, i motori che mantengono una cellula viva e funzionante. Gli scienziati hanno trascorso anni imparando a leggere questi messaggi di RNA, creando enormi biblioteche digitali che descrivono come le cellule si comportano in salute e in malattia. Queste biblioteche sono cresciute così tanto che ora i ricercatori utilizzano potenti programmi informatici, noti come modelli di base (foundation models), per trovare schemi al loro interno. Questi programmi imparano a riconoscere le firme uniche di diversi tipi di cellule, proprio come un bibliotecario che può identificare istantaneamente il genere di un libro dalla sua copertina. Per molto tempo, la convinzione prevalente era che l'unico modo per rendere questi programmi più intelligenti fosse nutrirli con sempre più dati di RNA, sperando che il puro volume avrebbe col tempo rivelato ogni segreto della vita cellulare.

Tuttavia, le cellule parlano più di una lingua. Accanto all'RNA, esse producono proteine, le strutture effettive che svolgono i compiti della cellula. Mentre l'RNA dice alla cellula cosa costruire, le proteine sono i prodotti finiti. Fino a poco tempo fa, la maggior parte dei modelli informatici delle cellule ignorava queste proteine, concentrandosi esclusivamente sulle istruzioni dell'RNA. Ciò ha lasciato un vuoto nella comprensione, poiché le istruzioni non sempre corrispondono al risultato finale. La domanda che i ricercatori si ponevano era se l'aggiunta di questo secondo livello di informazioni — i dati proteici — potesse insegnare a questi modelli informatici più di quanto l'aggiunta di ulteriori dati di RNA avrebbe mai potuto fare. Era un test per vedere se la qualità e la varietà delle informazioni potessero superare la semplice strategia di rendere i modelli più grandi e nutrirli con sempre più della stessa cosa.

Un team di ricercatori si è messo in viaggio per rispondere a questo quesito addestrando un modello informatico su un nuovo tipo di dati. Sono partiti da un modello esistente che aveva già appreso da centinaia di milioni di campioni di RNA. Invece di nutrirlo semplicemente con altro RNA, gli hanno introdotto una vasta collezione di profili proteici. Questi profili provenivano da 440 studi diversi che utilizzavano la spettrometria di massa, una tecnica che misura le proteine specifiche presenti in una cellula. I ricercatori hanno guidato attentamente il modello affinché apprendesse da questi 48.843 campioni proteici, un processo che hanno chiamato pre-addestramento continuo cross-modale. Ciò significava che il modello doveva imparare come il linguaggio proteico si relazionasse al linguaggio dell'RNA che già conosceva, insegnandogli efficacemente a comprendere la cellula sia attraverso le sue istruzioni che attraverso i suoi prodotti finiti.

I risultati sono stati sorprendenti. I ricercatori hanno addestrato un modello con 70 milioni di parametri, una misura della sua complessità, su questi dati misti per un solo passaggio attraverso i campioni proteici. Quando hanno testato questo modello, esso ha ottenuto prestazioni pari o superiori a modelli che erano vastamente più grandi e addestrati solo su RNA. Nello specifico, il modello più piccolo con i dati proteici ha eguagliato o superato le prestazioni di modelli composti solo da RNA con 1 miliardo e 3 miliardi di parametri. Questa scoperta mette in discussione l'idea che l'unica via per una migliore comprensione sia semplicemente aumentare la scala della dimensione del modello e la quantità di dati di RNA. Al contrario, suggerisce che l'introduzione di un tipo diverso di dato biologico può fornire una spinta molto più efficiente all'intelligenza del modello.

I benefici di questo approccio si sono estesi oltre le prestazioni generali. Il modello addestrato con i dati proteici ha mostrato una maggiore capacità di generalizzazione, il che significa che poteva applicare ciò che aveva appreso a nuove situazioni mai viste prima. Ciò è stato particolarmente evidente quando il modello è stato testato su come le cellule rispondono ai cambiamenti proteici. In questi test, semplicemente rendere più grande il modello basato solo sull'RNA non lo aiutava a comprendere meglio questi cambiamenti. Il modello che aveva appreso dalle proteine, invece, ha gestito queste nuove sfide con maggiore facilità. Ciò indica che i dati proteici hanno aiutato il modello a costruire una comprensione più robusta e flessibile di come funzionano le cellule, una comprensione che non è strettamente legata ai soli schemi trovati nell'RNA.

Queste scoperte suggeriscono che il futuro della comprensione delle cellule potrebbe non risiedere nella costruzione di modelli sempre più grandi addestrati su un unico tipo di dato. Inveve, le intuizioni più potenti potrebbero derivare dal combinare attentamente diversi tipi di informazioni biologiche. Insegnando ai modelli informatici di leggere sia le istruzioni che i prodotti della cellula, gli scienziati possono creare strumenti che siano non solo più intelligenti, ma anche più accurati nelle loro previsioni. Questo approccio offre una strada promettente verso modelli più informativi in grado di catturare la piena complessità della vita, dimostrando che a volte, aggiungere una nuova prospettiva è molto più prezioso che aggiungere semplicemente di più della stessa cosa.