Sparse autoencoders reveal organized biological knowledge but minimal regulatory logic in single-cell foundation models: a comparative atlas of Geneformer and scGPT

Lo studio dimostra che i modelli fondazionali per cellule singole, come Geneformer e scGPT, codificano una ricca conoscenza biologica organizzata ma possiedono una logica regolatoria causale minima, rivelando che il collasso di superposizione e la mancanza di risposte specifiche ai fattori di trascrizione limitano la loro capacità di rappresentare meccanismi causali.

L'essenziale

Immagina di avere due cervelli digitali molto potenti, chiamati Geneformer e scGPT. Questi non sono cervelli umani, ma intelligenze artificiali addestrate su milioni di "fotografie" di cellule (il nostro DNA e come si comporta). Il loro compito è capire come funzionano le cellule, come si trasformano e come reagiscono quando vengono disturbate.

La domanda fondamentale che gli scienziati si ponevano era: Questi cervelli digitali hanno davvero imparato le "regole del gioco" della biologia? O si sono solo limitati a memorizzare quali geni tendono a parlare insieme, senza capire chi comanda chi?

Per rispondere, l'autore di questo studio ha usato uno strumento speciale chiamato Sparse Autoencoder (SAE). Ecco come funziona la spiegazione semplice, con qualche analogia:

1. Il problema: Il "Superposizionamento" (Troppa roba in poco spazio)

Immagina che il cervello di Geneformer abbia solo 1.152 cassetti per organizzare la sua conoscenza. Ma la biologia è complessa: ci sono migliaia di concetti diversi (come "produzione di energia", "riparazione del DNA", "difesa immunitaria").
Come fa a mettere tutto in 1.152 cassetti?
Usa un trucco chiamato superposizionamento. Invece di avere un cassetto per ogni concetto, mescola i concetti insieme in modo che, se guardi il cassetto con un metodo semplice (come una lente d'ingrandimento standard, chiamata SVD), sembri solo un caos senza senso. È come se avessi un libro in cui ogni parola è scritta sopra l'altra: se leggi una riga, vedi un pasticcio, ma se sai come separare gli strati, trovi storie distinte e chiare.

2. La soluzione: L'Autoencoder "Spaziatore"

L'autore ha usato l'SAE come un magico setaccio che riesce a separare questi strati sovrapposti. Ha "svuotato" i cassetti del cervello digitale e ha scoperto che, in realtà, questi modelli contengono decine di migliaia di "concetti" distinti (82.000 per Geneformer e 24.000 per scGPT) che prima erano invisibili!

3. Cosa hanno trovato? (La parte bella e quella brutta)

✅ La parte bella: Hanno imparato la "biologia"

Quando hanno guardato questi concetti separati, hanno scoperto che erano organizzati perfettamente:

• Come un'enciclopedia: Molti concetti corrispondevano a gruppi di geni che lavorano insieme (ad esempio, "tutti i geni che costruiscono le proteine" o "tutti i geni che combattono i virus").
• Una gerarchia: All'inizio della rete neurale, i concetti erano molto specifici (come "costruire un mattone"). Più in profondità, diventavano più astratti e organizzati (come "costruire un muro" o "costruire una casa").
• Autostrade di informazioni: I concetti si parlavano tra loro attraverso diversi livelli della rete, creando un flusso di informazioni molto ordinato.

In sintesi: Questi modelli hanno imparato a memoria l'enciclopedia della biologia. Sanno quali geni fanno parte delle stesse squadre e come sono organizzati.

❌ La parte brutta: Non hanno imparato la "logica di comando"

Qui arriva il colpo di scena. Gli scienziati hanno fatto un test cruciale: hanno simulato un "interruttore" (un gene che spegne un altro gene) e hanno chiesto al modello: "Se spegno questo gene, quali altri dovrebbero spegnersi?".

Il risultato è stato deludente:

• Il modello ha visto che la cellula era cambiata (ha detto: "Ehi, qualcosa è successo!").
• Ma non sapeva chi era il colpevole specifico. Non sapeva quale gene specifico aveva causato il problema.
• È come se guardassi una stanza disordinata e dicessi: "Qualcuno ha fatto un casino!", ma non sapessi se è stato il bambino, il gatto o il vento.

Il modello conosce le correlazioni (questo gene e quello si muovono insieme), ma non la causalità (questo gene comanda quello).

4. Il verdetto finale

L'autore ha provato a "insegnare" meglio al modello usando dati da diverse parti del corpo (non solo un tipo di cellula), sperando di migliorare la situazione. Ma il miglioramento è stato minimo.

La conclusione è questa:
I modelli attuali sono come studenti brillanti che hanno memorizzato tutto il libro di testo. Sanno che la fotosintesi coinvolge clorofilla e luce, e sanno che il cuore batte perché c'è il muscolo cardiaco. Ma non hanno ancora capito la fisica dietro le cose: non sanno perché la luce fa avvenire la fotosintesi o come esattamente il segnale elettrico fa battere il cuore.

Perché è importante?

Questo studio ci dice che per avere un'intelligenza artificiale che possa davvero curare malattie o progettare farmaci (dove serve capire la causa e l'effetto, non solo la coincidenza), dobbiamo addestrarla in modo diverso. Dobbiamo insegnarle a guardare gli esperimenti di "cosa succede se spezzo questo pezzo" (perturbazioni), non solo a guardare foto statiche di come le cellule sono fatte.

In parole povere: Abbiamo scoperto che questi cervelli digitali sono ottimi bibliotecari, ma ancora pessimi detective. Sanno dove sono i libri, ma non sanno ancora risolvere il crimine.

Sommario tecnico

Titolo

Sparse autoencoders rivelano conoscenze biologiche organizzate ma logica regolatoria minima nei modelli fondazione per cellule singole: un atlante comparativo di Geneformer e scGPT

1. Il Problema

I modelli fondazione per cellule singole (scFMs), come Geneformer e scGPT, hanno dimostrato capacità eccezionali nell'annotazione dei tipi cellulari, nella previsione delle risposte alle perturbazioni e nell'inferenza di reti geniche. Tuttavia, rimane un interrogativo centrale: le rappresentazioni apprese da questi modelli codificano una logica regolatoria causale (le relazioni dirette tra fattori di trascrizione e geni bersaglio) o riflettono semplicemente pattern statistici di co-espressione che correlano con la regolazione ma non la costituiscono?

Studi precedenti hanno analizzato i pesi di attenzione, trovando che questi catturano principalmente la co-espressione. Tuttavia, i pesi di attenzione rappresentano solo una visione parziale del calcolo interno del modello. Il flusso residuo (residual stream), che trasporta l'informazione attraverso la rete, potrebbe contenere strutture più ricche. Inoltre, l'ipotesi della superposizione suggerisce che i modelli codifichino più concetti (migliaia di programmi biologici) di quanto permettano le loro dimensioni nascoste, rendendo queste informazioni invisibili alle tecniche di decomposizione lineare standard come la SVD (Singular Value Decomposition).

2. Metodologia

Gli autori hanno applicato per la prima volta in modo sistematico gli Sparse Autoencoders (SAE) ai modelli fondazione per cellule singole per risolvere il problema della superposizione e rendere interpretabili le attivazioni dense.

• Modelli Analizzati:
  • Geneformer V2-316M: 18 layer, 1.152 dimensioni nascoste, addestrato su ~30 milioni di cellule (codifica rank-value).
  • scGPT Whole-Human: 12 layer, 512 dimensioni nascoste, addestrato su ~33 milioni di cellule (codifica a valori continui).
• Architettura SAE: Sono stati addestrati SAE di tipo TopK su tutte le attivazioni del flusso residuo di ogni layer.
  • Dizionari sovracompleti con un fattore 4x (4.608 feature per Geneformer, 2.048 per scGPT).
  • Vincolo di sparsità $k=32$ (solo le 32 attivazioni più forti vengono mantenute).
• Dati di Addestramento:
  • Per Geneformer: 2.000 cellule di controllo K562 (dataset Replogle CRISPRi).
  • Per scGPT: 3.000 cellule diverse (Tabula Sapiens: immunitarie, renali, polmonari).
  • Sono stati generati atlanti di 82.525 feature (Geneformer) e 24.527 feature (scGPT).
• Analisi Eseguita:
  • Confronto con SVD per quantificare la superposizione.
  • Annotazione biologica (GO, KEGG, Reactome, STRING, TRRUST).
  • Analisi di co-attivazione e rilevamento di moduli (Leiden clustering).
  • Causal Patching: Ablazione di singole feature per testare la specificità causale.
  • Mappatura della risposta alle perturbazioni (CRISPRi) per verificare la logica regolatoria.
  • Esperimento di controllo multi-tessuto per distinguere i limiti del modello da quelli dei dati.

3. Contributi Chiave

1. Primo Atlante SAE per scFMs: Creazione di atlanti di feature interpretabili per due modelli fondazione leader, coprendo oltre 107.000 feature totali.
2. Dimostrazione della Superposizione Massiva: Evidenza quantitativa che il 99,8% delle feature biologiche è invisibile alla SVD, confermando che i modelli comprimono migliaia di concetti biologici in spazi dimensionali ridotti.
3. Struttura Gerarchica: Identificazione di un profilo a "U" nell'annotazione biologica attraverso i layer, che riflette un'astrazione gerarchica (dalla macchina molecolare ai programmi cellulari integrati).
4. Distinzione tra Co-espressione e Causalità: Dimostrazione che, sebbene i modelli internalizzino una conoscenza biologica organizzata (moduli, pathway), non codificano la logica regolatoria causale specifica.
5. Piattaforme Interattive: Rilascio pubblico di due atlanti web interattivi per l'esplorazione delle feature.

4. Risultati Principali

Superposizione e Organizzazione Biologica

• Superposizione: Solo l'0,2% delle feature SAE è allineato con gli assi SVD. Il 99,8% delle feature è "nuovo" e porta il 98,7% delle annotazioni ontologiche.
• Qualità Biologica: Tra il 29% e il 59% delle feature (a seconda del modello e del layer) è annotato con pathway biologici o interazioni proteiche.
• Profilo a U: Le feature dei layer iniziali (0-4) mappano su macchinari molecolari (es. ciclo cellulare, replicazione DNA). I layer intermedi (5-9) mostrano una diminuzione dell'annotazione (rappresentazioni astratte). I layer finali (10-17) mostrano un recupero di specificità verso programmi cellulari integrati (es. differenziamento, segnalazione).
• Moduli di Co-attivazione: Le feature si organizzano in 141 moduli (Geneformer) e 76 moduli (scGPT) biologicamente coerenti, che evolvono da unità molecolari a programmi cellulari complessi.
• Autostrade Informativa: Esiste una connettività funzionale pervasiva tra i layer (97-99,8% delle feature sono "autostrade" dell'informazione), nonostante le feature siano quasi completamente specifiche per layer (poca persistenza diretta dei vettori di peso).

Specificità Causale e Limiti

• Causal Patching: L'ablazione di singole feature mostra una specificità causale significativa (mediana 2,36x, fino a 114,5x per le feature migliori), indicando che le feature sono necessarie per il calcolo del modello.
• Fallimento nella Logica Regolatoria: Quando testati contro dati CRISPRi su larga scala, solo 3 su 48 fattori di trascrizione (6,2%) mostrano risposte di feature specifiche per i loro target regolatori noti. Il modello rileva che una perturbazione è avvenuta (cambiamento di stato cellulare), ma non codifica quali target specifici dovrebbero essere regolati.
• Controllo Multi-Tessuto: L'addestramento di SAE su dati multi-tessuto (K562 + Tabula Sapiens) ha portato a un miglioramento marginale (da 6,2% a 10,4%), non sistematico. Questo conferma che il collo di bottiglia è la rappresentazione interna del modello (Geneformer), non la mancanza di diversità nei dati di addestramento degli SAE.

5. Significato e Implicazioni

Questo studio ridefinisce i limiti della conoscenza attuale dei modelli fondazione per cellule singole:

• Conoscenza vs. Logica: I modelli hanno interiorizzato una conoscenza biologica organizzata (membri di pathway, interazioni proteiche, moduli funzionali), ma mancano della logica causale regolatoria necessaria per prevedere l'esito specifico di perturbazioni genetiche.
• Superposizione come Caratteristica Fondamentale: Le tecniche standard di interpretazione (come l'analisi lineare o la SVD) falliscono nel catturare la maggior parte della struttura biologica appresa dai modelli a causa della superposizione. Gli SAE sono essenziali per svelare questa ricchezza.
• Direzione Futura: Gli obiettivi di addestramento attuali (es. previsione del prossimo token o gene mascherato) sembrano favorire l'apprendimento di correlazioni statistiche. Per ottenere una vera logica regolatoria, sarà necessario incorporare obiettivi di addestramento specifici per le perturbazioni (perturbation-aware objectives) durante il pre-training.
• Strumento per la Comunità: Gli atlanti rilasciati offrono una nuova lente per esplorare il calcolo biologico nei modelli transformer, permettendo di navigare oltre 100.000 feature organizzate.

In sintesi, il lavoro dimostra che mentre i modelli fondazione per cellule singole sono potenti "enciclopedie" di correlazioni biologiche, non sono ancora "motori di ragionamento" capaci di simulare la causalità delle reti regolatorie geniche.