Beyond Gene Reconstruction: Learning Cell Representations through Complementary Transcriptomic Views

Sintesi Tecnica: Oltre la ricostruzione genica: apprendere le rappresentazioni cellulari attraverso viste trascrizioniche complementari

Enunciato del problema
I modelli di base attuali per la trascrittomica single-cell sono prevalentemente pre-addestrati tramite la predizione di valori di espressione mascherati (Masked Language Modeling, o MLM). Sebbene questo obiettivo apprenda efficacemente le dipendenze a livello di singolo gene e le strutture di co-espressione latente, esso fornisce una supervisione solo a livello del singolo gene. Di conseguenza, questi modelli non ottimizzano direttamente le rappresentazioni dell'intera cellula, che sono critiche per compiti a valle come l'annotazione dei tipi cellulari e l'inferenza delle reti di regolazione genica (GRN). Inoltre, una forte prestazione di ricostruzione non garantisce rappresentazioni cellulari discriminanti o trasferibili.

Inoltre, l'applicazione del classico apprendimento contrastivo ai dati single-cell presenta due sfide specifiche del dominio:

1. Costruzione delle coppie positive: A differenza delle aumentazioni per immagini (ad es. il ritaglio) che preservano l'identità dell'oggetto, perturbare i valori di espressione genica può alterare lo stato biologico sottostante o l'identità cellulare, rendendo difficile la costruzione di coppie positive valide.
2. Scorciatoie nelle coppie negative: Nei dati trascrittomici sparsi, diverse cellule spesso mantengono subset differenti di identità geniche. L'apprendimento contrastivo standard rischia di permettere al modello di distinguere le coppie negative basandosi esclusivamente sulla composizione del set di geni (identità del gene) piuttosto che apprendere la corrispondenza tra geni specifici e i loro valori di espressione.

Metodologia: CoCoS
Gli autori propongono CoCoS (Co-expression-guided Contrastive pretraining for Single-cell), un framework progettato per apprendere le rappresentazioni cellulari attraverso viste trascrittomiche complementari affrontando al contempo le sfide sopra citate. Il metodo integra tre adattamenti specifici:

1. Partizionamento genico guidato dalla co-espressione:
   Per costruire coppie positive biologicamente valide senza alterare l'identità cellulare, CoCoS partiziona i geni di ogni cellula in due viste complementari basate su un grafo di co-occorrenza. I geni che co-occorrono frequentemente in stati di alta espressione vengono assegnati a viste differenti. Per ogni cellula, il modello genera due viste: una maschera i valori di espressione nel primo set di geni, l'altra maschera i valori nel secondo set. Ciò garantisce che ogni valore genico sia osservato in una vista e mascherato nell'altra, preservando le identità geniche originali e i valori di espressione fornendo al contempo informazioni complementari.

2. Costruzione di set di contrasto sensibili all'espressione:
   Per evitare che il modello utilizzi l'identità del set genico come scorciatoia, CoCoS costruisce "negativi difficili". Per una vista di cellula ancora (anchor), il modello crea negativi con identità corrispondente permutando i valori di espressione pur mantenendo invariate le identità dei geni e il pattern di mascheramento. Poiché gli input originali e permutati contengono esattamente lo stesso set di geni, il modello non può distinguerli basandosi solo sulla composizione del set genico; deve apprendere la specifica corrispondenza tra geni e i loro valori di espressione. Il set di contrasto include questi negativi difficili insieme agli standard in-batch negatives provenienti da altre cellule.

3. Inizio del contrasto con gate di competenza (Competence-Gated Contrastive Onset):
   Il framework introduce un controllore dipendente dai dati per determinare quando attivare l'obiettivo contrastivo. All'inizio dell'addestramento, il modello non ha ancora appreso dipendenze stabili tra i geni attraverso la ricostruzione mascherata. Introdurre immediatamente la perdita contrastiva potrebbe causare l'allineamento delle viste utilizzando indizi tecnici (ad es. dimensione della libreria o sparsità) piuttosto che la corrispondenza biologica. CoCoS utilizza una coorte "sentinella" fissa e non etichettata per monitorare tre metriche: concordanza del programma genico (separazione tra viste accoppiate e disallineate), errore di ricostruzione e diversità dell'embedding (repertorio). Il peso contrastivo rimane pari a zero finché queste metriche non indicano che il modello ha raggiunto una competenza di ricostruzione stabile e una struttura tra le viste, dopodiché il peso aumenta gradualmente.

Contributi chiave

• Identificazione del disallineamento: Gli autori caratterizzano il disallineamento tra la ricostruzione del valore di espressione mascherato e l'apprendimento della rappresentazione dell'intera cellula, definendo tre requisiti specifici per l'applicazione dell'apprendimento contrastivo nel pre-addestramento single-cell: viste positive biologicamente valide, mitigazione delle scorciatoie dell'identità genica nei negativi e tempistica appropriata per la supervisione contrastiva.
• Framework CoCoS: L'introduzione di un framework di pre-addestramento che progetta congiuntamente viste guidate dalla co-espressione, set di contrasto sensibili all'espressione con derangements di identità fissa e un meccanismo di inizio a gate di competenza.
• Validazione empirica: Esperimenti estesi che dimostrano come la supervisione contrastiva dell'intera cellula limitata produca rappresentazioni più discriminanti e trasferibili rispetto ai metodi basati sulla pura ricostruzione.

Risultati
Gli autori hanno valutato CoCoS (specificamente la variante CoCoS-GPC) su compiti a valle utilizzando embedding della cellula intera congelati:

• Annotazione del tipo cellulare: Sotto un protocollo di valutazione cell-forward unificato su dieci dataset, CoCoS-GPC ha raggiunto la massima accuratezza media k-NN (74,82%) e l'accuratezza del linear probe (78,85%) tra le varianti confrontate, superando modelli consolidati come scGPT e Geneformer V2-104M.
• Inferenza della rete di regolazione genica (GRN): In una valutazione GRN su sei reti, CoCoS-GPC ha registrato i massimi valori medi di AUROC (0,8733) e AUPRC (0,7120). Gli autori notano che, sebbene la media sia la più alta, la variante con le migliori prestazioni varia tra le singole reti.
• Studi di ablazione:
  • Design delle viste: Il campionamento sensibile all'espressione ha superato il campionamento uniforme e i pannelli casuali bilanciati.
  • Costruzione dei negativi: Test diagnostici hanno confermato che i negativi a identità fissa hanno mitigato con successo la dipendenza dalla composizione del set genico, restringendo il divario di confidenza tra i negativi ordinari e i derangement a identità corrispondente.
  • Tempistica di inizio: Un inizio a gate di competenza (attivato al passo 93.000) ha superato il contrasto immediato e gli schemi di warmup fissi (1 o 2 epoche), validando la necessità di attendere la competenza di ricostruzione prima di introdurre la supervisione contrastiva.

Significatività e affermazioni
L'articolo afferma che l'apprendimento contrastivo tramite viste complementari è una direzione efficace per estendere il pre-addestramento single-cell oltre la ricostruzione genica. Affrontando le sfide specifiche della validità delle coppie positive, delle scorciatoie dei negativi e della tempistica di addestramento, CoCoS stabilisce un metodo che produce rappresentazioni cellulari più discriminanti e trasferibili. Gli autori posizionano questo lavoro non come un sostituto della ricostruzione, ma come un complemento necessario che ottimizza la geometria degli embedding dell'intera cella, migliorando così le prestazioni su compiti a valle come l'annotazione del tipo cellulare e l'inferenza GRN all'interno dei dataset e dei protocolli valutati. I risultati suggeriscono che la supervisione contrastiva dell'intera cella, opportunamente limitata, è superiore agli approcci basati sulla pura ricostruzione per l'apprendimento di rappresentazioni cellulari trasferibili.