Where in the spectrum does biology live? A confound audit and a compaction law for gene embeddings of single-cell foundation models

Sintesi Tecnica: "Dove vive la biologia nello spettro? Un audit dei confondimenti e una legge di compattazione per gli embedding genici dei modelli fondazionali single-cell"

Problematica
I modelli fondazionali single-cell (scFM) generano embedding vettoriali per i geni che hanno dimostrato utilità nel recuperare strutture biologiche (ad es., compartimenti subcellulari, complessi proteici, pathway) senza fine-tuning. La letteratura recente suggerisce che gli assi spettrali principali di questi embedding organizzino i geni secondo specifiche proprietà biologiche (ad es., localizzazione). Tuttavia, basandosi sulle lezioni apprese dal naturale linguaggio elaborato (NLP), dove le direzioni dominanti degli embedding spesso codificano la frequenza dei token piuttosto che la semantica, questo articolo investiga se gli assi principali degli embedding genici degli scFM codifichino in modo simile covariate tecniche — specificamente l'abbondanza genica e l'ampiezza di rilevamento — invece del significato biologico. Inoltre, il documento mette in discussione se il "confine a basso rango" (ad es., rank 64) identificato in studi precedenti sia una proprietà universale della struttura biologica o un artefatto specifico del modello.

Metodologia
Lo studio analizza le matrici di embedding statiche gene-token di otto modelli rilasciati pubblicamente: sette transformer single-cell addestrati su dati di espressione (scGPT, varianti di Geneformer, AIDO.Cell, scFoundation, tGPT) e un modello linguistico proteico congelato (ESM2-15B) utilizzato da Universal Cell Embeddings come controllo negativo. Tutte le analisi sono limitate a un universo comune di 17.846 geni.

La metodologia consiste in due parti principali:

1. Audit dei Confondimenti (Parte A):

   • Regressione Spettrale: L'autore effettua la regressione di ogni asse spettrale delle matrici di embedding contro una base di spline cubiche flessibili di due covariate di abbondanza: il livello di espressione media e l'ampiezza di rilevamento (frazione di tipi cellulari in cui il gene è rilevato). Calcola l'$R^2$ per ogni asse per quantificare quanta varianza è spiegata dall'abbondanza.
   • Cancellazione Lineare: Lo spazio sottostante l'abbondanza viene eliminato linearmente dalla matrice di embedding tramite proiezione dello spazio nullo (residualizzazione rispetto alla base delle spline), e i benchmark di recupero vengono rieseguiti.
   • Negativi Appaiati per Abbondanza: I benchmark di recupero sono ricostruiti in modo che gli esempi negativi siano accoppiati agli esempi positivi per abbondanza e ampiezza di rilevamento. Ciò assicura che un modello si affidi solo ai punteggi di abbondanza per caso.
   • Benchmark: Vengono valutati cinque tipi di relazione: localizzazione subcellulare, appartenenza a complessi, appartenenza a pathway, legami regolatore-target e un controllo di co-espressione deliberatamente confuso.

2. Legge di Compattazione (Parte B):

   • Definizione di Bandwidth ($k^*$): Per ogni relazione e modello, l'autore definisce $k^*$ come il numero minimo di assi spettrali principali necessari per recuperare il 95% della massima performance di recupero del modello (tetto massimo).
   • Decomposizione della Varianza: Viene eseguita un'ANOVA a due vie su $\log_2(k^*)$ con i fattori "relazione" e "modello" per determinare se la larghezza di banda richiesta sia una proprietà della biologia (coerente tra i modelli) o dell'architettura del modello.
   • Analisi delle Curve: Le curve di compattazione sono adattate a una funzione esponenziale stesa per caratterizzare come la performance scala con il rango mantenuto.

Risultati Chiave

• Dominanza dell'Abbondanza negli Assi Principali: Per sei dei sette modelli addestrati sui conteggi, l'asse spettrale principale è dominato dall'abbondanza ($R^2 = 0,51–0,76$), superando significativamente un nulla per permutazione. Il modello linguistico proteico (ESM2), che non ha mai visto conteggi di espressione, mostra un carico di abbondanza trascurabile ($R^2 \approx 0,009$). Il carico è altamente concentrato; oltre l'asse 64, la spiegazione dell'abbondanza scende sotto lo 0,01.
• L'Effetto "All-But-The-Top": Eliminare i primi 2–4 assi spettrali migliora la performance di recupero per le relazioni biologiche curate (complessi, pathway) sotto negativi appaiati per abbondanza, mentre la performance per il controllo di co-espressione diminuisce. Questo replica il fenomeno "all-but-the-top" osservato negli embedding delle parole.
• Posizione del Segnale Biologico: Il picco di recupero a larghezza di banda limitata non si trova nella parte alta dello spettro, ma nella banda spettrale $[32, 64)$. Gli assi principali servono principalmente come "contabilità" per l'abbondanza, mentre la struttura biologica risiede nella parte centrale dello spettro.
• Entità del Confondimento:
  • Co-espressione: Largamente risolvibile solo con l'abbondanza; la performance di recupero crolla quando l'abbondanza viene controllata.
  • Complesso/Pathway: Circa un terzo del margine di recupero apparente rispetto al caso nei protocolli standard è attribuibile all'abbondanza.
  • Localizzazione: Il recupero a coppie è debole e largamente non informativo. Tuttavia, un probe supervisionato conferma che l'informazione sul compartimento è reale e non guidata dall'abbondanza, ma è distribuita su molti assi (decine), non trasportata da un singolo asse dominante.
• Bandwidth Specifiche del Modello: L'ipotesi che $k^*$ sia una proprietà universale della biologia è rifiutata. Nella decomposizione della varianza di $\log_2(k^*)$, il fattore "modello" spiega tanta o più varianza rispetto al fattore "relazione" (ad es., $\eta^2 = 0,62$ per il modello contro $0,17$ per la relazione in condizioni di appaiamento per abbondanza). I budget assoluti di compattazione non si trasferiscono tra le architetture.
• Ordinamento Riproducibile: Sebbene i valori assoluti di $k^*$ varino tra i modelli, l'ordine delle relazioni per larghezza di banda è riproducibile tra le architetture (Kendall's $W = 0,64$). Relazioni come la co-espressione richiedono meno assi, mentre l'appartenenza a complessi e i legami regolatore-target ne richiedono di più.
• Sufficienza del Rango 64: Una troncatura al rango 64 mantiene l'85–95% del tetto massimo per la maggior parte delle relazioni in media, ma questo non è privo di perdite. Per l'appartenenza a complessi e il recupero TF-target, può costare il 13–26% del tetto massimo nei casi peggiori.

Significatività e Rivendicazioni
L'articolo sostiene che sia necessaria una ricalibrazione per l'interpretazione degli assi spettrali nei modelli fondazionali single-cell. Afferma che le rivendicazioni di "sistemi di coordinate biologiche" basate sugli assi principali debbano essere accompagnate da metriche di regressione dell'abbondanza ($R^2$) e dalla performance sotto negativi appaiati per l'abbondanza, al fine di distinguere il segnale biologico dalle covariate tecniche.

Per quanto riguarda la compressione a basso rango, il documento confuta l'idea di una legge di compattazione biologica universale. Asserisce che, sebbene la difficoltà relativa di diverse relazioni biologiche sia coerente tra i modelli, il numero assoluto di assi necessari per catturarle dipende dal modello. Di conseguenza, i professionisti non dovrebbero assumere che un rango fisso (ad es., 64) sia sufficiente per tutte le relazioni e per tutti i modelli; dovrebbero invece misurare la larghezza di banda per la specifica relazione di interesse. L'autore sottolinea che i controlli di confondimento (cancellazione e appaiamento) aumentano costantemente la larghezza di banda richiesta, suggerendo che le stime precedenti di sufficienza a basso rango potrebbero essere state ottimistiche.

Il lavoro conclude che il "confine di basso rango vitale" è un compromesso che deve essere misurato per relazione e per modello, piuttosto che una proprietà costante dei dati. I metodi proposti (regressione dell'abbondanza e negativi appaiati) sono presentati come controlli rapidi e predefiniti per le future valutazioni degli embedding genici.