Mechanistic Interpretability of Biological Foundation Models: An Empirical Analysis of scGPT Gene-Embedding Geometry

Sintesi Tecnica: Interpretabilità Meccanicistica dei Modelli di Fondazione Biologici

Definizione del Problema
Sebbene i modelli di fondazione biologici (come scGPT) siano ampiamente dichiarati capaci di apprendere una conoscenza biologica strutturata, la ricerca sull'interpretabilità spesso si affida a esempi qualitativi o a punteggi di performance su task a valle, piuttosto che ad un'analisi diretta delle rappresentazioni interne. Esiste una lacuna critica nel comprendere se questi modelli codifichino strutture biologiche specifiche e note — come le interazioni fisiche proteina-proteina — all'interno dei loro parametri statici interni prima di qualsiasi contestualizzazione specifica per la cellula. Questo articolo affronta una domanda empirica ristretta: lo spazio di embedding dei token genici appreso dal modello scGPT codifica strutture di interazione fisica note tra i prodotti genici umani?

Metodologia
Lo studio esegue un'analisi empirica del checkpoint pubblico dell'uomo di scGPT, isolando specificamente la matrice statica di embedding dei token genici (60.694 geni, 512 dimensioni) prima di qualsiasi computazione nei layer del transformer o dei valori di espressione specifici per la cellula.

1. Fonti dei Dati:
   • Modello: Checkpoint umano scGPT (Cui et al., 2024a).
   • Verità Fondamentale delle Interazioni (Ground Truth): Sono stati utilizzati due database indipendenti:
     • STRING v12.0: Link fisici umani mappati su simboli genici, che risultano in 726.387 coppie uniche su 18.441 geni.
     • BioGRID 5.0.259: Interazioni fisiche umane, che risultano in 89.187 coppie uniche su 11.250 geni.
2. Disegno Sperimentale:
   • Analisi della Similarità del Coseno: Gli autori hanno calcolato le similarità del coseno pairwise tra vettori di embedding di partner di interazione fisica noti rispetto a coppie non interagenti.
   • Campionamento Negativo (Negative Sampling): Per controllare il bias da "hub" (dove geni altamente connessi potrebbero gonfiare artificialmente la similarità), le coppie negative sono state campionate dallo stesso universo genico con un matching della frequenza degli endpoint rispetto al set positivo.
   • Baseline: Sono state stabilite baseline di permutazione dei label genici scambiando casualmente le righe di embedding per garantire che il segnale non fosse un artefatto della procedura di campionamento o della geometria globale.
   • Stratificazione: Le interazioni STRING sono state analizzate attraverso bin di punteggio di confidenza (≥400, ≥700, ≥900) per testare una relazione dose-risposta.
   • Arricchimento dei Vicini più Prossimi (Nearest-Neighbor Enrichment): Lo studio ha calcolato la Precision@k (k=10, 50, 100) per i partner di interazione noti tra i vicini più prossimi nello spazio di embedding, confrontando la precisione osservata con l'aspettativa casuale basata sul grado del gene.

Risultati Chiave
L'analisi rivela un segnale consistente, sebbene moderato, che indica che gli embedding statici di scGPT contengono informazioni sulle interazioni fisiche:

• Recupero degli Archi (AUROC): I partner di interazione fisica noti presentavano una similarità del coseno significativamente più alta rispetto ai non-archi corrispondenti.
  • STRING: L'AUROC aumenta con la confidenza, variando da 0,622 (punteggio ≥400) a 0,704 (punteggio ≥900).
  • BioGRID: L'AUROC è 0,589.
  • Baseline: Le baseline di permutazione sono tornate costantemente a ~0,50, confermando che il segnale dipende dall'identità del gene all'interno dello spazio appreso.
• Monotonicità: È stata osservata un'immissione monotona della media della similarità del coseno degli embedding all'aumentare dei punteggi di confidenza STRING (da 0,011 per i non-archi a 0,111 per gli archi 900–1000), suggerendo che la geometria traccia la confidenza dell'interazione piuttosto che solo lo stato binario dell'arco.
• Arricchimento dei Vicini più Prossimi: La struttura del vicinato locale è arricchita per i partner fisici.
  • Per STRING punteggio ≥700, la Precision@10 ha mostrato un arricchimento di 52,9 volte rispetto all'aspettativa casuale.
  • Per BioGRID, la Precision@10 ha mostrato un arricchimento di 17,3 volte.
  • Nonostante gli alti rapporti di arricchimento, la precisione assoluta rimane bassa (ad esempio, <5% dei primi 10 vicini sono partner fisici registrati per STRING ≥700).

Contributi Chiave

• Evidenza Empirica Diretta: Il documento fornisce prove quantitative che il layer di embedding statico dei token genici di un modello di fondazione single-cell (scGPT) codifica già una rilevabile struttura di interazione fisica, indipendentemente dalle attivazioni contestualizzate per la cellula.
• Validazione Convergente: Il segnale è validato attraverso due risorse di interazione indipendenti (STRING e BioGRID), sopravvive a un rigoroso matching della frequenza degli endpoint e dimostra una relazione dose-risposta con la confidenza dell'interazione.
• Ambito di Interpretabilità Raffinato: Lo studio delinea il confine tra "organizzazione biologica" e "meccanismo causale", mostrando che, sebbene il modello organizzi i geni per interazione fisica, ciò non equivale all'apprendimento di una logica regolatoria causale.

Significatività e Rivendicazioni
Gli autori inquadrano le loro conclusioni con deliberata modestia. Il documento supporta una rivendicazione meccanicistica limitata: la geometria del token genico di input di scGPT è biologicamente organizzata prima che inizi l'elaborazione contestuale. Ciò suggerisce che i layer successivi del transformer non partono da identificatori genici arbitrari, ma da vettori già debolmente strutturati dai dati di interazione molecolare.

Tuttavia, gli autori dichiarano esplicitamente ciò che i risultati non provano:

• Il segnale è insufficiente per la predizione autonoma delle interazioni fisiche (gli AUROC di 0,59–0,70 non sono predittori forti).
• La presenza di segnali di interazione fisica negli embedding statici non implica che il modello abbia appreso meccanismi regolatori causali o direzionalità.
• Lo studio non afferma che scGPT utilizzi questi embedding in modo causale per la predizione di perturbazioni.

La significatività risiede nell'instaurare una baseline per l'interpretabilità meccanicistica nei modelli di fondazione biologici: la "tabella di consultazione" stessa contiene una struttura biologica. Il lavoro futuro, suggeriscono gli autori, dovrebbe concentrarsi su interventi causali e analisi dei circuiti a livello di feature nelle attivazioni più profonde per comprendere come questo segnale di input venga utilizzato.