Mechanistic Interpretability of Biological Foundation Models: An Empirical Analysis of scGPT Gene-Embedding Geometry

Technische Samenvatting: Mechanistische Interpreteerbaarheid van Biologische Fundamentele Modellen

Probleemstelling
Hoewel biologische fundamentele modellen (zoals scGPT) breed worden geclaimd om gestructureerde biologische kennis te leren, leunt interpretatieonderzoek vaak op kwalitatieve voorbeelden of prestaties bij downstream-taken in plaats van op directe analyse van interne representaties. Er bestaat een kritische kloof in het begrip of deze modellen specifieke, bekende biologische structuren — zoals fysieke eiwit-eiwitinteracties — coderen binnen hun statische interne parameters voordat er enige cel-specifieke contextualisering plaatsvindt. Dit artikel behandelt een nauwe empirische vraag: Codeert de geleerde gen-token embedding-ruimte van het scGPT-model bekende fysieke interactiestructuren tussen menselijke genproducten?

Methodologie
De studie voert een empirische analyse uit van de publieke scGPT menselijke checkpoint, waarbij specificaal de statische input gen-token embedding-matrix (60.694 genen, 512 dimensies) wordt geïsoleerd vóór enige transformer-laag berekeningen of cel-specifieke expressiewaarden.

1. Databronnen:
   • Model: scGPT menselijke checkpoint (Cui et al., 2024a).
   • Interactie Grondwaarheid: Twee onafhankelijke databases werden gebruikt:
     • STRING v12.0: Menselijke fysieke links gemapt naar gen-symbolen, resulterend in 726.387 unieke paren over 18.441 genen.
     • BioGRID 5.0.259: Menselijke fysieke interacties, resulterend in 89.187 unieke paren over 11.250 genen.
2. Experimenteel Ontwerp:
   • Cosine Similarity Analyse: De auteurs berekenden de paarwijze cosine-gelijkenis tussen embedding-vectoren van bekende fysieke interactiepartners versus niet-interagerende paren.
   • Negative Sampling: Om "hub"-bias te controleren (waarbij zeer verbonden genen de gelijkenis kunstmatig kunnen verhogen), werden negatieve paren gesampled uit hetzelfde gen-universum met endpoint-frequentie matching aan de positieve set.
   • Baselines: Gen-label permutatie baselines werden vastgesteld door embedding-rijen willekeurig te husselen om te waarborgen dat het signaal geen artefact was van de sampling-procedure of globale geometrie.
   • Stratificatie: STRING-interacties werden geanalyseerd over verschillende confidence score bins (≥400, ≥700, ≥900) om een dosis-responsrelatie te testen.
   • Nearest-Neighbor Verrijking: De studie berekende Precision@k (k=10, 50, 100) voor bekende interactiepartners onder de dichtstbijzijnde buren in de embedding-ruimte, waarbij de geobserveerde precisie werd vergeleken met de willekeurige verwachting gebaseerd op gen-graad.

Belangrijkste Resultaten
De analyse onthult een consistent, zij het matig, signaal dat aangeeft dat de statische embeddings van scGPT fysieke interactie-informatie bevatten:

• Edge Recovery (AUROC): Bekende fysieke interactiepartners vertoonden een significant hogere cosine-gelijkenis dan gematchte niet-randen (nonedges).
  • STRING: AUROC nam toe met de confidence, variërend van 0,622 (score ≥400) tot 0,704 (score ≥900).
  • BioGRID: AUROC was 0,589.
  • Baselines: Permutatie-baselines keerden consistent terug naar ~0,50, wat bevestigt dat het signaal afhankelijk is van de identiteit van het gen binnen de geleerde ruimte.
• Monotoniciteit: Er was een monotone toename in de gemiddelde embedding cosine naarmate de STRING confidence scores stegen (van 0,011 voor niet-randen naar 0,111 voor score 900–1000 randen), wat suggereert dat de geometrie de interactie-betrouwbaarheid volgt in plaats van alleen de binaire randstatus.
• Nearest-Neighbor Verrijking: De lokale buurtstructuur is verrijkt met fysieke partners.
  • Voor STRING score ≥700 toonde Precision@10 een 52,9-voudige verrijking ten opzichte van de willekeurige verwachting.
  • Voor BioGRID toonde Precision@10 een 17,3-voudige verrijking.
  • Ondanks de hoge verrijkingsratio's blijft de absolute precisie laag (bijv. <5% van de top-10 buren zijn geregistreerde fysieke partners voor STRING ≥700).

Belangrijkste Bijdragen

• Direct Empirisch Bewijs: Het artikel levert kwantitatief bewijs dat de statische input embedding-laag van een single-cell fundamenteel model (scGPT) al detecteerbare fysieke interactiestructuur codeert, onafhankelijk van cel-gecontextualiseerde activaties.
• Convergerende Validatie: Het signaal wordt gevalideerd via twee onafhankelijke interactiebronnen (STRING en BioGRID), overleeft rigoureuze endpoint-frequentie matching en vertoont een dosis-responsrelatie met de interactie-betrouwbaarheid.
• Verfijnde Interpretatie-scope: De studie bakent de grens af tussen "biologische organisatie" en "causaal mechanisme", waarbij wordt aangetoond dat hoewel het model genen organiseert op basis van fysieke interactie, dit niet gelijkstaat aan het leren van causale regulatoire logica.

Betekenis en Claims
De auteurs formuleren hun conclusies met opzettelijke bescheidenheid. Het artikel ondersteunt een beperkte mechanistische claim: de scGPT input gen-token geometrie is biologisch georganiseerd voordat de contextuele verwerking begint. Dit suggereert dat downstream transformer-lagen niet starten vanuit willekeurige gen-identificatoren, maar vanuit vectoren die al zwak gestructureerd zijn door moleculaire interactiedata.

De auteurs stellen echter expliciet wat de resultaten niet bewijzen:

• Het signaal is onvoldoende voor zelfstandige fysieke interactievoorspelling (AUROCs van 0,59–0,70 zijn geen sterke voorspellers).
• De aanwezigheid van fysieke interactiesignalen in statische embeddings impliceert niet dat het model causale regulatoire mechanismen of directionaliteit heeft geleerd.
• De studie claimt niet dat scGPT deze embeddings causaal gebruikt voor perturbatievoorspelling.

De betekenis ligt in het vaststellen van een baseline voor mechanistische interpreteerbaarheid in biologische fundamentele modellen: de "lookup table" zelf bevat biologische structuur. Toekomstig werk, suggereren de auteurs, zou zich moeten richten op causale interventies en feature-level circuitanalyse in diepere activaties om te begrijpen hoe dit inputsignaal wordt benut.