Mechanistic Interpretability of Biological Foundation Models: An Empirical Analysis of scGPT Gene-Embedding Geometry
Dit artikel toont empirisch aan dat de statische gen-token embeddingruimte van het scGPT-fundamentiemodel detecteerbare, zij het matige, informatie over bekende fysieke eiwit-eiwitinteracties codeert, zoals blijkt uit significant hogere cosinusovereenkomsten en interactievoorspellingsmetrieken voor interagerende genparen vergeleken met niet-interagerende controles.