In Search of Manifolds Inside Protein Language Models: A Largely Negative Report
Diese Arbeit untersucht systematisch die Manifold-Hypothese in Protein-Sprachmodellen (pLMs) unter Verwendung einer umfassenden Batterie geometrischer und topologischer Diagnostika und kommt zu dem Schluss, dass die Repräsentationen von pLMs im Gegensatz zu Single-Cell-Foundation-Modellen vorwiegend hochdimensional und linear anstatt um niederdimensionale Mannigfaltigkeiten organisiert sind.