🧬 biology

In Search of Manifolds Inside Protein Language Models: A Largely Negative Report

Dit artikel onderzoekt systematisch de manifold-hypothese in proteïnelanguagemodellen (pLMs) met behulp van een uitgebreide batterij aan geometrische en topologische diagnostische instrumenten, waarbij wordt geconcludeerd dat, in tegen tegenstelling tot single-cell foundation models, pLM-representaties overwegend hoogdimensionaal en lineair zijn in plaats van georganiseerd rond lage-dimensionale manifolds.

Oorspronkelijke auteurs: Olivia Denvis

Gepubliceerd 2026-07-22

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Olivia Denvis

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer

Stel je voor dat je een enorme, chaotische bibliotheek probeert te begrijpen. In deze bibliotheek is elk boek een eiwit, de minuscule moleculaire machines die alles in het leven opbouwen en laten functioneren. Lange tijd hebben wetenschappers superintelligente computerprogramma's gebruikt, zogenaamde "eiwittaalmodellen", om deze boeken te lezen. Deze programma's zijn als digitale detectives die miljarden eiwitsequenties hebben gelezen en hebben geleerd hoe ze kunnen vouwen, wat ze doen en hoe ze kunnen veranderen.

Maar hier is de grote vraag: hoe "denkt" de computer eigenlijk over deze eiwitten? Wanneer de computer naar een eiwit kijkt, ziet hij dan een rommelige hoop data, of ziet hij een verborgen, gladde vorm? Wetenschappers hebben een favoriet idee genaamd de "manifold-hypothese". Denk aan dit: stel je een gigantisch, gekreukeld vel papier voor dat in een enorme 3D-ruimte zweeft. Zelfs al zweeft het papier in een 3D-ruimte, als je een mier zou zijn die eroverheen loopt, zou de wereld plat en tweedimensionaal aanvoelen. De "manifold-hypothese" suggereert dat zelfs al is de hersenpan van de computer enorm en complex (hoog-dimensionaal), de belangrijke informatie over eiwitten zich eigenlijk verbergt op een glad, laag-dimensionaal oppervlak, zoals dat platte vel papier. Dit idee was een succes in andere gebieden, zoals bij het bestuderen van hoe cellen groeien en veranderen, waar wetenschappers deze gladde, laag-dimensionale "wegen" vonden waar cellen langs reizen. Dus, de grote vraag is: hebben deze eiwitdetecterende computers ook deze gladde, verborgen wegen in hun hersenen?

Een onderzoeker genaamd Olivia Denvis besloot een schattenjacht te ondernemen om deze verborgen wegen in eiwittaalmodellen te vinden. Ze gokte niet zomaar; ze bouwde een enorme "detectie-batterij", die als een supergeavanceerde metaaldetector en kaartmaker ineen is geslagen. Ze testte dit instrument op verschillende verschillende eiwitmodellen, waaronder de beroemde ESM-2 familie (die variëren in grootte van kleine 8 miljoen parameters tot een gigantische 3 miljard) en anderen zoals ProtBERT en ProtT5. Ze gebruikte een verscheidenheid aan slimme trucjes om te zien of de data daadwerkelijk op een glad, laag-dimensionaal oppervlak lag. Ze controleerde of de data een specifieke "intrinsieke dimensie" had (een chique manier om te vragen: hoeveel richtingen hebben we echt nodig om dit te beschrijven?), ze probeerde de data plat te slaan op 2D-kaarten om te zien of er patronen ontstonden, en ze zocht zelfs naar topologische lussen (zoals het gat in een donut) die zouden bewijzen dat de data de vorm had van een specifiek object.

Het resultaat van deze jacht? Een grotendeels negatief rapport. De schattenjacht leverde niets op.

Denvis kwam tot de conclusie dat het idee van een gladde, laag-dimensionale weg binnen deze eiwitmodellen waarschijnlijk onjuist is. In plaats van een plat vel papier dat in een 3D-ruimte zweeft, ontdekte ze dat de data zich eigenlijk verspreid heeft over een enorme, hoog-dimensionale ruimte. Toen ze de "intrinsieke dimensie" mat (het aantal richtingen dat nodig is om de data te beschrijven), was dit geen klein, beheersbaar getal zoals 2 of 3. Voor het middelgrote model (ESM-2 650M) was de dimensie rond de 63, en voor het gigantische model met 3 miljard parameters sprong het naar 88. Nogzegender was dat naarmate ze de modellen groter en slimmer maakte, de dimensie groter werd, niet kleiner. Als er één enkele, gladde weg zou zijn, zou de dimensie gelijk zijn gebleven of eenvoudiger zijn geworden naarmate de modellen verbeterden. In plaats daarvan leken de modellen steeds meer richtingen te gebruiken om informatie op te slaan, wat suggereert dat de structuur complex en "hoog-dimensionaal" is in plaats van een eenvoudige curve.

Ze probeerde ook de "kaartmakende" tools van de computer te gebruiken om de data plat te slaan naar 2D, net zoals we bij single-cell data doen. Maar wanneer ze dit deed, werd de nuttige informatie vernietigd. Het was alsof je een complexe, meerlagige taart probeert plat te drukken tot een pannenkoek; de smaak (de biologische informatie) ging verloren. Wanneer ze deze platgeslagen kaarten testte om te zien of ze zaken zoals eiwitstabiliteit of structuur konden voorspellen, presteerden ze vreselijk. Sterker nog, de eenvoudigste methode — simpelweg kijken naar de ruwe, hoog-dimensionale data met een rechte lijn (een lineaire probe) — werkte het best. De computer had geen gebogen, laag-dimensionale weg nodig; hij had een brede, platte snelweg met tientallen rijstroken nodig.

Bovendien zocht ze naar "lussen" of gaten in de data, wat zou wijzen op een specifieke vorm zoals een donut of een cirkel. Ze vond er geen. De data was topologisch "triviaal", wat betekent dat het gewoon een grote, solide klomp was zonder interessante vormen. Ze ontdekte ook dat de clusters van eiwitten die er op 2D-kaarten uitzagen alsof ze nette groepen vormden, eigenlijk een illusie waren. Wanneer ze de invloed van eenvoudige zaken zoals de lengte van het eiwit of de basis ingrediënten (aminozuren) waaruit het was opgebouwd, verwijderde, viel de groepering uit elkaar. De "manifold" die mensen dachten te zien, was slechts een reflectie van deze basis, saaie feiten, en niet een diepe, verborgen structuur.

Om er zeker van te zijn dat haar instrumenten niet kapot waren, testte ze ze op zaken waarvan ze wéét dat ze deze gladde wegen hadden, zoals een synthetische "Swiss roll"-vorm en echte data van enkelvoudige cellen. Haar instrumenten werkten perfect daar, waarbij ze de lage dimensies en de lussen vonden. Dit bewees dat haar methoden goed waren; het probleem was niet de instrumenten, maar de eiwitdata zelf.

Dus, wat betekent dit? Het blijkt dat eiwittaalmodellen niet lijken op de gladde, continue kaarten van de celontwikkeling. In plaats daarvan zijn ze meer als een enorme, hoog-dimensionale bibliotheek waar elk boek is georganiseerd door een complexe mix van lengte, samenstelling en familiegeschiedenis. De informatie is er, en ze is ongelooflijk nuttig, maar ze verbergt zich niet op een eenvoudig, laag-dimensionaal oppervlak. Ze is verspreid over een hoog-dimensionale ruimte, en proberen het in een eenvoudige 2D-kaart te dwingen, werpt de meest belangrijke details weg. Het artikel concludeert dat we voor eiwitmodellen moeten stoppen met het zoeken naar gladde, gebogen wegen en moeten beginnen met het waarderen van de brede, hoog-dimensionale snelwegen waarop ze daadwerkelijk reizen.

Technische Samenvatting: Op zoek naar manifolds binnen proteïne-taalmodellen

Probleemstelling
De manifold-hypothese stelt dat hoogdimensionale data concentreren nabij een laagdimensionale, vloeiend variërende manifold (variëteit). Dit kader heeft succesvol de interpretatie van neurale representaties in single-cell foundation models georganiseerd, waarbij continue biologische processen (bijv. differentiatie, celcycli) zich manifesteren als herstelbare laagdimensionale structuren en topologische lussen. Het blijft echter een open vraag of proteïne-taalmodellen (pLMs), die getraind zijn op discrete, combinatorische sequentieruimtes, analoge laagdimensionale manifolds internaliseren. De auteurs onderzoeken of de hoogdimensionale activatieruimtes van pLMs een globale, exploiteerbare laagdimensionale structuur toelaten, of dat de "manifold"-metafoor ongepast is voor proteïne-sequentiedata.

Methodologie
De auteurs hebben een uitgebreide "manifold-detectie batterij" samengesteld en deze uniform toegepast op zeven proteïne-taalmodellen: de ESM-2 familie (variërend van 8M tot 3B parameters), ProtBERT en ProtT5. De analyse maakte gebruik van per-residue en mean-pooled sequentieniveau-embeddings van 40.000 sequenties afkomstig uit UniRef50, waarbij homologie werd gecontroleerd via MMseqs2 clustering.

De detectiebatterij bestond uit vier diagnostische families:

Schatting van de Intrinsieke Dimensie (ID): Gebruik van TwoNN, Maximum Likelihood Estimators (MLE) en PCA participation ratios om te bepalen of de dimensionaliteit stabiel is en significant lager dan de ambient breedte.
Niet-lineair Manifold Learning: Toepassing van Isomap, LLE, diffusion maps en UMAP om te beoordelen of het projecteren van data op laagdimensionale coördinaten de lokale buurtstructuur behoudt (gemeten via trustworthiness en geodesische connectiviteit).
Topologische Data-analyse: Berekening van persistente homologie (Vietoris–Rips) om robuuste topologische kenmerken (bijv. lussen) te detecteren boven de ruisvloer, gevalideerd tegen bootstrap null-modellen.
Controle van Confounding Variabelen: Regressie van sequentielengte, aminozuurcompositie, hydrofobiciteit en homologie om te bepalen of schijnbare clustering wordt gedreven door triviale covariaten.

Cruciaal is dat de batterij werd gevalideerd op positieve controles met bekende manifold-structuren: een Swiss roll (2-manifold), een single-cell celcyclus-dataset (topologische lus) en een synthetische torus. Downstream prestaties werden geëvalueerd door lineaire probes op ruwe embeddings te vergelijken met probes getraind op niet-lineaire manifold-coördinaten over vier taken: secundaire structuur voorspelling, remote homology classificatie, stabiliteitsregressie en subcellulaire lokalisatie.

Belangrijkste Resultaten
De studie leidt tot een grotendeels negatieve conclusie met betrekking tot het bestaan van laagdimensionale manifolds in pLMs:

Hoge en instabiele Intrinsieke Dimensie: De intrinsieke dimensie van pLM-representaties is hoog in absolute termen (bijv. TwoNN $\approx$ 63 voor ESM-2 650M) en groeit monotoon met de modelgrootte (van 22 voor 8M naar 88 voor 3B). In tegen tegenstelling tot een echte manifold, stabiliseert de geschatte dimensie niet over verschillende buutschalen; deze stijgt naarmate de buurtgrootte ( $k$ ) toeneemt.
Falen van Niet-lineaire Coördinaten: Niet-lineaire manifold-coördinaten presteren nooit beter dan lineaire probes op ruwe embeddings. Sterker nog, het dwingen van embeddings in laagdimensionale niet-lineaire ruimtes (bijv. 2D UMAP) degradeert de prestaties op downstream-taken catastrofaal (bijv. de nauwkeurigheid van remote homology daalt van 0.30 naar 0.15). Prestaties verzadigen pas bij het gebruik van 64–128 lineaire dimensies, wat suggereert dat de nuttige structuur matig hoogdimensionaal en lineair is.
Triviale Topologie: Persistente homologie herstelt geen robuuste lussen ( $H_1$ kenmerken) in de pLM-embeddings; alle kenmerken vallen binnen de ruisvloer. Dit contrasteert scherp met de positieve controles, waar de batterij de verwachte topologische lussen succesvol herstelde.
Door Confounding Gedreven Structuur: Schijnbare clustering van proteïnefamilies in 2D-visualisaties (bijv. UMAP) is grotendeels een artefact van confounding variabelen. Na regressie van sequentielengte, aminozuurcompositie en homologie, stort de familie silhouette score in van 0.31 naar 0.05 (nabij willekeurige kans).
Validatie op Controles: De detectiebatterij identificeerde correct de juiste dimensies, hoge trustworthiness en de verwachte topologie in de Swiss roll, celcyclus en torus controles, wat bevestigt dat de negatieve resultaten voor pLMs te wijten zijn aan de eigenschappen van de data, en niet aan methodologische tekortkomingen.

Belangrijkste Bijdragen

Systematische Batterij: De auteurs bieden een rigoureus gevalideerde, open manifold-detectie batterij voor transformer-representaties, getest op zowel synthetische als biologische positieve controles.
Negatieve Bevindingen: Zij rapporteren een samenhangende set van negatieve resultaten die aangeven dat proteïne-taalmodel representaties hoogdimensionaal zijn, afhankelijk van de grootte, en geen schaal-stabiele manifold-dimensies of robuuste topologie bezitten.
Confound-Analyse: De studie toont aan dat de ogenschijnlijke laagdimensionale organisatie van proteïnefamilies in de pLM-ruimte primair wordt gedreven door sequentielengte, compositie en homologie, in plaats van door een gekromde geometrische manifold.
Theoretisch Onderscheid: Het artikel contrasteert pLMs met single-cell foundation models, waarbij wordt gesteld dat de discrete, combinatorische en homologie-gestructureerde aard van de proteïne-sequentieruimte fundamenteel verschilt van de continue ontwikkelingsprocessen die laagdimensionale manifolds genereren in single-cell data.

Betekenis en Claims
De auteurs concluderen dat de representaties van proteïne-taalmodellen beter beschreven kunnen worden als hoogdimensionaal en overwegend lineair, in plaats van als laagdimensionale manifolds. Zij stellen dat het negatieve resultaat geen tekortkoming van de modellen is, maar een getrouwe weergave van het onderliggende domein: de proteïne-sequentieruimte is discreet en verspreid over clusters gedefinieerd door homologie, zonder de continue assen die compressie naar een laagdimensionale manifold noodzakelijk zouden maken.

De praktische implicatie is een waarschuwing tegen het interpreteren van 2D UMAP of t-SNE plots van pLM-embeddings als onthullers van biologische manifolds; dergelijke plots reflecteren grotendeels triviale covariaten. Voor kwantitatieve analyse suggereren de auteurs dat hoogdimensionale lineaire tools (probes, PCA, sparse autoencoders) geschikter zijn voor de geometrie van proteïne-representaties dan niet-lineaire manifold learning technieken. Het artikel beweert niet dat pLMs geometrisch oninteressant zijn, maar wel dat de specifieke, sterke vorm van de manifold-hypothese niet standhoudt voor hen.

Technische Samenvatting: Op zoek naar manifolds binnen proteïne-taalmodellen

Meer zoals dit