🧬 biology

The Complex Geometry of Biological Knowledge in Artificial Intelligence: Manifolds, Spectra, and Concept Structure in Foundation-Model Representations

Deze studie onthult dat hoewel eiwittaalmodellen biologisch betekenisvolle informatie coderen die lineair decodeerbaar is, zij de complexe laagdimensionale manifolds, multischalige spectrale structuren en hiërarchische conceptgeometrieën missen die aanwezig zijn in single-cell foundation models, maar in plaats daarvan kennis representeren door middel van een geometrisch eenvoudige, hoog-lineairdimensionale ruimte die gevormd wordt door de discrete en homologie-gestuurde aard van sequentiedata.

Oorspronkelijke auteurs: Liu Chen

Gepubliceerd 2026-07-23

📖 8 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Liu Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer

Stel je voor dat je probeert te begrijpen hoe een gigantische bibliotheek haar boeken organiseert. In de wereld van kunstmatige intelligentie zijn er "fundamentele modellen"—massieve computerprogramma's die getraind zijn op oceanen aan data om de regels van een specifiek onderwerp te leren. Een populair type van deze modellen is getraind op biologische data, zoals de genetische code van cellen of de sequenties van eiwitten. Wetenschappers hebben onlangs ontdekt dat sommige van deze modellen, specifiek de modellen die getraind zijn op celdata, een zeer verfijnde interne kaart lijken te hebben. Ze lijken informatie te organiseren langs gladde, gebogen paden (genaamd "manifolds") en hebben een complexe, meerlagige structuur die lijkt op een prachtig, ingewikkeld beeldhouwwerk. Dit is opwindend omdat als een computer kennis organiseert als een complex beeldhouwwerk, het voor ons gemakkelijker kan zijn om te begrijpen hoe het "denkt" en zelfs die structuur te gebruiken om nieuwe biologie te ontdekken.

Maar hier komt de grote vraag: organiseren alle biologische AI-modellen hun kennis op deze manier? Wat betreft de modellen die getraind zijn op eiwitten? Eiwitten zijn de minuscule machines die het meeste werk in ons lichaam doen, en hun "taal" is een lange reeks aminozuren. Als deze eiwitmodellen ook die verfijnde, gebogen geometrie hebben, zou dat een enorme overwinning zijn voor wetenschappers die proberen hen te ontcijferen. Als ze dat niet hebben, betekent dit dat we zoeken naar een schatkaart waar slechts een vlak, open veld is. Dit artikel zet zich af om met een vergrootglas naar deze eiwitmodellen te kijken en te zien of ze echt dezelfde geheime, complexe architectuur bezitten als hun cel-gerichte neefjes, of dat hun interne wereld gebouwd is op een totaal andere soort logica.

De Grote Eiwitkaartjacht: Een Verhaal van Curven versus Wolken

Maak kennis met de Protein Language Models (pLMs). Denk aan hen als superintelligente chefs die elk recept in het universum hebben geproefd (honderden miljoenen eiwitsequenties) en de regels van het koken hebben geleerd zonder ooit een echt gerecht te hebben gezien. Ze zijn zo goed dat ze kunnen voorspellen hoe een eiwit zich zal vouwen in een 3D-vorm of wat de functie ervan is in het lichaam. Wetenschappers hebben gevraagd: "Hoe organiseert deze chef zijn kennis in zijn brein?"

Een tijdje leek het antwoord "in een complex, gebogen doolhof" te zijn. Andere biologische AI-modellen (getraind op enkelvoudige cellen) bleken kennis op te slaan in gladde, laag-dimensionale curven, zoals een lint dat door een hoog-dimensionale kamer slingert. Ze hadden "spectrale" structuren (zoals duidelende banden van kleur in een regenboog) en "concepthiërarchieën" (zoals een stamboom waarbij ideeën netjes vertakken). Dit leidde tot een grote hypothese: Misschien organiseert alle biologische AI zijn kennis in deze verfijnde, complexe geometrische vormen.

Dit artikel, onder leiding van onderzoeker Liu Chen, besloot deze hypothese te testen. Ze bouwden een "batterij van drie lenzen" om de hersenen van acht verschillende eiwitmodellen te inspecteren, waaronder de beroemde ESM-2 familie (variërend van kleine modellen met 8 miljoen parameters tot reusachtige modellen met 3 miljard parameters) en anderen zoals ProtBERT en Ankh. Ze keken niet alleen; ze gebruikten een reeks rigoureuze instrumenten om drie specifieke zaken te meten:

De Vorm (Manifold): Is de data georganiseerd op een glad, gebogen oppervlak?
Het Spectrum: Heeft de data duidelijke, gescheiden banden van informatie zoals een regenboog?
De Concepten: Zijn ideeën gerangschikt in een nette hiërarchie of stamboom?

Ze voerden deze tests ook uit op "synthetische controles"—nepdata die zij zelf hadden gecreëerd die wel bekend stond om complexe vormen (zoals een gedraaide donut of een spiraal). Als hun instrumenten werkten, zouden ze de complexe vormen in de nepdata moeten vinden.

Het Vonnis: Het is een Platte, Lineaire Wolk, Geen Gebogen Doolhof

De resultaten waren een verrassing, maar wel zeer duidelijk. De auteurs ontdekten dat eiwittaalmodellen geen complexe, gebogen geometrie hebben zoals celmodellen dat hebben. In plaats daarvan is hun interne kennis "echt maar simpel".

1. De Vorm: Een Wolk, Geen Lint
Toen de onderzoekers probeerden een glad, gebogen oppervlak (een manifold) te vinden waar de eiwitdata zich bevond, kwamen ze met lege handen staan.

De Bevinding: Hoewel de data eruitzag alsof het op een laag-dimensionale curve zou kunnen liggen (de "niet-lineaire intrinsieke dimensie" was klein, rond de 26 voor de grote modellen), is de realiteit anders. De data verspreidt zich eigenlijk over een enorme, hoog-dimensionale ruimte (lineaire dimensie rond de 131).
De Analogie: Stel je voor dat je een gekreukeld stuk papier probeert plat te strijken. Als het een glad lint was, zou je het gemakkelijk kunnen platdrukken. Maar deze eiwitmodellen zijn meer als een gigantische, pluizige wolk van suikerspin. Het ziet er van een afstandje klein uit, maar als je het probeert samen te persen tot een platte vorm, verspreidt het zich alleen maar verder.
Het Bewijs: Toen de onderzoekers geavanceerde, gebogen wiskunde probeerden te gebruiken om de data te visualiseren (zoals UMAP, wat populair is voor het maken van mooie 2D-plaatjes), waren de resultaten slecht. De modellen verloren hun vermogen om eiwiteigenschappen te voorspellen. Echter, eenvoudige, rechte wiskunde (lineaire probes) werkte perfect. De auteurs concluderen dat de "geometrie" van de eiwitkennis geen glad, gebogen manifold is, maar een "bijna-lineaire, hoog-dimensionale wolk".

2. Het Spectrum: Eén Gladde Glijbaan, Geen Regenboog
Vervolgens keken ze naar het "spectrum" van de data, wat vergelijkbaar is met het luisteren naar de frequenties van geluid in een lied.

De Bevinding: Ze vonden een enkele, gladde glijbaan van data die een machtswet volgt (een specifieke wiskundige curve waarbij de exponent dicht bij 1 ligt). Er waren geen duidelijke "banden" of gaten die verschillende biologische concepten van elkaar scheidden.
De Analogie: Als de celmodellen als een regenboog waren met duidelijke rode, oranje en blauwe banden, dan zijn de eiwitmodellen als een enkele, gladde gradiënt van grijs. Er zijn geen scherpe lijnen die het ene type eiwit van het andere scheiden in de interne structuur van de data.
De Nuance: Hoewel er geen complexe structuur was, was de steilheid van die gladde glijbaan (de exponent) daadwerkelijk erg nuttig. Het fungeerde als een "kwaliteitsscore". Hoe platter de glijbaan (hoe dichter de exponent bij 1 ligt), hoe beter het model presteerde op echte taken. Dus hoewel de structuur niet complex was, was het wel een betrouwbare indicator van hoe goed het model was.

3. De Concepten: Plat, Niet Hiërarchisch
Ten slotte controleerden ze hoe de modellen "concepten" organiseerden zoals "is dit een membraaneiwit?" of "wat is de secundaire structuur?".

De Bevinding: De modellen waren erg goed in het beantwoorden van deze vragen met behulp van eenvoudige, rechte lijnen. Als je een lineaire probe vroeg: "Is dit een membraaneiwit?", zei het model "Ja" met een hoge nauwkeurigheid. De relaties tussen deze concepten waren echter plat.
De Analogie: Stel je een bibliotheek voor. In een complexe hiërarchie zijn boeken gerangschikt per continent, dan land, dan stad, dan straat. In deze eiwitmodellen liggen de boeken gewoon verspreid op een gigantische, platte tafel. Je kunt het juiste boek gemakkelijk vinden (lineaire decodeerbaarheid), maar er is geen nette stamboom die ze met elkaar verbindt. De "analogie"-test (controleren of het model begrijpt dat "A t.o.v. B hetzelfde is als C t.o.v. D") faalde ook; de relaties waren zwak en liepen niet parallel zoals in taalmodellen.
De Confound: De auteurs ontdekten ook dat een deel van de schijnbare structuur simpelweg de reactie van het model was op basiskenmerken zoals de lengte van het eiwit of de hoeveelheid van bepaalde aminozuren, in plaats van diepe biologische betekenis.

Waarom het Verschil? De Aard van de Data

Het artikel biedt een fascinerende reden voor waarom de eiwitmodellen verschillen van de celmodellen.

Celdata: Cellen veranderen continu. Een stamcel verandert langzaam in een bloedcel. Dit creëert een glad, kronkelend pad (een manifold) in de data.
Eiwitdata: Eiwitten zijn discreet. Ze bestaan uit een reeks van 20 mogelijke aminozuren. De ruimte van alle mogelijke eiwitten is enorm en "korrelig", georganiseerd door evolutiegeschiedenis (homologie) in plaats van door vloeiende overgangen.
De Conclusie: Omdat de data zelf discreet en verspreid is in clusters, hoeft het AI-model geen glad, gebogen kaart te bouwen. Het verspreidt zijn kennis simpelweg in een hoog-dimensionale, lineaire wolk. De "complexe geometrie" die in celmodellen wordt gerapporteerd, vertaalt zich niet naar eiwitten omdat de onderliggende realiteit van eiwitten anders is.

De Belangrijkste Boodschap

De auteurs concluderen dat biologische kennis in eiwitmodellen echt en toegankelijk is, maar geometrisch eenvoudig.

Wat werkt: Eenvoudige, lineaire instrumenten (zoals rechte probes en PCA) zijn de beste manier om deze modellen te lezen.
Wat niet werkt: Proberen deze modellen in complexe, gebogen vormen te dwingen of te zoeken naar diepe, hiërarchische stambomen in hun interne structuur is een doodlopende weg.
De Zilveren Rand: Het feit dat de kennis lineair en simpel is, is eigenlijk een goed ding. Het betekent dat we deze modellen kunnen vertrouwen om ons rechte antwoorden te geven zonder dat we een mysterieus, gebogen doolhof hoeven te ontcijferen. De hypothese van de "complexe geometrie" is weliswaar prachtig voor celmodellen, maar past simpelweg niet bij de wereld van de eiwitten. Het artikel bevestigt dat voor eiwitten de kaart geen kronkelend lint is, maar een uitgestrekt, open en verrassend eenvoudig veld.

Technische Samenvatting: De Complexe Geometrie van Biologische Kennis in Kunstmatige Intelligentie

Probleemstelling
Recent onderzoek naar single-cell fundatiemodellen (bijv. scGPT) suggereert dat biologische kennis wordt geïnternaliseerd als een "complexe geometrie" binnen hoogdimensionale activatieruimtes. Deze hypothese postuleert drie specifieke structurele eigenschappen: (1) data ligt op laagdimensionale, gladde manifolds; (2) het covariantie-eigenspectrum vertoont een multi-band structuur of specifieke spectrale gaten die zijn uitgelijnd met biologische partities; en (3) hoogwaardige concepten zijn hiërarchisch en analoog georganiseerd binnen lineaire subruimtes.

Deze studie onderzoekt of Proteïne Taalmodellen (pLMs)—een dominante klasse van biologische fundatiemodellen getraind op niet-uitgelijnde sequenties—dezelfde complexe geometrie vertonen. De auteurs stellen de vraag of de geometrische structuren waargenomen in continue ontwikkelingsprocessen (single-cell data) overdragen naar de discrete, homologie-gestructureerde aard van de proteïne-sequentieruimte.

Methodologie
De auteurs stelden een "drie-lenzen-batterij" samen om de representaties van acht proteïnelanguage modellen te analyseren, waaronder de ESM-2 familie (8M tot 3B parameters), ProtBERT, ProtT5 en Ankh. De analyse werd uitgevoerd op bevroren per-residue en gemiddeld gepoolde sequentie-embeddings tegenover gematchte biochemische en evolutionaire baselines (aminozuursamenstelling, k-mer spectra, biofysische kenmerken) en gevalideerd met synthetische positieve controles (Swiss rolls, synthetische tori, planted factor modellen).

De drie analytische lenzen waren:

Manifold Geometrie: De studie schatte de nietlineaire intrinsieke dimensie (ID) met behulp van TwoNN en Maximum Likelihood Estimators (MLE) en vergeleek dit met de lineaire dimensie (PCA participatie ratio). Nietlineaire dimensionaliteitsreductietechnieken (Isomap, LLE, Diffusion Maps, UMAP) werden getest om te zien of laagdimensionale coördinaten beter presteerden dan lineaire probes op downstream taken (secundaire structuur, verre homologie, stabiliteit, lokalisatie).
Spectrale Geometrie: De auteurs analyseerden het covariantie-eigenspectrum om te bepalen of het een machtswet volgt ( $\lambda_i \propto i^{-\alpha}$ ) en of de exponent $\alpha$ een laagdimensionale manifold aangeeft (vereist $\alpha > 1 + 2/d$ ) of een hoogdimensionale code. Ze zochten naar multi-band structuren en spectrale gaten die zijn uitgelijnd met biologische partities (bijv. SCOP folds, EC klassen) met behulp van genormaliseerde wederzijdse informatie (NMI) tegenover geschudde nullen.
Concept Structuur: De studie evalueerde de "lineaire representatiehypothese" door lineaire probes te fitten om biologische concepten te decoderen. Het beoordeelde verder hogere-orde geometrie: hiërarchie (cophenetische correlatie met ontologieën), analogie (parallellisme van concept-verschilvectoren) en orthogonaliteit. Controles werden toegepast om verwarrende variabelen (confounds) zoals aminozuursamenstelling, sequentielengte en homologie te verwijderen.

Belangrijkste Resultaten
De studie komt tot een grotendeels negatieve maar genuanceerde conclusie: pLMs vertonen niet de complexe geometrie die gerapporteerd wordt voor single-cell modellen.

Manifold Lens: Hoewel de nietlineaire intrinsieke dimensie klein is (bijv. TwoNN $\approx$ 26 voor ESM-2 650M), is de lineaire dimensie een orde van grootte groter (PCA participatie ratio $\approx$ 131). Cruciaal is dat geen enkele nietlineaire manifold-coördinaat beter presteerde dan een lineaire probe; sterker nog, het dwingen van representaties in laagdimensionale nietlineaire ruimtes (bijv. 2D UMAP) verslechterde de downstream performance catastrofaal. De representaties gedragen zich als een "hoogdimensionale, bijna lineaire wolk" in plaats van een gladde laagdimensionale manifold.
Spectrale Lens: Het covariantie-eigenspectrum is een enkele, gladde machtswet ( $R^2 > 0.99$ ) met een exponent $\alpha$ nabij 1 (variërend van 1.41 tot 1.04 afhankelijk van de modelgrootte). Volgens het Stringer et al. gladheidscriterium impliceert een exponent nabij 1 een effectief hoogdimensionale code. Er is geen multi-band structuur, en geen spectrale kloof die uitgelijnd is met biologische partities buiten wat verwacht mag worden van de geschudde nullen. Echter, de exponent $\alpha$ zelf dient als een informatieve, label-vrije samenvatting van de modelkwaliteit (correlatie met downstream performance, $\rho = -0.83$ ).
Concept Lens: Biologische concepten (secundaire structuur, wanorde, membraanlokalisatie) zijn sterk lineair decodeerbaar, wat de lineaire representatiehypothese ondersteunt op het niveau van de readout. De geometrie van deze concepten is echter vlak. Taxonomische hiërarchieën worden nauwelijks weerspiegeld (cophenetische $\rho = 0.34$ ), analoge richtingen zijn zwak parallel (gemiddelde cosinus 0.14–0.24), en veel schijnbaar aanwezige structuur lost op wanneer er wordt gecontroleerd voor compositie en homologie.

Betekenis en Claims
Het artikel claimt dat de "complexe geometrie" hypothese (laagdimensionale manifolds, multi-band spectra, hiërarchische conceptstructuren) niet standhoudt voor proteïnelanguage modellen. In plaats daarvan zijn pLM representaties "echt maar simpel": ze zijn zeer informatief en lineair toegankelijk, maar geometrisch eenvoudig (hoogdimensionaal en bijna lineair).

De auteurs argumenteren dat dit verschil voortkomt uit de aard van de data:

Single-cell data reflecteert continue fysieke processen (differentiatie, celcycli), wat van nature laagdimensionale trajecten en spectrale organisatie genereert.
Proteïne-sequentieruimte is discreet en astronomisch groot, waarbij bestaande sequenties geclusterd zijn door homologie in plaats van te liggen op gladde assen. Bijgevolg hoeven pLMs de data niet te comprimeren op laagdimensionale manifolds; ze verspreiden kenmerken over een hoogdimensionale ruimte met een glad machtswet-spectrum.

Conclusie
De studie concludeert dat hoewel biologische kennis in pLMs robuust en lineair decodeerbaar is, het de complexe geometrische structuur mist die in single-cell modellen wordt gevonden. De auteurs waarschuwen tegen het interpreteren van 2D-visualisaties (UMAP/t-SNE) van pLM-embeddings als bewijs voor biologische manifolds, waarbij zij opmerken dat dergelijke laagdimensionale organisatie vaak een artefact is van compositie en homologie-confounds. Zij pleiten voor het gebruik van hoogdimensionale lineaire tools (probes, PCA, spectrale exponenten, sparse autoencoders) als de passende methodologie voor het interpreteren van pLM-representaties, in plaats van manifold learning of spectrale decompositietechnieken ontworpen voor complexe geometrieën.

De Grote Eiwitkaartjacht: Een Verhaal van Curven versus Wolken

Technische Samenvatting: De Complexe Geometrie van Biologische Kennis in Kunstmatige Intelligentie

Meer zoals dit