🧬 biology

Geometric Representations of Knowledge Inside Biological Large Language Models: an Empirical Analysis

Deze empirische studie onthult dat hoewel biologische grote taalmodellen (SCFMs) een werkelijke, laagdimensionale en gedeeltelijk lineair gestructureerde geometrie voor biologische kennis coderen, deze structuur bescheiden is, vaak niet lineair verstrengeld is en grotendeels overlapt met wat klassieke expressiegebaseerde methoden zoals PCA al kunnen herstellen, waardoor het tekortschiet ten opzichte van de heldere, regelmatige geometrie die wordt waargenomen in natuurlijke taalmodellen.

Oorspronkelijke auteurs: Olivia Denvis

Gepubliceerd 2026-07-22

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Olivia Denvis

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer

Stel je voor dat je een gigantische, magische bibliotheek hebt waar elk boek een levende cel uit het menselijk lichaam is. Jarenlang hebben wetenschappers geprobeerd deze boeken te lezen om te begrijpen hoe onze lichamen werken, maar de tekst is rommelig en moeilijk te ontcijferen. Onlangs is er een nieuw soort "superlezer" uitgevonden, een Biological Large Language Model (of Biological LLM). Dit zijn computerprogramma's die getraind zijn op miljoenen cellulaire "boeken" om patronen te herkennen, net zoals het toetsenbord van je telefoon leert om het volgende woord te voorspellen dat je typt.

De grote vraag die wetenschappers zich hebben gesteld is: organiseren deze superlezers kennis op een nette, rechte manier? In reguliere taalmodellen (de modellen die essays schrijven of met je chatten) ontdekten onderzoekers dat ideeën als "koning" en "koningin" op een rechte lijn liggen, en dat tegenpolen slechts een eenvoudige stap van elkaar verwijderd zijn. Het is als een perfect georganiseerde kaart waar elk concept zijn eigen duidelijke straat heeft. Wetenschappers hoopten dat deze biologische superlezers ook zo'n nette, rechte kaart zouden hebben voor zaken als "gezond vs. ziek" of "groeiend vs. rustend". Als dat zo zou zijn, zouden we de denkwijze van de computer gemakkelijk kunnen bijsturen om ziektes of ontwikkeling te begrijpen. Maar, zoals we zo zullen zien, is de kaart in deze biologische modellen meer een kronkelend, heuvelachtig bospad dan een rechte stadsstraat.

De Kaart in de Machine: Een Bos, Geen Snelweg

In dit onderzoek besloot een onderzoeker genaamd Olivia Denvis een diepe duik te nemen in vier van deze biologische superlezers (genaamd scBERT, Geneformer, scGPT en UCE) om te zien of ze echt die nette, rechte organisatie hebben. Ze behandelde hen als ontdekkingsreizigers en stuurde hen de diepte in met een enorme dataset van 420.000 cellen met gedetailleerde aantekeningen over wat ze zijn, waar ze leven en wat ze doen. Vervolgens vergeleek ze de interne "kaarten" van de modellen met de klassieke, betrouwbare instrumenten die wetenschappers al decennia gebruiken, zoals eenvoudige wiskundige trucjes genaamd PCA.

Dit is wat ze vond: De modellen hebben wel een kaart, maar het is niet de strakke, rechte snelweg waar iedereen op hoopte.

1. De kaart is compact, maar overvol
Eerst controleerden de onderzoekers hoeveel ruimte de modellen gebruiken om informatie op te slaan. Stel je een enorme loods voor (de volledige omvang van het model) die 1.280 planken zou kunnen bevatten. De studie toonde aan dat de modellen eigenlijk slechts ongeveer 12 tot 26 planken gebruiken om hun kennis op te slaan. Dat is een zeer laag-dimensionale ruimte, wat goed is omdat het betekent dat de modellen efficiënt zijn. Echter, de ruimte is "anisotroop", wat een chique manier is om te zeggen dat het gevormd is als een lange, smalle kegel in plaats van een ronde bal. De kleinere modellen waren zelfs nog meer in deze smalle kegel geperst, wat suggereert dat ze een beetje "gepropt" kunnen zijn in hun denken.

2. Het makkelijke deel is recht, het moeilijke deel is krom
Wanneer de onderzoeker de modellen vroeg om eenvoudige dingen te identificeren, zoals "is deze cel van een man of een vrouw?" of "zit deze in het immuunsysteem?", waren de modellen verbazingweft goed. Ze konden een rechte lijn trekken om deze groepen te scheiden, net zoals de taalmodellen dat doen. Sterker nog, voor deze gemakkelijke categorieën waren de modellen bijna perfect.

Maar hier kwam de twist: Wanneer ze de modellen vroeg naar de interessante zaken — zoals "is deze cel ziek?" of "wat is het specifieke subtype?" of "hoe ver is deze cel in zijn ontwikkeling?" — stopten de rechte lijnen met werken. De kennis was er nog wel, maar het zat verstrengeld in krommingen.

Het bewijs: Toen de onderzoeker probeerde een eenvoudige rechte lijn te gebruiken om de ontwikkelingstijd van een cel te voorspellen, kreeg ze slechts ongeveer 61% van het antwoord goed. Maar toen ze de computer liet volgen van het natuurlijke, kromme pad van de data (zoals wandelen langs een kronkelend pad in plaats van dwars door een veld te snijden), sprong de nauwkeurigheid omhoog naar 80%.
De les: De modellen kennen de complexe zaken, maar ze slaan ze op op een kromme, niet-lineaire manier die eenvoudige rechte lijnen niet gemakkelijk kunnen bereiken. Dit is anders dan bij taalmodellen, waar zelfs complexe ideeën vaak op rechte lijnen liggen.

3. Het "stuurwiel" is een beetje wiebelig
In taalmodellen, als je de betekenis van een woord wilt veranderen (zoals "blij" veranderen in "verdrietig"), kun je er gewoon een specifieke vector (een richting) aan toevoegen en het werkt perfect. De onderzoeker probeerde dit met de biologische modellen. Ze probeerde de identiteit van een cel te "sturen" door een richtingvector toe te voegen.

Het resultaat: Het werkte, maar slechts in 54% tot 66% van de gevallen. Het was beter dan een kop-of-munt, maar ver verwijderd van de perfecte controle die men in taalmodellen ziet. Soms veranderde het proberen te veranderen van één ding per ongeluk ook iets anders. De richtingen voor verschillende ideeën waren enigszins parallel, maar niet perfect zo, en ze waren slechts zwak uitgelijnd.

4. De modellen zijn het met elkaar eens, niet met de "waarheid"
De onderzoeker controleerde ook of alle vier de modellen op dezelfde manier denken. Ze waren matig vergelijkbaar met elkaar (ongeveer 55% tot 74% vergelijkbaar), wat positief is. Maar toen ze ze vergeleek met de "Gouden Standaard" van biologische kennis (een gedetailleerde kaart van hoe celtypen in de echte wereld aan elkaar gerelateerd zijn), waren de modellen slechts voor ongeveer 36% tot 45% vergelijkbaar.

De verrassing: De modellen leken eigenlijk meer op de klassieke wiskundige instrumenten (PCA) dan op de echte biologische waarheid. Ze kwamen samen in een gedeeld, vereenvoudigd beeld van de data dat dichter bij de basiswiskunde lag dan bij de complexe biologische realiteit.

5. De "diepe" kennis zit in het midden
Ten slotte keek ze naar waar in de lagen van het model (het "brein") deze kennis zich bevond.

Eenvoudige identiteit: Weten "wat voor soort cel" dit is, wordt sterker naarmate je dieper in het model komt.
Ziektestatus: Weten of een cel ziek is, piekte in de middelste lagen en vervaagde naarmate het model dieper werd.
Batch-effecten: De modellen waren goed in het negeren van technische ruis (zoals welk apparaat de foto heeft gemaakt) in de vroege lagen, maar ze vergaten het niet volledig.

De Conclusie

Dus, wat is het eindoordeel? Biologische Large Language Models zijn echt, en ze bevatten inderdaad een geometrische kaart van kennis. Maar het is geen schone, rechte kaart met een perfecte organisatie zoals we die in taalmodellen zagen. In plaats daarvan is het een "gedeeltelijk lineaire, laag-dimensionale" kaart.

De modellen zijn geweldig in het makkelijke werk (zoals het onderscheiden van een mannelijke cel van een vrouwelijke), maar voor het moeilijke, klinisch belangrijke werk (zoals ziekte of ontwikkeling), is de kennis gekromd en verstrengeld. Veel van de "rechte-lijn"-kennis die de modellen bezitten, is eigenlijk gewoon wat we al konden krijgen met eenvoudige, klassieke wiskundige instrumenten. Het nieuwe dat de modellen hebben geleerd, is er wel, maar het is verborgen in de krommingen, waardoor het moeilijker te lezen en te gebruiken is.

De studie concludeert dat hoewel deze modellen nuttig zijn, ze niet de magische "rechte-lijn" doorbraak zijn waar sommigen op hoopten. De echte uitdaging voor de toekomst is niet alleen het bouwen van grotere modellen, maar het bouwen van betere instrumenten om de kromme, kronkelende paden te lezen waar de belangrijkste biologische geheimen zich daadwerkelijk verschuilen.

Technische Samenvatting: Geometrische Representaties van Kennis in Biologische Large Language Models

Probleemstelling
Large Language Models (LLMs) vertonen een "lineaire representatiehypothese", waarbij hoogwaardige kennis (concepten, analogieën, taxonomieën) is gecodeerd in opvallend regelmatige geometrische structuren: concepten lijnen uit met lineaire richtingen, analogieën met parallelle offsets, en hiërarchieën met geneste, orthogonale subruimten. Single-cell foundation models (SCFMs)—biologische LLMs getraind op gemaskeerde transcriptoomsequenties—zijn opgekomen als repositories van biologische kennis. Het blijft echter ongetest of deze biologische modellen de scherpe, lineariseerbare geometrie erven die in taalmodellen wordt waargenomen, of dat hun interne representaties louter correlationeel en verstrengeld zijn. Bovendien is het onduidelijk hoeveel van een geobserveerde structuur werkelijk nieuw is voor het foundation model versus wat al herwinbaar is uit klassieke lineaire expressie-embeddings (bijv. PCA).

Methodologie
De auteurs voerden een systematische empirische analyse uit waarbij vier SCFMs van variërende schaal (8,9M tot 650M parameters: scBERT, Geneformer, scGPT, UCE) werden vergeleken met sterke lineaire expressie-baselines (Highly Variable Genes, PCA-50, en scVI). De evaluatie maakte gebruik van een gecureerd 0,42M-cel atlaspaneel met rijke metadata (celtype, weefsel, geslacht, ziekte, etc.) en een hematopoëtische differentiatie-trajectdataset met ground-truth pseudotijd.

De studie maakte gebruik van zes families van geometrische analyses, waarbij elke meting expliciet werd vergeleken met de expressie-baselines om de door het model toegevoegde structuur te isoleren:

Globale Geometrie: Schatting van de intrinsieke dimensie (via TwoNN en Levina–Bickel MLE) en anisotropie (gemiddelde cosinusovereenkomst van willekeurige paren).
Probing: Lineaire (logistische regressie) en niet-lineaire (MLP) probes om de decodeerbaarheid van negen attributen te meten, waarbij het gat tussen lineaire en niet-lineaire prestaties wordt berekend.
Conceptrichtingen: Analyse van analoge parallellisme (cosinusovereenkomst van verschil-in-gemiddelden vectoren over lineages), nabij-orthogonaliteit van ongerelateerde concepten, en succespercentages van sturing (steering), geëvalueerd in zowel ruwe als causaal gewitte ruimtes.
Categorische & Cross-Model Geometrie: Beoordeling van hiërarchische uitlijning (cophenetische correlatie met Cell Ontology) en cross-model gelijkenis met behulp van Centered Kernel Alignment (CKA) tegen zowel andere modellen als een ontologie-referentiekernel.
Traject-Manifold Geometrie: Vergelijking van pseudotijd-herstel via een enkele lineaire richting versus een geodesische (manifold) schatting op de hematopoëtische dataset.
Diepteprofielering: Laag-specifieke analyse van waar specifieke kennis (celtype, ziekte, batch) zich concentreert binnen het netwerk.

Belangrijkste Resultaten
De studie concludeert dat de geometrie van kennis in biologische LLMs reëel maar bescheiden is, en significant afwijkt van de "scherpe" structuur die in taalmodellen wordt gedocumenteerd:

Laagdimensionaal en Anisotroop: SCFM-representaties zijn laagdimensionaal (intrinsieke dimensie 12–26, of 4–6% van de modelbreedte) en sterk anisotroop (gemiddelde cosinus 0,29–0,52), in contrast met de bijna isotrope aard van PCA/scVI-baselines.
Lineaire Decodeerbaarheid is Beperkt: Grove categorische kennis (compartiment, geslacht, brede celtypen) is lineair decodeerbaar maar biedt een verwaarloosbare incrementele winst ten opzichte van PCA (mediane winst van ~3,5 balans-accuraatheidspunten). De modellen voegen de meeste waarde toe aan intermediaire distincties (subtypen), maar bieden geen voordeel voor reeds eenvoudige labels (geslacht) of batch-variabelen (waar ze soms slechter presteren dan PCA).
Niet-lineaire Verstrengeling: Fijnere attributen (ziektestatus, fijne subtypen, ontwikkelingstijd) zijn aanwezig in de representaties maar zijn niet-lineair verstrengeld. Het gat tussen lineaire en niet-lineaire probes bereikt 9 punten voor ziekte, en een enkele lineaire richting herstelt slechts $R^2 \approx 0,61$ van de pseudotijd, terwijl een gebogen geodesic $\rho \approx 0,80$ bereikt (overeenkomend met klassieke diffusie-maps).
Zwakke Lineaire Structuur: Conceptrichtingen zijn slechts zwak parallel (gemiddelde cosinus 0,17–0,26, stijgend naar 0,28–0,41 na causale whitening) en sturing slaagt slechts in 54–66% van de gevallen. Echter, ongerelateerde concepten zijn nabij-orthogonaal, wat een totale instorting van onderscheidende concepten voorkomt.
Partiële Taxonomische Uitlijning: Hiërarchische organisatie is aanwezig maar grof (cophenetische correlatie ~0,58), ver verwijderd van de zuivere geneste simplexen die in taalmodellen worden gezien.
Convergentie: Cross-model gelijkenis is matig (CKA 0,55–0,74), maar modellen convergeren sterker naar elkaar en naar expressie-baselines dan naar de biologische ground truth (Cell Ontology kernel CKA 0,36–0,45).

Betekenis en Claims
Het artikel concludeert dat huidige biologische LLMs een gedeeltelijk gelinëariseerde, laagdimensionale geometrie coderen die nuttig is, maar verre van de geïdealiseerde structuur van taalmodellen. De primaire betekenis van deze bevindingen is drieledig:

Verklaring van Benchmark-marges: De "kleine marges" die vaak worden waargenomen in SCFM-benchmarks ten opzien van klassieke pipelines, worden verklaard door het feit dat de lineair toegankelijke kennis in deze modellen grotendeels overlapt met wat PCA al vastlegt. De aanvullende, complexere kennis (ziekte, ontwikkeling) is niet-lineair gecodeerd, waardoor deze ontoegankelijk is voor standaard lineaire downstream heads.
Methodologische Correctie: De auteurs stellen dat het toepassen van LLM-interpreteerbaarheidstools op biologie zonder een baseline misleidend is. In single-cell analyse, waar lineaire embeddings al zeer informatief zijn, is de cruciale vraag niet of er structuur bestaat, maar hoeveel het foundation model toevoegt bovenop klassieke methoden.
Toekomstige Richting: De resultaten suggereren dat de meest beslissingsrelevante kennis in huidige SCFMs ofwel redundant is met klassieke embeddings, ofwel gecodeerd is in niet-lineaire, hogere-orde structuren. Toekomstige vooruitgang in biologische foundation models en hun interpreteerbaarheidstools moet zich richten op het ontsluiten van deze niet-lineaire, gebogen manifolds, in plaats van uit te gaan van lineaire decomponeerbaarheid.

De auteurs verklaren expliciet dat zij geen nieuwe architecturen voorstellen of beweren dat SCFMs biologisch redeneren hebben opgelost; in plaats daarvan bieden zij een gekalibreerd, op baselines gebaseerd verslag van de geometrische beperkingen en capaciteiten van huidige modellen.

De Kaart in de Machine: Een Bos, Geen Snelweg

De Conclusie

Meer zoals dit