🧬 biology

Viral Proteins Reveal Geometry of Protein Language Models

Deze studie toont aan dat hoewel proteïnelinguïstische modellen virale en cellulaire sequenties langs een dominante "natuurlijkheid"-as organiseren op basis van reconstructie-perplexiteit, hun embeddings nog steeds voldoende virusspecifieke signalen behouden om lineaire scheidbaarheid mogelijk te maken voorbij eenvoudige zero-shot metrieken.

Oorspronkelijke auteurs: Arthur Bigot, Harmon Bhasin, Core Francisco Park, Eugene Shakhnovich, Dianzhuo Wang

Gepubliceerd 2026-06-12

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Arthur Bigot, Harmon Bhasin, Core Francisco Park, Eugene Shakhnovich, Dianzhuo Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer

Het Grote Plaatje: AI leert de "taal" van het leven

Stel je voor dat je een superintelligente AI hebt die bijna elk boek over biologie heeft gelezen dat ooit geschreven is. Deze AI is een Protein Language Model (pLM). Net zoals een mens Engels leert door miljoenen boeken te lezen, leert deze AI de "taal" van eiwitten door miljoenen genetische sequenties te lezen.

De onderzoekers wilden weten: Als deze AI vooral boeken over mensen, planten en bacteriën leest, begrijpt hij dan het "dialect" dat door virussen wordt gesproken?

Virussen zijn lastig. Ze zijn als een kleine, luidruchtige minderheid in een enorme bibliotheek. Ze muteren snel, hebben kleine genomen en vertrouwen op hun gastheer om te overleven. De studie vond dat de AI ze wel begrijpt, maar op een zeer specifieke, geometrische manier.

1. De "Inheemse" vs. "Buitenlandse" As

De onderzoekers ontdekten dat er in de hersenen van de AI een enorme onzichtbare liniaal (een wiskundige lijn) zit die alle eiwitten sorteert. Laten we dit de "Nativeness Scale" (de schaal van inheemsheid) noemen.

De Linkerkant (Het "Thuisteam"): Aan het ene uiteinde van de liniaal zitten eiwitten van mensen, bacteriën en planten. Dit zijn de "inheemse" eiwitten. De AI heeft er een miljard over gelezen. Ze passen perfect binnen de verwachtingen van de AI.
De Midden (De "Gasten"): In het midden van de liniaal zitten virale eiwitten. Ze zijn niet "fout", maar ze voelen een beetje als gasten die de lokale gebruiken niet helemaal kennen. Ze zijn verschillend van het thuisteam, maar ze zijn nog steeds begrijpelijk.
De Rechterkant (De "Wartaal"): Aan het verre uiteinde van de liniaal zitten willekeurige, door elkaar gehusselde reeksen aminozuren. Dit zijn als zinnen met woorden in de verkeerde volgorde of verzonnen woorden. De AI vindt dit onzin.

De Ontdekking: De AI ziet virussen niet alleen als "slecht" of "willekeurig". De AI ziet ze als een specifieke, georganiseerde groep die tussen de "perfect normale" cellulaire eiwitten en de "totale onzin" in zit.

2. De "Verwarringsscore" (Perplexity)

Hoe weet de AI waar een eiwit op deze liniaal moet staan? De AI gebruikt een score genaamd Perplexity.

Denk aan het als een spelletje "Raad het volgende woord". Als je zegt: "De kat zat op de...", is de AI heel zeker dat het volgende woord "mat" is. De AI heeft een lage verwarring (lage perplexity).
Als je zegt: "De kat zat op de...", en het volgende woord is "banaan", dan is de AI erg verward (hoge perplexity).

De studie vond dat cellulaire eiwitten als "mat" zijn (makkelijk te voorspellen). Virale eiwitten zijn als "banaan" (iets moeilijker te voorspellen, maar nog steeds een echt woord). Willekeurige troep is als "flibber" (totale onzin).

De interne liniaal van de AI is bijna perfect uitgelijnd met deze "Verwarringsscore". Hoe meer verward de AI is, hoe verder het eiwit naar rechts op de liniaal staat.

3. De AI groter maken lost niet alles op

Normaal gesproken, wanneer we een AI groter maken (meer hersenkracht en data geven), wordt hij beter in alles. De onderzoekers testten dit door de AI-modellen steeds groter te maken.

Het Resultaat: Grotere modellen werden inderdaad beter in het begrijpen van virussen, maar niet even goed voor alle virussen.
De Analogie: Stel je een leraar voor die probeert een nieuw accent te leren.
- Sommige virusfamilies (zoals Retroviridae) zijn als een leerling die een dialect spreekt dat erg lijkt op de moedertaal van de leraar. Naarmate de leraar slimmer wordt, begrijpt hij deze leerlingen bijna perfect.
- Andere virusfamilies (zoals Orthomyxoviridae, waartoe de griep behoort) zijn als een leerling die een compleet ander, complex dialect spreekt. Zelfs wanneer de leraar superintelligent wordt, blijft hij moeite hebben met het begrijpen van deze specifieke leerlingen.

Dus, de AI groter maken helpt wel, maar het maakt niet alle virussen plotseling "normaal". Sommigen blijven onderscheidend en "vreemd".

4. De AI weet meer dan alleen "Verwarring"

Dit is het meest verrassende deel. De onderzoekers vroegen zich af: Scheidt de AI virussen alleen omdat ze "verwarrend" zijn (hoge perplexity), of begrijpt de AI echt wat een virus een virus maakt?

Ze bouwden een eenvoudige test:

Methode A: Gebruik alleen de "Verwarringsscore" om te raden of een eiwit viraal is.
Methode B: Gebruik de diepe interne "gedachten" (embeddings) van de AI om te raden.

Het Resultaat: Methode B (de diepe gedachten) was veel beter dan Methode A.
Zelfs wanneer de AI zo goed werd in virussen dat ze niet meer "verwarrend" leken (lage perplexity), wist de interne kaart van de AI nog steeds precies welke het virussen waren.

De Analogie: Stel je voor dat je probeert een spion in een menigte te herkennen.

Methode A is kijken naar mensen die er nerveus uitzien (hoge verwarring).
Methode B is kijken naar hun lichaamstaal, hun loopje en hoe ze hun handen houden (de embedding).
De studie vond dat zelfs wanneer de spion stopt met nerveus kijken, de AI hem nog steeds kan herkennen omdat de AI de subtiele, specifieke "virale handtekening" heeft geleerd die verder gaat dan alleen maar verward zijn.

Samenvatting van de bevindingen

Er is een "Inheemsheid-lijn": De AI organiseert eiwitten op een lijn van "Zeer Normaal" naar "Zeer Raar". Virussen zitten in het midden.
Groter is niet altijd beter voor iedereen: Grotere AI-modellen helpen sommige virussen om meer "normaal" te lijken, maar anderen blijven onderscheidend.
De AI kent het verschil: De AI scheidt virussen niet alleen omdat ze moeilijk te voorspellen zijn; de AI behoudt daadwerkelijk een specifiek "viraal signaal" waardoor het ze kan identificeren, zelfs wanneer ze heel erg op normale eiwitten lijken.

Waarom dit ertoe doet (volgens het artikel):
Dit helpt ons te begrijpen hoe deze krachtige AI-tools de biologische wereld "zien". Het laat zien dat hoewel deze modellen voornamelijk zijn getraind op menselijke en dierlijke data, ze een gestructureerde manier hebben ontwikkeld om met de unieke, snel veranderende wereld van virussen om te gaan. Dit is cruciaal om te weten wanneer we de voorspellingen van de AI kunnen vertrouwen en wanneer we voorzichtig moeten zijn.

Technische Samenvatting: Virale Eiwitten Onthullen de Geometrie van Protein Language Models

Probleemstelling
Protein language models (pLMs) worden getraind op sterk ongebalanceerde datasets die gedomineerd worden door cellulaire organismen, wat vragen oproept over hoe zij ondervertegenwoordigde biologische groepen representeren. Virale eiwitten, die evolutionair onderscheidend zijn en gevormd worden door andere beperkingen (bijv. gastheerafhankelijkheid, hoge mutatiesnelheden), zijn minder abundant in standaard pretraining-data. Hoewel pLMs goed presteren op standaard benchmarks, hebben ze moeite met het voorspellen van de effecten van virale mutaties. De centrale vragen die worden geadresseerd zijn: (1) Wordt de scheiding van virale eiwitten in de embedding-ruimte primair verklaard door een lagere "nativiteit" (d.w.z. ze worden minder goed gemodelleerd door de pretraining-distributie)? en (2) Buiten deze nativiteitskloof om, behouden embeddings specifieke virale informatie die niet wordt gevangen door reconstructie-moeilijkheid of oppervlakkige sequentiekenmerken?

Methodologie
De auteurs analyseren virale eiwitrepresentaties over drie families van pLMs (ESM2, ESMC en ESM3) die meer dan drie ordes van grootte in aantal parameters beslaan.

Datasets: De studie maakt gebruik van een biologische dataset met meerdere groepen bestaande uit tien groepen: zes cellulaire (bacteriën, archaea, planten, schimmels, insecten, mens niet-viraal) en vier virale (bacteriofaag, mens, plant, ongewervelde). Controles omvatten positie-verschoven cellulaire/virale sequenties en i.i.d. uniform willekeurige sequenties. Een specifieke menselijke virale/cellulaire classificatie-dataset (5.203 virale versus 5.197 cellulaire sequenties) wordt gebruikt voor downstream evaluatie.
Nativiteitsmetriek: Gemaskeerde reconstructie-perplexiteit (PPL) wordt gebruikt als een model-relatieve maatstaf voor nativiteit. Een lagere PPL geeft aan dat een sequentie beter wordt gemodelleerd door de pretraining-distributie.
Geometrische Analyse: Principal Component Analysis (PCA) wordt toegepast op mean-pooled sequentie-embeddings om dominante assen van variantie te identificeren. De uitlijning tussen de eerste hoofdcomponent (PC1) en PPL wordt gemeten.
Scaling Analyse: Het deel van de virale sequenties dat onder een native-achtige PPL-drempel valt, wordt gevolgd over verschillende model-schalen om te beoordelen hoe schaling verschillende virale families beïnvloedt.
Classificatie Evaluatie: Om te bepalen of het virale signaal persisteert buiten de reconstructie-moeilijkheid om, vergelijken de auteurs drie classifiers op een helder gehouden testset:
1. Een lineaire probe (logistische regressie) getraind op mean-pooled embeddings.
2. Een zero-shot classifier gebaseerd op enkel genegeerde PPL.
3. Shallow baselines gebaseerd op sequentielengte, aminozuursamenstelling en dipeptide-samenstelling.

Belangrijkste Bijdragen en Resultaten

Een Dominante Nativiteitsas:
Het onderzoek identificeert een dominante "nativiteitsas" (PC1) in de pLM-representatieruimte die een groot deel van de variantie verklaart (bijv. 73,1% in ESMC-600M). Deze as is sterk uitgelijnd met gemaskeerde reconstructie-perplexiteit ( $\rho \approx +0,96$ ). Het ordent sequenties van goed gemodelleerde cellulaire eiwitten (lage PPL) via virale eiwitten (intermediaire PPL) naar biologisch betekenisloze verschoven/willekeurige sequenties (hoge PPL). Deze geometrische structuur is consistent over de ESM-families en strekt zich uit tot autoregressieve (ProGen2) en diffusie (EvoDiff) modellen, wat suggereert dat dit een algemene eigenschap is van gemaskeerde sequentiemodellen die getraind zijn op ongebalanceerde biologische data.
Heterogene Schalingseffecten:
Het vergroten van de model-schaal laat de nativiteitsas krimpen, maar het effect is ongelijkmatig over virale families. Terwijl het gemiddelde deel van de "native-achtige" virale eiwitten toeneemt met de schaal, reageren specifieke families verschillend. Bijvoorbeeld, Papillomaviridae en Retroviridae bewegen significant richting de native regio naarmate de modellen opschalen, terwijl families zoals Orthomyxoviridae en Orthoherpesviridae persistent verplaatst blijven, zelfs bij de grootste schalen (bijv. 6B parameters). De paper suggereert dat deze heterogeniteit gekoppeld kan zijn aan de aanwezigheid van cellulaire homologen; Retroviridae, dat domeinen deelt met eukaryote retrotransposons, is compatibeler met de cellulaire-gedomineerde prior.
Residueel Viraal Signaal Buiten de Nativiteit:
Cruciaal is dat de studie aantoont dat virale identiteit lineair gecodeerd is in embeddings voorbij wat wordt gevangen door reconstructie-moeilijkheid. Lineaire probes getraind op embeddings bereiken een bijna maximale nauwkeurigheid (AUC $\in [0,97, 1,00]$ ) over alle schalen, wat significant beter presteert dan zowel PPL-gebaseerde zero-shot classifiers als shallow sequentie baselines.

Divergentie bij Schaling: Naarmate modellen schalen, wordt de PPL-gebaseerde discriminatie vaak zwakker of niet-monotoon (daalt voor zeer grote modellen zoals ESM2-15B) omdat sommige virale eiwitten gemakkelijker te reconstrueren zijn (lagere PPL), wat de scheiding die alleen vanuit PPL beschikbaar is, vermindert. De lineaire embedding probe behoudt echter een hoge prestatie, wat aangeeft dat de embeddings specifieke virale structurele of functionele signalen behouden die niet louter artefacten zijn van reconstructie-moeilijkheid.
Robuustheid: Deze scheidbaarheid blijft behouden, zelfs wanneer de negatieve klasse wordt beperkt tot menselijke gastheer-eiwitten (dezelfde gastheer) en in leave-one-family-out cross-validatie, wat bevestigt dat het signaal niet voortkomt uit het memoriseren van familie-specifieke motieven of brede taxonomische verschillen.

Significantie en Claims
De paper claimt dat pLM-representaties gestructureerd zijn door een algemeen begrip van "nativiteit" relatief aan de pretraining-prior, wat virale eiwitten in een verplaatste maar gestructureerde intermediaire regio plaatst. Deze verplaatsing impliceert echter geen verlies van informatie; in plaats daarvan behouden embeddings een duidelijk vitaal signaal dat lineair toegankelijk is.

De auteurs suggereren dat "nativiteit" (lage PPL) als diagnostisch instrument kan dienen: families met een lage nativiteit vereisen mogelijk voorzichtigere zero-shot voorspellingen. Bovendien suggereert het vermogen van embeddings om virale van cellulaire sequenties te onderscheiden buiten homologie-gebaseerde methoden, potentieel nut voor biosecurity screening, met name voor het detecteren van gemanipuleerde of sterk gedivergeerde varianten die standaard homologie-filters zouden kunnen missen. Dit werk positioneert zichzelf als een bijdrage aan veiligere biologische modelevaluatie in plaats van capaciteitsimplementatie, waarbij de nadruk ligt op de noodzaak om te begrijpen hoe fundamentele modellen ondervertegenwoordigde biologische groepen representeren.