Technische Samenvatting: Op weg naar het begrijpen van de vorm van representaties in taalsmodellen voor eiwitten

Probleemstelling

Taalsmodellen voor eiwitten (Protein Language Models, PLMs), zoals de Evolutionary Scale Modeling (ESM)-familie, hebben aanzienlijke potentie getoond in de novo-ontwerp van eiwitten, voorspelling van structuur en functionele annotatie. Hoewel empirisch bekend is dat PLM-representaties effectieve initialisaties vormen voor vouwmodellen, blijft de precieze aard van de informatie die in deze verborgen representaties is gecodeerd, slecht begrepen. Bestaande inspanningen op het gebied van interpretbaarheid hebben zich grotendeels gericht op hoe individuele sequenties worden omgezet in latente vectoren, of op het identificeren van specifieke kenmerken (zoals bindingsmotieven of co-evolutionaire statistieken) binnen enkele sequenties. Deze benaderingen negeren echter de geometrische structuur van de hele ruimte van eiwitrepresentaties en hoe verschillende eiwitten binnen deze latente ruimte tot elkaar verhouden. Bovendien collapse standaardpraktijken vaak de sequentie-dimensie (bijvoorbeeld door te middelen), waardoor de "vorm"-informatie die inherent is aan de volledige tensorrepresentatie, wordt weggegooid. Dit artikel adresseert het gat in het begrip van de globale metrische geometrie van PLM-representatieruimten en de specifieke contextlengtes waarbij structurele kenmerken worden gecodeerd.

Methodologie

De auteurs stellen een raamwerk voor om de "vorm" van eiwitrepresentaties te analyseren door ze af te beelden op metrische ruimten met behulp van twee primaire wiskundige benaderingen:

1. Vierkantswortel-snelheid (SRV)-representaties

Om de globale geometrie van representatieruimten te analyseren, behandelen de auteurs eiwitsequenties en hun PLM-embeddings als geordende puntwolken.

• Kromme interpolatie: Puntwolken (die ofwel 3D-structuren of PLM-embeddings vertegenwoordigen) worden geïnterpoleerd met behulp van kwadratische splines om continue krommen $\gamma(t)$ in $\mathbb{R}^m$ te vormen.
• SRV-transformatie: Deze krommen worden getransformeerd naar Vierkantswortel-snelheid (Square-Root Velocity, SRV)-representaties, $q(t) = \dot{\gamma}(t)/\sqrt{\|\dot{\gamma}(t)\|^2}$, wat ze projecteert op een oneindig-dimensionale sfeer $S^\infty$.
• Quotiëntvorming: Om invariantie te forceren ten opzichte van translatie en rotatie (isometrieën van $SE(m)$), quotiënteren de auteurs de rotatiegroep $SO(m)$ uit met behulp van Singular Value Decomposition (SVD) om de optimale rotatie te vinden die twee krommen op elkaar afstemt.
• Metrische ruimte: Dit proces creëert een Riemanniaanse vormruimte waarin afstanden tussen eiwitten kunnen worden berekend. De auteurs maken gebruik van deze ruimte om het volgende te berekenen:
  • Fréchet-radius: De gemiddelde afstand van alle representaties tot hun Fréchet-middelpunt, dienend als maat voor de spreiding van vormen.
  • Effectieve dimensie: Berekend via Tangent Principal Component Analysis (Tangent PCA) op het manifold van de vormruimte, wat de intrinsieke dimensionaliteit van de variaties in vorm meet.

2. Graf-filtraties

Om de gevoeligheid voor contextlengte van PLMs te onderzoeken, maken de auteurs gebruik van een graf-filtratiebenadering uit Topologische Data-analyse.

• Grafconstructie: Voor een gegeven eiwit en zijn PLM-representatie worden $k$-naaste-buren-grafen geconstrueerd op basis van Euclidische afstanden tussen residuen.
• Filtratie: Door het aantal buren $k$ (of een afstandsdrempel $t$) te variëren, wordt een filtratie van grafen gegenereerd.
• Metrische vergelijking: De auteurs vergelijken de adjacentiematrices van de echte 3D-eiwitstructuurgrafen met de adjacentiematrices van de PLM-representatiegrafen.
• Graf-filtratiemoment: Een genormaliseerde metriek wordt gedefinieerd als de verhouding tussen de afstand tussen de eiwitstructuur en zijn PLM-embedding en de afstand tussen de eiwitstructuur en willekeurige puntwolken. Dit kwantificeert hoe goed de PLM structurele nabijheid op verschillende schalen (contextlengtes) behoudt.

De analyse werd uitgevoerd op 1.377 eiwitten die zijn bemonsterd uit het SCOPe-dataset, verwerkt via verschillende ESM2-modellen van verschillende groottes en het Ankh-model.

Belangrijkste resultaten

1. Geometrie van PLM-vormruimten

• Dimensie-expansie en -contractie: De effectieve dimensie van de vormruimte volgt een niet-lineair patroon over de lagen. Initiële lagen vertonen een significante expansie in dimensionaliteit, vooral in grotere modellen, gevolgd door een contractie in diepere lagen.
• Laag-dimensionale deelruimte: In de laatste lagen wordt de effectieve dimensie zeer laag, aanzienlijk lager dan de omringende embedding-dimensie. Dit suggereert dat, hoewel PLMs een hoog-dimensionale ruimte beslaan, de variaties in eiwitvormen kunnen worden beschreven door een paar specifieke vormdescriptoren.
• Fréchet-radius: De Fréchet-radius neemt over het algemeen af met de diepte, wat aangeeft dat representaties meer geclusterd worden in de vormruimte. Opmerkelijk is dat de variabiliteit tussen vormen laag is over alle modellen, en dat de radius niet significant varieert met de modelgrootte.
• Generaliseerbaarheid: Dit expansie-contractiepatroon werd waargenomen in zowel ESM2-modellen als het Ankh-model, wat suggereert dat het een fundamentele eigenschap is van de PLM-architectuur.

2. Gevoeligheid voor contextlengte

• Bimodale codering: De graf-filtratieanalyse onthult een bimodaal patroon in structurele codering. PLMs coderen 3D-structurele kenmerken optimaal op twee distincte schalen:
  1. Directe buren: Bij zeer korte contextlengtes (ongeveer 2 residuen).
  2. Lokale buurten: Bij iets langere contextlengtes (ongeveer 8 residuen).
• Lag-afhankelijkheid: Structurele codering is aanwezig door het hele netwerk, maar is niet optimaal in de laatste laag. De beste structurele fideliteit wordt gevonden in lagen direct voorafgaand aan de laatste.
• Klassevariaties: Verschillende eiwitklassen vertonen verschillende graden van structurele trouw. Alpha/Beta-eiwitten tonen de hoogste gelijkenis tussen hun PLM-representaties en 3D-structuren, terwijl kleine en ontworpen eiwitten meer distincte vormen vertonen.
• Onafhankelijkheid van lengte: In diepere lagen lijkt de codering van lokale contextstructuur onafhankelijk te zijn van de totale eiwitlengte.

Betekenis en claims

Het artikel claimt een nieuw geometrisch perspectief te bieden op PLM-representaties, verdergaand dan analyse van individuele sequenties om de collectieve structuur van de representatieruimte te begrijpen.

• Interpreteerbaarheid: Het werk demonstreert dat PLMs eiwitstructuur impliciet coderen, ondanks dat ze uitsluitend zijn getraind op masked language modeling-taken zonder expliciete structurele supervisie. De bevinding dat structuur wordt gecodeerd op specifieke contextlengtes (2 en 8 residuen) suggereert dat het model lokale en semi-lokale geometrische constraints leert als bijproduct van sequentievoorspelling.
• Inzichten in modelarchitectuur: Het waargenomen expansie-contractiepatroon in effectieve dimensie sluit aan bij theorieën over regimes van hoge abstractie in vroege lagen en specifieke, semantisch rijke regimes in latere lagen. De lage effectieve dimensie in diepe lagen impliceert dat de complexe taak van eiwitvouwen navigeerbaar is via een klein aantal vormtransformaties.
• Praktische implicaties voor vouwen: De auteurs suggereren dat de suboptimale structurele codering in de laatste laag, in contrast met de hoge fideliteit in de voorafgaande lagen, een potentieel pad biedt voor het verbeteren van eiwitvoumodellen. Specifiek zou het initialiseren van vouwmodellen met representaties uit lagen net voor de laatste (in plaats van de laatste laag zelf) betere prestaties kunnen opleveren. De auteurs merken echter op dat eerste pogingen om dit te verifiëren met lineaire modellen of kleine netwerken niet generaliseerden, wat aangeeft dat verder onderzoek met grotere modellen vereist is.

Kortom, het artikel stelt vast dat PLM-representatieruimten een distincte geometrische structuur bezitten, gekenmerkt door dimensie-expansie gevolgd door contractie, en dat deze representaties eiwitstructurele kenmerken het meest effectief vastleggen op specifieke, korte tot gematigde contextlengtes, met name in lagen die voorafgaan aan de laatste output.