🧬 biology

Adaptive Protein Tokenization

Dit artikel introduceert Adaptive Protein Tokenization, een globale tokenisatiemethode die de beperkingen van bestaande lokale benaderingen overwint door progressief detail toe te voegen aan eiwitrepresentaties, waardoor de prestaties verbeteren bij generatieve, reconstructie- en classificatietaken terwijl adaptieve inferentie en nieuwe toepassingen zoals zero-shot eiwitverkleining mogelijk worden gemaakt.

Oorspronkelijke auteurs: Rohit Dilip, Ayush Varshney, David Van Valen

Gepubliceerd 2026-02-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Rohit Dilip, Ayush Varshney, David Van Valen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer

Stel je voor dat je een complex 3D-sculptuur probeert te beschrijven aan een vriend via de telefoon, zodat hij een exacte replica kan bouwen.

De Oude Manier (Lokale Tokenisatie):
De meeste eerdere AI-modellen probeerden dit te doen door het sculptuur stukje bij stukje te beschrijven, als een mozaïek. Ze zeiden: "Hier is een stukje klei voor de neus, hier is een stukje voor het oor, hier is een stukje voor de kin." Ze richtten zich op kleine, lokale omgevingen van het eiwit.

Het Probleem: Als je een kleine fout maakt bij het beschrijven van de neus, kan de hele kop scheef eindigen. Ook als het sculptuur enorm groot is (zoals een gigantisch eiwitcomplex), moet je duizenden kleine stukjes sturen, wat traag en inefficiënt is. Als je een stukje mist, valt het hele plaatje uit elkaar.

De Nieuwe Manier (Adaptieve Eiwit-tokenisatie):
De auteurs van dit paper, Rohit Dilip en collega's, stellen een slimmere manier voor om het sculptuur te beschrijven. In plaats van duizenden kleine mozaïeksteentjes te sturen, sturen ze een reeks "globale snapshots" die met elke stap gedetailleerder worden.

Denk aan het inzoomen op een kaart:

Token 1: "Dit is een groot, rond object." (Het grote plaatje).
Token 2: "Het heeft een lange, gebogen vorm." (Context toevoegen).
Token 3: "Het heeft een spiraal aan de linkerkant." (Detail toevoegen).
Token 4: "De spiraal heeft een specifieke textuur." (Fijn detail toevoegen).

Dit wordt Adaptieve Tokenisatie genoemd. De AI kijkt niet alleen naar één plek; elke nieuwe token voegt een laag detail toe aan de gehele eiwitstructuur.

Hoe het werkt (De Magische Ingrediënten)

Het paper introduceert een hulpmiddel genaamd APT (Adaptive Protein Tokenizer). Zo functioneert het met behulp van eenvoudige analogieën:

De "Coarse-to-Fine" Hiërarchie: Stel je voor dat je naar een liedje luistert. Eerst hoor je de basdrum (het ritme/de globale vorm). Daarna hoor je de melodie. Ten slotte hoor je de hi-hats (de kleine details). APT werkt op dezelfde manier. De eerste paar tokens beschrijven de algemene vorm van het eiwit. Naarmate je meer tokens toevoegt, vult de AI de fijne details in.
De "Slimme Stop"-knop: Bij de oude manier moest je alle tegeltjes sturen om een goed beeld te krijgen. Met APT kan de AI beslissen om te stoppen met het sturen van tokens zodra het genoeg informatie heeft voor de taak die voorhanden is. Als je alleen de algemene vorm van het eiwit nodig hebt, kun je stoppen na 16 tokens. Als je een nauwkeurig medicijn wilt bouwen, gebruik je er misschien 64. Dit bespaart tijd en vermindert fouten.
De "Ruisonderdrukking"-functie: Omdat de AI het eiwit opbouwt van het "grote plaatje" naar de details, is het minder waarschijnlijk dat het een fout maakt die het geheel verpest. Als een klein detail iets afwijkt, blijft de algemene vorm correct.

Wat ze hebben bewezen (De Resultaten)

Het team heeft deze nieuwe methode getest tegen de huidige beste modellen (zoals ESM3 en DPLM2) op drie belangrijke manieren:

Reconstructie (Rebuilding): Wanneer ze probeerden een eiwit te reconstrueren vanuit zijn tokens, was APT net zo nauwkeurig als de beste bestaande modellen, maar kon het dit met minder tokens.
Nieuwe Eiwitten Creëren (Generatie): Ze vroegen de AI om volledig nieuwe eiwitten uit te vinden. De nieuwe methode creëerde eiwitten die meer "designbaar" waren (wat betekent dat ze in een laboratorium gebouwd kunnen worden zonder uit elkaar te vallen) dan de oude methoden. Sterker nog, het behaalde een succespercentage van ongeveer 87%, waarmee het de vorige koplopers aanzienlijk versloeg.
Functie Begrijpen (Representatie): Ze testten of de AI kan begrijpen wat een eiwit doet door alleen naar de token-beschrijving te kijken. Ze ontdekten dat het "globale zicht" van APT beter was in het classificeren van eiwitten dan modellen die alleen naar lokale stukjes keken.

Coole Nieuwe Trucs Mogelijk Gemaakt door Deze Methode

Omdat de AI de grootte van het eiwit scheidt van de beschrijving van de vorm, hebben de auteurs twee specifieke "magische trucs" gedemonstreerd:

Eiwit Inkrimpen (Protein Shrinking): Je kunt een groot eiwit nemen en de AI vertellen: "Houd dezelfde vorm, maar maak het kleiner." De AI slaagde erin om eiwitten (zoals hemoglobine) te verkleinen terwijl de kernstructuur intact bleef. Dit is nuttig voor het maken van medicijnen die makkelijker in cellen passen.
Affiniteitsrijping (Affinity Maturation - Dingen Beter Laten Plakken): Als je een eiwit hebt dat nauwelijks aan een doelwit plakt (een "zwakke binder"), kun je de AI gebruiken om variaties te genereren die beter plakken. De AI kan door mogelijkheden "zoeken" om een versie te vinden die veel beter werkt, wat in feite het eiwit in seconden laat evolueren.

De Kernboodschap

Dit paper presenteert een nieuwe manier voor computers om over eiwitvormen te "spreken". In plaats van ze te beschrijven als een stapel kleine, fragiele bakstenen, beschrijft het ze als een reeks evoluerende blauwdrukken. Dit maakt de AI sneller, nauwkeuriger en beter in het creëren van nieuwe, bruikbare eiwitten voor wetenschap en geneeskunde.

Noot: Het paper richt zich op de computationele methode en het vermogen om eiwitstructuren te genereren en te verkleinen. Het beweert niet dat deze eiwitten momenteel worden gebruikt in klinische trials bij mensen of als goedgekeurde medicijnen, maar dat de methode ze "designbaar" maakt (in staat om gebouwd en getest te worden).

Technische Samenvatting: Adaptieve Eiwittokenisatie

Probleemstelling

Huidige benaderingen voor de tokenisatie van eiwitstructuren vertrouwen op lokaliteit, waarbij tokens worden gecreëerd door informatie te poolen uit ruimtelijk naburige residuen langs een eiwitsequentie. Hoewel deze methoden een hoge getrouwheid in reconstructie bereiken, identificeren de auteurs twee kritieke beperkingen:

Foutaccumulatie in Generatie: Generatieve modellen gebaseerd op lokale tokenisatie lijden onder foutpropagatie. Een enkele verkeerd gesamplede token kan leiden tot significante afwijkingen in de voorspelde structuur, waardoor discrete benaderingen onderpresteren vergeleken met continue diffusiemodellen op generatieve metrieken.
Slechte Schaalbaarheid: Het aantal tokens schaalt lineair met de eiwitgrootte. Dit maakt het modelleren van grote eiwitcomplexen computationeel duur en beperkt het vermogen om eiwitten effectief te comprimeren.
Representatielimieten: Lokale tokenizers vereisen vaak mean-pooling operaties om vaste-grootte representaties te genereren voor downstream taken, wat kritieke globale informatie kan weggooien en slecht schaalt met de grootte van het eiwit.

Methodologie

De auteurs stellen Adaptive Protein Tokenization (APT) voor, een globale tokenisatiemethode waarbij opeenvolgende tokens toenemende niveaus van detail bijdragen aan een globale representatie, in plaats van te corresponderen met specifieke lokale omgevingen.

Architectuur

APT is geïmplementeerd als een diffusie-autoencoder met een discrete bottleneck:

Input: Een sequentie van ruwe $C_\alpha$ -coördinaten (genormaliseerd naar nul-massa) van lengte $L$ .
Encoder: Een bidirectionele attention transformer brengt ruwe posities in kaart naar een latente sequentie $c \in \mathbb{R}^{L \times d}$ .
Discretisatie: De latente sequentie wordt gediscretiseerd met behulp van Finite Scalar Quantization (FSQ) met niveaus $(8, 5, 5, 5)$ , wat resulteert in een effectieve codeboekgrootte van 1.000.
Adaptiviteitsmechanisme: Om adaptiviteit af te dwingen, gebruikt het model nested dropout. Tijdens de training wordt een bovenste afkappunt $U$ uniform gesampled uit $[1, \min(L, k_{max})]$ . Tokens voorbij dit afkappunt worden gedropt. Dit moedigt het model aan om kritieke globale informatie (laagfrequente componenten) in de eerste paar tokens te plaatsen en hogere frequentie details in de daaropvolgende tokens.
Decoder: Een diffusie-decoder, getraind met een flow-matching objectief, reconstrueert de atomaire coördinaten geconditioneerd op de discrete tokens. De decoder maakt gebruik van stochastische equivariantie, waarbij symmetrieën leert in plaats van ze expliciet af te dwingen.
Groottevoorspelling: De eiwitgrootte wordt geregresseerd vanuit de eerste token met behulp van een cross-entropy loss, waardoor het model de eiwitgrootte kan ontkoppelen van de conditionering-sequentielengte.

Training en Inferentie

Training: Het model wordt getraind op $\approx 473.000$ synthetische AlphaFold2-voorspellingen uit de Foldseek-geclusterde AFDB-database. De training bestaat uit twee fasen: (1) het trainen van de autoencoder met willekeurige rotaties om stochastische equivariantie te leren, en (2) het trainen van een autoregressief (GPT-stijl) model over de APT-tokens.
Inferentiestrategieën:
- Tail Dropout: Tijdens generatie kan het model stoppen met het genereren van tokens voordat het einde is bereikt. Elk prefix van de tokensequentie is een geldige conditioneringssignaal. De staart (details met hoge frequentie) wordt gedelegeerd aan de diffusie-decoder.
- Entropy-Based Stopping: De auteurs introduceren stopcriteria gebaseerd op token-entropie (eindig afkappunt, spline-gebaseerde minimale entropie) om het optimale punt te bepalen waarop de generatie wordt gestopt, waarbij een balans wordt gevonden tussen representatiegetrouwheid en generatieve capaciteit.
- Classifier Annealing: Om artefacten te mitigeren die ontstaan door af te wijken van de ware datamanifold, gebruiken de auteurs classifier annealing, waarbij geïnterpoleerd wordt tussen conditionele en onconditionele guidancevelden tijdens de decodering.

Belangrijkste Bijdragen

Globale Adaptieve Tokenizer: Introductie van een tokenizer waarbij tokens globale beschrijvers vertegenwoordigen in een coarse-to-fine hiërarchie, in plaats van lokale omgevingen.
Prestatievalidatie: Demonstratie dat het model state-of-the-art (SOTA) lokale tokenizers (bijv. DPLM2, ESM3, Kanzi) evenaart of overtreft op generatieve, representatieleer- en reconstructietaken.
Inference-Time Technieken: Ontwikkeling van entropie-gebaseerde sampling en classifier annealing om de sample-complexiteit te beheren en foutblootstelling te minimaliseren, wat leidt tot verbeterde designbaarheid.
Zero-Shot Toepassingen: Demonstratie van het ontkoppelen van eiwitgrootte van de conditionering, wat zero-shot toepassingen mogelijk maakt zoals eiwitverkleining (verminderen van het aantal residuen terwijl de structuur behouden blijft) en affinity maturation via inference-time scaling.

Resultaten

Reconstructie: Op de CATH, CAMEO en AFDB testsets bereikt APT RMSD en TM-scores die vergelijkbaar zijn met SOTA continue diffusiemodellen. Opmerkelijk genoeg levert het gebruik van slechts 32–64 tokens RMSD's $< 2$ Å op, wat de comprimeerbaarheid van eiwitstructuren bevestigt.
Generatie: Een autoregressief model getraind op APT-tokens bereikt een designbaarheid van 0,871 (fractie van samples met scRMSD $< 2$ Å), wat significant beter is dan discrete diffusiemodellen zoals DPLM2 (0,486) en ESM3. Dit wordt bereikt zonder "best-of-N" sampling technieken.
Representatieleer: Op de CATH classificatietaak presteert non-lineaire (MLP) probing op APT-tokens beter dan probing op representaties van ESM3 en DPLM2. Cruciaal is dat APT vaste globale representaties biedt zonder mean-pooling, en zelfs zeer gecomprimeerde representaties (16 tokens) presteren beter dan grotere modellen.
Toepassingen:
- Eiwitverkleining: Succesvol gegenereerde kleinere versies van eiwitten (bijv. hemoglobine, beta-barrel) met behoud van globale en lokale structuur door het diffusieproces te conditioneren op minder residuen.
- Affinity Maturation: Gedemonstreerd het vermogen om zwakke binders te evolueren naar sterke binders met behulp van beam search geleid door beloningsfuncties (bijv. iPAE) in de latente ruimte.

Betekenis

Het artikel beweert dat Adaptive Protein Tokenization een taakbewuste benadering biedt voor het schalen van biologische taken. Door over te stappen van lokale naar globale tokenisatie, lost de methode de trade-off op tussen reconstructiefidelity en generatieve capaciteit. Het vermogen om eiwitten te comprimeren tot vaste vectoren zonder informatieverlies via mean-pooling biedt een praktisch pad voor het modelleren van grote eiwitcomplexen en het uitvoeren van inference-time scaling. De auteurs positioneren dit werk als een stap naar generatieve modellen die in staat zijn tot redeneren over meerdere lengteschalen, waarmee een sleuteluitdaging in de grensverleggende bioengineering wordt geadresseerd.

Noot: De auteurs erkennen beperkingen, specifiek dat APT-tokens effectief zijn voor globale taken maar minder geschikt zijn voor lokale taken zoals motif scaffolding, en dat de huidige tokenizer geen rekening houdt met zijketens of aminozuursamenstelling, die cruciaal zijn voor bepaalde functies.