General Protein Pretraining or Domain-Specific Designs? Benchmarking Protein Modeling on Realistic Applications

Deze paper introduceert Protap, een uitgebreide benchmark die systematisch algemene vooringestelde modellen en domeinspecifieke ontwerpen vergelijkt op realistische eiwittoepassingen, en vaststelt dat toezicht op kleine datasets, het integreren van structurele informatie en het gebruik van biologische priors vaak superieur zijn aan grote vooringestelde taalkundige modellen.

De kern

Titel: Protap: De Grote Keukentest voor AI en Proteïnen

Stel je voor dat proteïnen (eiwitten) de kleine, superkrachtige machines zijn in ons lichaam. Ze bouwen cellen, vechten tegen virussen en verteren ons eten. Om nieuwe medicijnen te maken of ziektes te genezen, moeten wetenschappers precies weten hoe deze machines werken. Maar proteïnen zijn ingewikkeld: ze zijn niet alleen een rijtje letters (zoals een zin), maar ze vouwen zich ook tot complexe 3D-vormen, net als een origami die uit een plat stuk papier springt.

De afgelopen jaren hebben computerwetenschappers veel AI-modellen ontwikkeld om deze proteïnen te begrijpen. Er zijn twee grote kampen:

1. De "Alles-kenners": Enorme AI's die miljoenen proteïnen hebben gelezen, maar niet specifiek zijn getraind voor één taak. (Zoals een student die alles over de wereld weet, maar nog nooit een auto heeft gerepareerd).
2. De "Specialisten": AI's die specifiek zijn gebouwd voor één ding, zoals het vinden van een sleutelgat in een slot. (Zoals een auto-mechanicus die alleen maar remmen repareert).

De vraag is: Wie wint er? De brede kennis van de "Alles-kenners" of de scherpe focus van de "Specialisten"?

Dit is precies wat het nieuwe onderzoek Protap uit de Universiteit van Hong Kong (HKUST) heeft onderzocht. Ze hebben een grote testbaan (benchmark) gebouwd om deze modellen te laten racen.

De Testbaan: 5 Realistische Uitdagingen

In plaats van alleen simpele vragen te stellen, hebben ze de AI's vijf echte, moeilijke taken gegeven die in de farmaceutische industrie echt belangrijk zijn:

1. De Schaar (Enzymen): Een enzym is als een schaar die een proteïne op een specifiek punt doorsnijdt. De AI moet voorspellen waar die snede precies valt.
2. De Vernietiger (PROTACs): Dit is een slim medicijn dat een ziekteverwekker (een proteïne) vastpakt en het lichaam zelf laat "opruimen" (vernietigen). De AI moet voorspellen of deze vernietiger werkt.
3. De Slot en Sleutel (Geneesmiddelen): Een medicijn (de sleutel) moet passen in een proteïne (het slot). De AI moet voorspellen hoe goed ze bij elkaar passen.
4. De Biografie (Functie): Wat doet dit proteïne eigenlijk? Is het een verdediger, een bouwvakker of een boodschapper?
5. De Verbetering (Mutaties): Als we één letter in het proteïne veranderen, wordt het dan sterker of zwakker?

De Resultaten: Wat hebben ze ontdekt?

De testbaan leverde drie verrassende conclusies op, die we kunnen vergelijken met het leren van een vaardigheid:

1. De "Grote Boek" is niet altijd de beste leraar
Je zou denken dat een AI die 3 miljard proteïnen heeft gelezen (zoals de grote "Alles-kenners" ESM-2), altijd beter is dan een AI die maar een klein beetje heeft geoefend.

• De realiteit: Soms wint de "Alles-kennis", maar vaak wint de specialist die van nul is opgebouwd voor de specifieke taak.
• De analogie: Het is alsof je een wereldreiziger vraagt om een auto te repareren. Hij weet veel over wegen, maar als je een specifieke motorbreuk hebt, is een lokale monteur die zich alleen op motoren heeft gespecialiseerd vaak sneller en beter.

2. De 3D-structuur is de geheime wapen
Veel AI's kijken alleen naar de rijtjes letters (de sequentie). Maar proteïnen bestaan uit 3D-vormen.

• De ontdekking: Modellen die ook kijken naar de 3D-vorm (de vouwing), doen het vaak beter dan diegene die alleen naar de letters kijken, zelfs als ze minder data hebben geleerd.
• De analogie: Het is alsof je probeert een sleutel te maken. Als je alleen de lengte van de tandjes meet (de letters), mis je de vorm. Als je ook de 3D-vorm van het slot ziet, kun je de sleutel veel beter maken.

3. De beste aanpak: Een hybride team
De grootste winnaars waren vaak modellen die pre-getraind waren (ze hebben al veel geleerd) en daarna fijn zijn afgesteld (fine-tuning) met de specifieke kennis van de taak.

• De analogie: Het is alsof je een ervaren piloot (de pre-getrainde AI) huurt en hem een specifieke kaart geeft voor een nieuwe bestemming (de specifieke taak). Hij gebruikt zijn ervaring, maar past zich aan aan de nieuwe situatie.

Waarom is dit belangrijk?

Vroeger dachten veel mensen dat "hoe groter, hoe beter" altijd gold. Dit onderzoek zegt: Niet altijd.

• Voor simpele, algemene vragen is een grote AI geweldig.
• Maar voor complexe, specifieke medische problemen (zoals het vinden van een nieuw medicijn tegen kanker) is het vaak beter om een specifiek model te bouwen dat rekening houdt met de biologie en de 3D-vorm, of om een groot model slim aan te passen.

Protap is dus de "keuring" die wetenschappers en medicijnontwikkelaars helpt te kiezen: welke AI moet ik gebruiken voor mijn specifieke probleem? Het zorgt ervoor dat we niet blindelings de grootste, duurste modellen kiezen, maar de slimste keuze maken voor de taak.

Kortom: In de strijd tussen de "Alles-kenners" en de "Specialisten" is de winnaar vaak een slimme samenwerking tussen beide, waarbij de 3D-vorm van het proteïne de sleutel is tot succes.

Technische samenvatting

1. Probleemstelling

In het veld van computationele biologie zijn er twee dominante benaderingen voor het modelleren van eiwitten:

1. Algemene voorgeprogrammeerde modellen (Foundation Models): Grote modellen (zoals ESM-2, ProteinBERT) die zijn getraind op enorme corpora van eiwitsequenties (vaak met Masked Language Modeling) om universele representaties te leren.
2. Domeinspecifieke ontwerpen: Modellen die specifiek zijn ontworpen voor bepaalde taken (zoals enzymkatalyse of eiwit-degradatie) en vaak gebruikmaken van biologische voorafkennis (priors) en structurele informatie.

Er bestaat echter een kloof in de evaluatie: Bestaande benchmarks (zoals TAPE, ProteinGLUE) focussen vaak slechts op één type model of één specifieke taak. Er is geen gestandaardiseerd kader dat systematisch vergelijkt of grote, algemene voorgeprogrammeerde modellen beter presteren dan gespecialiseerde, domeinspecifieke modellen op realistische, industriële toepassingen. De centrale vraag is: Kunnen grote algemene modellen domeinspecifieke modellen verslaan, en onder welke voorwaarden?

2. Methodologie: Het Protap Benchmark Framework

De auteurs introduceren Protap, een uitgebreid benchmarkkader dat 18 voorgeprogrammeerde modellen en 8 domeinspecifieke modellen vergelijkt over vijf realistische downstream-toepassingen.

A. Toepassingen (Tasks)

Protap dekt twee categorieën van taken:

1. Specifieke (Specialized) Taken:
   • Enzym-katalysed Protein Cleavage Site Prediction (PCS): Voorspellen waar enzymen eiwitten knippen (residue-niveau classificatie).
   • Targeted Protein Degradation (PROTACs): Voorspellen of een PROTAC-molecuul een doelwit-eiwit kan degraderen via het ubiquitine-proteasoomsysteem (ternaire complexen).
   • Protein-Ligand Interactions (PLI): Voorspellen van bindingsaffiniteit tussen eiwitten en kleine moleculen (regressie).
2. Algemene (General) Taken:
   • Protein Function Annotation (PFA): Voorspellen van Gene Ontology (GO) termen.
   • Mutation Effect Prediction (MTP): Voorspellen van het effect van mutaties op eiwitstabiliteit of functie (zero-shot learning).

B. Modellen en Strategieën

Het kader test drie soorten architecturen onder verschillende trainingsscenari's:

• Architecturen:
  • Sequentie-gebaseerd: ProteinBERT, ESM-2, ESM Cambrian.
  • Structuur-gebaseerd: EGNN, SE(3) Transformer, GVP.
  • Hybride (Sequentie + Structuur): SaProt, D-Transformer.
• Pretraining Doelen:
  • Masked Language Modeling (MLM).
  • Multi-View Contrastive Learning (MVCL) op structuren.
  • Protein Family Prediction (PFP).
• Training Strategieën:
  • Trainen vanaf nul (from scratch).
  • Bevriezen van de encoder (frozen weights) met alleen fine-tuning van de kop.
  • Multi-stage fine-tuning (eerst bevriezen, dan volledig fine-tunen).

C. Data

Het framework gebruikt diverse datasets, waaronder MEROPS (knipplaatsen), PROTAC-DB, KDBNet/DAVIS (eiwit-ligand), DeepFRI (functie) en ProteinGym (mutaties).

3. Belangrijkste Bijdragen

1. Universeel Benchmarkkader: Protap is de eerste benchmark die algemene foundation models en domeinspecifieke modellen direct vergelijkt op een reeks realistische, industriële toepassingen.
2. Introductie van Nieuwe Taken: Het omvat twee nieuwe, industriële relevante taken die eerder ontbraken in benchmarks: enzym-katalysed cleavage site prediction en PROTAC-gemedieerde eiwitdegradatie.
3. Uitgebreide Vergelijking: Het omvat 18 pretraining-modellen en 8 domeinspecifieke modellen, wat inzicht geeft in de effectiviteit van schaalwetten en domeinkennis.
4. Open Source: De code en data zijn publiek beschikbaar gesteld om reproduceerbaarheid te waarborgen.

4. Resultaten en Empirische Bevindingen

De experimentele resultaten leiden tot drie kerninzichten:

• Inzicht 1: Supervised vs. Pretrained (Schalingswetten)

  • Hoewel grote voorgeprogrammeerde encoders (zoals ESM-2) goede resultaten behalen, presteren ze vaak slechter dan supervisors encoders die vanaf nul zijn getraind op kleine downstream datasets.
  • Dit suggereert een mismatch tussen de pretraining-doelen (vaak sequentie-gebaseerd) en de specifieke eisen van complexe downstream-taken.
  • Uitzondering: Bij Multi-stage fine-tuning (waarbij de encoder eerst gefixeerd is en later volledig wordt bijgesteld) presteren voorgeprogrammeerde modellen vaak beter, vooral bij complexe interacties zoals PROTACs.

• Inzicht 2: Structuur vs. Sequentie

  • Voor specifieke taken die afhankelijk zijn van geometrische beperkingen (zoals bindingszakken en ternaire complexen), presteren structureel-bewuste modellen (structure-aware) vaak beter dan pure sequentie-modellen, zelfs als de sequentie-modellen veel groter zijn.
  • Het toevoegen van 3D-structurele informatie tijdens het fine-tunen kan prestaties evenaren of zelfs overtreffen van modellen die zijn voorgeprogrammeerd op enorme sequentie-corpora.

• Inzicht 3: Waarde van Domeinspecifieke Priors

  • Domeinspecifieke modellen presteren over het algemeen beter op gespecialiseerde taken (zoals PCS en PLI) dan algemene architecturen.
  • Succesvolle domeinmodellen combineren vaak voorgeprogrammeerde representaties met biologische voorafkennis (bijv. energetische frustratie bij enzymen, domein-informatie bij functievoorspelling).
  • Modellen die alleen op 2D-cues of sequenties vertrouwen (zonder structurele of biologische priors), presteren consistent slechter.

5. Betekenis en Conclusie

Het paper concludeert dat er geen "one-size-fits-all" oplossing is.

• Voor algemene taken (zoals mutatie-effecten of functievoorspelling) kunnen grote foundation modellen (PLMs) zeer effectief zijn, vooral door hun vermogen om evolutionaire patronen te leren.
• Voor complexe, interactieve biologische processen (zoals enzymkatalyse, PROTACs en eiwit-ligand binding) zijn domeinspecifieke ontwerpen die biologische kennis en 3D-structuren integreren, vaak superieur.

Toekomstperspectief:
De auteurs pleiten voor een hybride aanpak in de toekomst: het gebruik van krachtige foundation models als basis, maar met de noodzakelijke aanpassing (fine-tuning) en integratie van domeinspecifieke priors om de prestaties op realistische, industriële toepassingen te maximaliseren. Protap biedt de standaard om deze ontwikkelingen in de toekomst te evalueren.