Fine-tuning protein language models on human spatial constraint improves variant effect prediction by reducing wild-type sequence bias

Dit artikel introduceert Human Spatial Constraint (HuSC), een raamwerk dat menselijke genetische variatie en 3D-structuur combineert om taalkundige eiwitmodellen te verfijnen, waardoor de voorspelling van varianteffecten verbetert door de bias ten opzichte van wildtype-sequenties te verminderen.

De kern

🧬 De "Menselijke Ruimtelijke Beperking": Een Nieuwe Manier om Genen te Begrijpen

Stel je voor dat een eiwit (een bouwsteen van je lichaam) een gigantisch, ingewikkeld LEGO-gebouw is. Sommige stukjes in dat gebouw zijn cruciaal: als je die verwijdert of vervangt, stort het hele gebouw in. Andere stukjes zijn minder belangrijk; daar kun je misschien wel een andere kleur LEGO-plaatsen zonder dat het gebouw instort.

Vroeger keken wetenschappers vooral naar de geschiedenis van dit gebouw. Ze vergeleken het met gebouwen van andere diersoorten (zoals apen of muizen) om te zien welke stukjes al miljoenen jaren hetzelfde waren gebleven. Als een stukje bij een aap, een muis en een mens identiek is, dachten ze: "Dit moet heel belangrijk zijn!"

Deze nieuwe studie, geschreven door Gyasu Bajracharya en John Capra, zegt echter: "Wacht even, we kijken naar de verkeerde geschiedenis."

1. Het Probleem: De Verkeerde Kaart

De oude methoden kijken naar de "lange termijn geschiedenis" (evolutie over miljoenen jaren). Maar wat als er stukjes zijn die voor een aap of muis niet belangrijk zijn, maar voor een mens wel? Of andersom?

Het is alsof je probeert te begrijpen waarom een auto in de stad vastloopt, terwijl je alleen kijkt naar hoe de auto eruitzag toen hij nog een paard-en-wagen was. Je mist de details van het huidige verkeer.

2. De Oplossing: HuSC (Menselijke Ruimtelijke Beperking)

De auteurs hebben een nieuw systeem bedacht, genaamd HuSC. In plaats van naar de geschiedenis van andere dieren te kijken, kijken ze naar honderdduizenden huidige mensen.

• De Metafoor: Stel je voor dat je een enorme bibliotheek hebt met de DNA-kaarten van 140.000 mensen. HuSC kijkt naar al die boeken en vraagt zich af: "Op welke plekken in het LEGO-gebouw zien we dat mensen vaak een ander blokje gebruiken, en op welke plekken gebeurt dat bijna nooit?"
• De 3D-Context: Ze kijken niet alleen naar de lijst van blokken, maar ook naar hoe ze in elkaar zitten in de ruimte (de 3D-structuur). Als twee blokken dicht bij elkaar in de ruimte zitten, beïnvloeden ze elkaar. HuSC houdt hier rekening mee.

Wat levert dit op?
Als een plek in het LEGO-gebouw bijna nooit verandert bij mensen, is dat een rood vlaggetje: "Hier mag je niet aan rommelen, dit is essentieel." Als er veel variatie is, is het een groen vlaggetje: "Hier kun je experimenteren."

3. De Slimme Computer: Het "Fine-tunen"

De onderzoekers hebben ook een zeer slimme computer (een "Protein Language Model" of PLM) gebruikt. Deze computer is getraind op de taal van eiwitten van alle diersoorten. Hij is dus een expert in de "lange termijn geschiedenis", maar hij weet niet veel van de specifieke regels van de huidige mens.

De onderzoekers hebben deze computer een bijles gegeven met de HuSC-data.

• De Analogie: Stel je voor dat je een vertaler hebt die perfect Frans en Engels spreekt (de oude computer), maar hij maakt fouten in de specifieke dialecten van moderne mensen. Je geeft hem een woordenboek met de regels van die dialecten (HuSC).
• Het Resultaat: De computer wordt niet alleen slimmer in het voorspellen van ziekteverwekkende mutaties, maar hij leert ook dat hij soms te zeker was over bepaalde stukjes. Hij leert nu: "Oh, ik dacht dat dit blokje altijd hetzelfde moest zijn, maar mensen veranderen het vaak zonder dat er iets mis is. Ik moet mijn zekerheid daarover aanpassen."

4. Waarom is dit belangrijk?

Dit onderzoek toont twee geweldige dingen aan:

1. We vinden nieuwe "menselijke" regels: Er zijn stukjes in ons DNA die voor andere dieren onbelangrijk zijn, maar voor ons wel cruciaal. Bijvoorbeeld in genen die te maken hebben met ons immuunsysteem (zoals de verdediging tegen virussen) of met het reguleren van genen (de schakelaars in onze cellen). HuSC vindt deze specifieke menselijke "zwakke plekken" die de oude methoden over het hoofd zagen.
2. Betere voorspellingen: Door de computer deze nieuwe regels te leren, kunnen we veel beter voorspellen of een genetische verandering bij een patiënt gevaarlijk is of niet. Het helpt artsen om sneller en accurater diagnoses te stellen.

Samenvatting in één zin

De onderzoekers hebben een nieuwe manier bedacht om te kijken naar de variatie in het DNA van huidige mensen in 3D-ruimte, en hebben deze kennis gebruikt om slimme computers slimmer te maken in het voorspellen van welke genetische veranderingen ziektes veroorzaken.

Kortom: Ze kijken niet meer alleen naar de familiegeschiedenis van de mens, maar naar de huidige "buurt" van de mens, om zo beter te begrijpen wat er in ons lichaam goed of fout gaat.

Technische samenvatting

Probleemstelling

Proteïne-taalmodellen (PLMs) hebben momenteel de state-of-the-art prestaties in het voorspellen van de effecten van missense-varianten (aminozuurveranderingen). Echter, deze modellen vertonen twee belangrijke beperkingen:

1. Gebrek aan intraspecifieke variatie: PLMs worden getraind op evolutionaire data over verschillende soorten (interspecifiek) en modelleren niet expliciet de variatie binnen de menselijke populatie. Dit betekent dat ze selectiedruk over de laatste duizenden jaren (menselijke evolutie) missen, in tegenstelling tot de miljoenen jaren die in interspecifieke modellen zitten.
2. Bias ten opzichte van het wildtype: Bestaande modellen vertonen vaak een overmatige zekerheid (bias) ten gunste van het oorspronkelijke wildtype-aminozuur, vooral in regio's die mutaties eigenlijk wel tolereren. Dit leidt tot minder nauwkeurige rangschikkingen van varianten.

Daarnaast zijn bestaande methoden om evolutionaire beperkingen te kwantificeren binnen de menselijke populatie vaak beperkt tot lineaire sequentie-gegevens of missen ze de 3D-structurele context van eiwitten.

Methodologie

De auteurs introduceren een nieuw raamwerk genaamd Human Spatial Constraint (HuSC) en integreren dit in bestaande PLMs via fine-tuning.

1. Het HuSC-raamwerk (Human Spatial Constraint)

HuSC kwantificeert evolutionaire beperkingen op basis van menselijke genetische variatie in de context van 3D-eiwitstructuren.

• Data-integratie: Het model combineert variantfrequentiedata van honderdduizenden individuen (uit gnomAD v2.1.1) met voorspelde 3D-structuren van het AlphaFold-database.
• Ruimtelijke aggregatie: Voor elk aminozuurresidu wordt de frequentie van waargenomen varianten geaggregeerd binnen een 3D-sferische omgeving (bijv. een straal van 8 Å) rondom dat residu.
• Null-model: Er wordt een permutatiegebaseerd model gebruikt om de verwachte frequentie van missense-varianten onder neutrale evolutie te schatten. Dit model houdt rekening met:
  • Lokale mutabiliteit (variatie in mutatiesnelheid op nucleotide- en codonniveau).
  • De verdeling van waargenomen variantfrequenties.
• Scoreberekening: De HuSC-score wordt berekend als een getekende log-getransformeerde Z-score: het verschil tussen de waargenomen variantfrequentie in de ruimtelijke regio en de verwachte frequentie (uit het null-model), gedeeld door de standaarddeviatie.
  • Lage HuSC-scores: Indiceren sterke beperking (weinig variatie, functioneel belangrijk).
  • Hoge HuSC-scores: Indiceren tolerantie voor variatie.

2. Fine-tuning van Protein Language Models (PLMs)

Om de kennis van HuSC te integreren in PLMs, hebben de auteurs de ESM2-familie van modellen (van 8M tot 650M parameters) gefine-tuned.

• Strategie: Ze gebruikten Low-Rank Adaptation (LoRA). Hierbij blijven de oorspronkelijke modelgewichten bevroren (om catastrafisch vergeten van pre-getrainde kennis te voorkomen) en worden alleen kleine, trainbare matrices toegevoegd aan de self-attention modules.
• Trainingsdoel: Het model werd getraind om de voorspelde entropie (onzekerheid) van aminozuursubstituties te laten overeenkomen met de HuSC-scores. De training was beperkt tot de meest beperkte eiwitten en sites waar het intraspecifieke signaal het sterkst afwijkt van de pre-getrainde kennis.
• Verliesfunctie: Een lijst-gebaseerde rangschikkingstap (listwise ranking loss) werd gebruikt om de voorspelde scores te laten correleren met de HuSC-scores.

Belangrijkste Resultaten

1. Superioriteit van HuSC in pathogeniciteitsvoorspelling

• HuSC presteerde significant beter dan traditionele methoden (zowel intra- als interspecifiek) bij het onderscheiden van pathogene van benignie varianten in de ClinVar-dataset.
• AUC-waarden: HuSC bereikte een ROC-AUC van 0,91 en een PR-AUC van 0,90. Dit is hoger dan ConSurf (0,84), PhyloP (0,81) en andere intraspecifieke methoden zoals COSMIS (0,72).
• HuSC correleert matig met interspecifieke conservatiemetingen, wat aangeeft dat het een uniek signaal vangt dat niet door andere methoden wordt gedekt.

2. Identificatie van mens-specifieke beperkingen

• Door HuSC-scores te vergelijken met interspecifieke scores (ConSurf), identificeerden de auteurs residuen die sterk beperkt zijn binnen de menselijke populatie maar minder conservatief zijn over soorten heen.
• Functionele verrijking: Deze "mens-specifiek beperkte" genen waren sterk verrijkt voor:
  • Immuunprocessen (bijv. activatie van gamma-delta T-cellen, regulatie van NK-cellen). Een voorbeeld is SLAMF6, waar mens-specifieke beperkingen zich concentreerden op het dimerisatie-interface.
  • Transcriptieregulatie, specifiek door KRAB-zincfinger-eiwitten (zoals ZNF460), wat wijst op snelle, soort-specifieke evolutie in DNA-bindingsinterfaces.

3. Verbetering van Fitness-voorspelling door Fine-tuning

• Het fine-tunen van ESM2 met HuSC-scores leidde tot significante verbeteringen in het voorspellen van variant-effecten, gemeten aan de hand van Deep Mutational Scanning (DMS) data (ProteinGym-benchmark).
• Prestatie: De Spearman-correlatie tussen voorspellingen en experimentele data steeg voor alle modelgroottes (bijv. van 0,45 naar 0,48 voor het 650M-model).
• Generalisatie: De verbetering gold niet alleen voor menselijke eiwitten, maar ook voor prokaryotische en eukaryotische eiwitten, wat suggereert dat HuSC fundamentele principes van eiwitfunctie leert die over soorten heen gelden.
• Assay-typen: De grootste winst werd geboekt bij assays gerelateerd aan stabiliteit, enzymatische activiteit en organismale fitness.

4. Mechanisme van Verbetering: Reductie van Wildtype-Bias

• Analyse van de veranderingen in het model toonde aan dat de prestatiewinst voornamelijk voortkwam uit een reductie van de bias ten opzichte van het wildtype.
• Na fine-tuning nam de negatieve log-likelihood (NLL) van het wildtype-aminozuur toe (het model werd minder zeker van het wildtype), vooral in regio's die mutaties tolereren.
• Dit betekent dat het model "overconfidence" in het wildtype corrigeert in permissieve regio's, waardoor het beter in staat is om de relatieve fitness van alternatieve aminozuren te rangschikken.

Significantie en Conclusie

Dit werk demonstreert dat het combineren van intraspecifieke beperkingen (menselijke populatievariatie in 3D-context) met interspecifieke kennis (PLMs) leidt tot een meer compleet beeld van de functionele landschappen van eiwitten.

• Nieuwe inzichten: HuSC biedt een krachtige methode om mens-specifieke selectiedruk te detecteren die door traditionele evolutionaire modellen wordt gemist, met name in het immuunsysteem en transcriptieregulatie.
• Technische doorbraak: Het succesvol fine-tunen van grote taalmodellen met HuSC-scores via LoRA toont een nieuwe weg aan voor het integreren van populatiegenetica in deep learning.
• Klinische relevantie: Door de bias ten opzichte van het wildtype te verminderen, worden variant-effectvoorspellingen nauwkeuriger, wat essentieel is voor het interpreteren van genetische varianten in klinische settings en het begrijpen van ziektemechanismen.

Samenvattend bewijst dit artikel dat menselijke ruimtelijke beperkingen een cruciaal, aanvullend signaal zijn dat de nauwkeurigheid van AI-modellen voor eiwitvarianten aanzienlijk kan verbeteren.