ProteomeLM: A proteome-scale language model enables accurate and rapid prediction of protein-protein interactions and gene essentiality across taxa

Dit artikel introduceert ProteomeLM, een taalmodel dat op het niveau van volledige proteomen werkt en zonder supervisie interacties tussen eiwitten kan voorspellen, terwijl het ook geavanceerde, gesuperviseerde modellen biedt voor het nauwkeurig en snel voorspellen van eiwitinteracties en gen-essentialiteit over diverse soorten heen.

De kern

Stel je voor dat je een enorme bibliotheek hebt, niet met boeken, maar met de instructieboeken voor elk levend wezen op aarde: bacteriën, planten, dieren en mensen. Elk boek bevat de blauwdrukken voor duizenden kleine machines (eiwitten) die samenwerken om het leven in stand te houden.

De vraag is: Hoe werken deze machines samen? Welke machines bouwen aan dezelfde fabriek? En welke machines zijn zo belangrijk dat het leven zonder hen direct zou stoppen?

Tot nu toe was het heel moeilijk om dit te doorgronden. Wetenschappers moesten vaak duizenden boeken één voor één lezen en vergelijken, wat eeuwen duurt.

ProteomeLM is een nieuwe, slimme computerprogrammatuur die dit probleem oplost. Hier is hoe het werkt, in simpele taal:

1. De "Superlezer" die de hele bibliotheek tegelijk leest

Eerdere slimme programma's (zoals AlphaFold) waren goed in het lezen van één boek (één eiwit) om te zien hoe het eruit zag. Maar ze konden niet goed zien hoe dat ene boek zich verhoudt tot de rest van de bibliotheek.

ProteomeLM doet iets heel anders. Het leest niet één boek, maar de hele bibliotheek van een soort tegelijk.

• De analogie: Stel je voor dat je een detective bent. Eerdere methoden keken alleen naar de vingerafdrukken van één verdachte. ProteomeLM kijkt naar de hele stad, de buren, de werkplekken en de geschiedenis van iedereen tegelijk. Door te zien welke mensen (eiwitten) vaak samen in dezelfde straten (cellen) voorkomen, kan het programma raden wie met wie bevriend is.

2. Het "Gokspel" dat vriendschappen onthult

Hoe leert het programma dit? Het speelt een spelletje "vermoedens".

• Het programma kijkt naar een lijst met alle machines in een cel.
• Het verbergt dan één machine en probeert te raden welke dat was, puur op basis van de andere machines die er nog staan.
• Als het programma vaak goed raadt, betekent dit dat het heeft geleerd welke machines bij elkaar horen.

Bijzonder is dat het programma dit leert zonder dat iemand het de antwoorden heeft gegeven. Het ontdekt vanzelf patronen. Als twee machines vaak samen "vermist" worden in de voorspellingen, betekent dit waarschijnlijk dat ze een sterke band hebben.

3. De "Magische Bril" voor snelle ontdekking

Het echte wonder is hoe snel en nauwkeurig dit gaat.

• De oude manier: Om te weten welke machines samenwerken, moesten wetenschappers duizenden jaren aan rekenkracht gebruiken (alsof ze elke mogelijke combinatie van mensen in een stad handmatig zouden testen).
• De ProteomeLM-manier: Het programma doet dit in minuten. Het is alsof je van een handmatige zoektocht in een bibliotheek overschakelt naar een Google-zoekopdracht die in een seconde alle boeken doorzoekt.

Het programma kan zelfs zien welke machines in een complex samenwerken (zoals de onderdelen van een motor), en welke alleen functioneel gerelateerd zijn (zoals mensen die in dezelfde fabriek werken, maar niet direct met elkaar praten).

4. Twee Superkrachten

Het paper beschrijft twee specifieke toepassingen van deze technologie:

1. Het Kaartje van de Vriendschappen (PPI):
   Het maakt een compleet overzicht van wie met wie werkt in een cel. Dit helpt bij het vinden van nieuwe medicijnen. Als je weet welke machine een ziekte veroorzaakt, kun je een medicijn ontwerpen dat precies die machine blokkeert, zonder de rest van de fabriek te verstoren.

2. De "Levensnoodzakelijke" Test (Gen Essentiality):
   Het kan voorspellen welke machines onmisbaar zijn. Als je een machine uit een cel haalt en de cel sterft, was die machine essentieel. ProteomeLM kan dit voorspellen voor organismen waar we nog nooit eerder naar hebben gekeken. Dit is cruciaal voor het vinden van nieuwe antibiotica die bacteriën doden, maar mensen niet.

Waarom is dit zo belangrijk?

Vroeger waren we als kinderen die probeerden een ingewikkelde Lego-bouwwerk te begrijpen door alleen naar één steen te kijken. ProteomeLM geeft ons de kans om naar het hele bouwwerk te kijken en te zien hoe alles in elkaar zit.

Het maakt het mogelijk om:

• Sneller nieuwe medicijnen te vinden.
• Te begrijpen hoe leven werkt, zelfs bij vreemde bacteriën of virussen.
• Duizenden jaren aan onderzoek in een paar dagen te doen.

Kortom: ProteomeLM is de eerste computer die echt begrijpt dat een cel niet uit losse onderdelen bestaat, maar uit een groot, samenwerkend team. En dat team begrijpen, is de sleutel tot de toekomst van de geneeskunde.

Technische samenvatting

Probleemstelling

Bestaande deep learning-modellen voor biologische sequenties, zoals taalkundige modellen voor eiwitten (Protein Language Models - PLMs) en genoomsequenties, hebben grote vooruitgang geboekt in het voorspellen van eiwitstructuur, mutatie-effecten en lokale genomische context. Echter, deze modellen hebben beperkingen:

1. Schaal: Ze opereren meestal op het niveau van individuele eiwitten of kleine genomische regio's (enkele megabases). Ze kunnen geen afhankelijkheden over het hele proteoom (de volledige set eiwitten van een organisme) modelleren.
2. Systeem-eigenschappen: Hierdoor kunnen ze complexe, systeemniveau eigenschappen zoals eiwit-eiwit interacties (PPI) die ver uit elkaar liggen in het genoom, of gen-essentialiteit (welke genen cruciaal zijn voor overleving), niet effectief voorspellen.
3. Bestaande methoden: Traditionele methoden voor PPI-voorspelling, zoals Direct Coupling Analysis (DCA) gebaseerd op co-evolutie, zijn computationally zeer intensief en vereisen zorgvuldige uitlijning van homologe sequenties. Ze zijn vaak niet schaalbaar naar grote proteomen of organismen met weinig data.

Methodologie: ProteomeLM

De auteurs introduceren ProteomeLM, een transformer-gebaseerd taalkundig model dat uniek is omdat het traint op volledige proteomen van soorten over de hele levensboom (van bacteriën en archaea tot eukaryoten en virussen).

Kernarchitectuur en Training:

• Input: Het model neemt een proteoom als input, bestaande uit de set eiwitten gecodeerd door een genoom.
• Embeddings: In plaats van ruwe aminozuursequenties, gebruikt ProteomeLM vooraf getrainde embeddings gegenereerd door ESM-Cambrian (ESM-C), een krachtig eiwit-taalkundig model. Dit levert een rijke, functionele representatie per eiwit.
• Functionele Encoding (Cruciaal): Omdat de genomische organisatie sterk verschilt tussen soorten (bijv. operons in bacteriën vs. verspreide genen in eukaryoten), gebruikt ProteomeLM geen positionele encoding (volgorde in het genoom). In plaats daarvan gebruikt het een functionele encoding gebaseerd op OrthoDB (orthologe groepen). Dit geeft het model informatie over de evolutionaire en functionele identiteit van elk eiwit, ongeacht de genomische locatie.
• Trainingsdoel (Masked Language Modeling - MLM): Een subset van de eiwit-embeddings wordt gemaskeerd. Het model moet deze gemaskeerde embeddings reconstrueren op basis van de context van de overige ongemaskeerde eiwitten in hetzelfde proteoom.
• Verliesfunctie (Polar Loss): Omdat het model werkt met continue embeddings en niet met discrete tokens, kan standaard Mean Squared Error (MSE) leiden tot een degeneratieve oplossing (waarbij het model alleen de functionele encoding reproduceert). De auteurs ontwikkelen een aangepaste Polar Loss die de grootte (magnitude) en de richting (hoek) van het residu (verschil tussen voorspelling en werkelijkheid) ontkoppelt. Dit dwingt het model om de specifieke afwijkingen van de functionele encoding te leren.

Afgeleide Modellen:

1. ProteomeLM-PPI: Een supervised model dat de embeddings van ProteomeLM combineert met de attentie-coëfficiënten (attention weights) van het model om PPI te voorspellen.
2. ProteomeLM-Ess: Een supervised classifier voor het voorspellen van gen-essentialiteit, gebaseerd op de ProteomeLM-embeddings.

Belangrijkste Bijdragen

1. Eerste proteoom-schaal taalkundig model: Een foundation model dat in staat is om redeneringen te voeren over de volledige set eiwitten van een organisme, waardoor systeemniveau signalen kunnen worden vastgelegd.
2. Onbewaakte PPI-detectie via Attentie: Het model leert eiwit-eiwit interacties te detecteren puur via de trainingsdoelstelling (reconstructie), zonder dat er interactielabels nodig zijn. De attentie-coëfficiënten coderen functionele afhankelijkheden.
3. Schaalbaarheid en Snelheid: Het biedt een alternatief voor DCA dat orders van grootte sneller is en minder rekenkracht vereist.
4. Generalisatie: Het model generaliseert over diverse taxa, inclusief organismen zonder uitgebreide interactiedata.

Resultaten

1. Onbewaakte PPI-detectie:

• De attentie-coëfficiënten van ProteomeLM correleren sterk met bekende PPI's (uit databases zoals STRING en PDB).
• Het model onderscheidt effectief tussen directe fysische binding, interacties binnen hetzelfde complex, en bredere functionele associaties (zoals co-expressie).
• De beste prestaties worden geboekt in de centrale lagen van het model (bijv. laag 3 bij het kleine model), wat overeenkomt met de complexiteit van de gevangen signalen.

2. Snelle en Accurate PPI-screening:

• Snelheid: Het screenen van het volledige menselijke interactoom met ProteomeLM duurt minder dan 10 minuten op één GPU. In vergelijking hiermee kostte een recente DCA-studie (voor 190 miljoen paren) meer dan 30 dagen met 50-100 GPU's. Dit is een versnelling van 6 ordes van grootte voor inferentie.
• Nauwkeurigheid: ProteomeLM presteert significant beter dan DCA bij het herstellen van experimenteel gevalideerde interacties (AUC 0.83 vs 0.73 voor H. sapiens).

3. Supervised PPI Voorspelling (ProteomeLM-PPI):

• Het model bereikt state-of-the-art prestaties op benchmarks zoals D-SCRIPT en een nieuw dataset zonder data-lekkage.
• Het combineert node-features (embeddings) en edge-features (attentie-waarden) voor superieure prestaties, zelfs bij cross-species generalisatie (getraind op mens, getest op bacteriën/gist).

4. Gen-essentialiteit Voorspelling (ProteomeLM-Ess):

• Het model voorspelt gen-essentialiteit met hoge nauwkeurigheid (AUC 0.93 voor E. coli).
• Het presteert beter dan modellen die alleen op ESM-C embeddings trainen, wat aantoont dat de proteoom-context cruciaal is voor het begrijpen van essentialiteit.
• Het generaliseert goed naar onzichtbare taxa, inclusief synthetische cellen (JCVI-Syn3A), zelfs zonder dat deze in de trainingsdata zaten.

Betekenis en Impact

ProteomeLM markeert een verschuiving in computationele biologie van het modelleren van individuele componenten naar het modelleren van het hele systeem.

• Efficiëntie: Het maakt grootschalige interactoom-screening haalbaar voor duizenden soorten, inclusief slecht bestudeerde pathogenen, wat eerder onmogelijk was door de rekenkosten van DCA.
• Biologisch inzicht: Het bewijst dat taalkundige modellen, getraind op de context van het hele proteoom, fundamentele biologische principes (zoals co-evolutie en functionele afhankelijkheid) kunnen leren zonder expliciete supervisie.
• Toepassingen: Het model dient als een krachtige filter voor structurele voorspellingen (zoals AlphaFold-Multimer), helpt bij het ontdekken van nieuwe therapeutische targets, en biedt een kader voor het bestuderen van de evolutie van functionele netwerken.

Kortom, ProteomeLM demonstreert dat het integreren van volledige proteoom-informatie in taalkundige modellen leidt tot superieure prestaties in het voorspellen van complexe biologische eigenschappen, met een ongeëvenaard evenwicht tussen snelheid, schaalbaarheid en nauwkeurigheid.