Bacterial proteome foundation model enhances functional prediction from enzymes to ecological interactions

Dit paper introduceert BacPT, een foundation model voor bacteriële proteomen dat ongesuperviseerd wordt getraind op duizenden genomen en contextuele gen-embeddings genereert om enzymactiviteiten, metabolische eigenschappen en ecologische interacties nauwkeuriger te voorspellen.

De kern

De Bacterie-Vertaler: Hoe een AI de geheime taal van bacteriën leest

Stel je voor dat bacteriën een enorme bibliotheek zijn. In deze bibliotheek staan miljarden boeken (de genen) die vertellen hoe een bacterie leeft, wat hij eet, en hoe hij met andere bacteriën omgaat. Het probleem is dat we de meeste van deze boeken niet kunnen lezen. We weten wel dat de letters er zijn, maar we begrijpen niet wat de verhalen betekenen.

Tot nu toe keken wetenschappers vaak naar één letter of één zin per keer. Maar bacteriën werken niet zo. Ze werken als een heel team. Een gen alleen zegt misschien niet veel, maar als je kijkt naar de genen die eromheen staan, krijg je pas het volledige plaatje.

In dit nieuwe onderzoek hebben Palash, Lucas en Juannan een slimme computer (een "foundation model" genaamd BacPT) getraind om deze bibliotheek te begrijpen. Hier is hoe het werkt, vertaald naar alledaags taal:

1. De "Leesmachine" die het hele verhaal snapt

Stel je voor dat je een boek leest. Als je alleen naar één woord kijkt, weet je niet wat er gebeurt. Als je naar de hele zin kijkt, snap je de betekenis. BacPT doet precies dit, maar dan voor bacteriën.

• Hoe het werkt: De computer heeft eerst 33.000 verschillende bacteriën "gelezen". Hij heeft gekeken naar alle genen in elk bacterie, niet los van elkaar, maar als één lange, samenhangende keten.
• De analogie: Stel je voor dat je een orkest hoort. Een traditionele methode luistert alleen naar de fluitist. BacPT luistert naar het hele orkest tegelijk. Hij hoort hoe de trompet de fluit begeleidt, hoe de drums het ritme geven, en hoe alles samen een symfonie maakt.

2. Wat kan deze slimme computer nu doen?

Omdat BacPT het "geheel" begrijpt, kan hij veel dingen voorspellen die voorheen onmogelijk leken:

• Het werk van de "gereedschappen" (Enzymen):
  Bacteriën hebben gereedschappen om voedsel te verteren. Soms heeft een bacterie het gereedschap (het gen), maar gebruikt het niet. Waarom? Misschien staat het gereedschap in de verkeerde kamer van het huis (het genoom). BacPT kijkt naar de omgeving en kan zeggen: "Ah, dit gereedschap staat in een rommelige kamer, dus het werkt waarschijnlijk niet." Hij voorspelt dus beter of een bacterie een bepaalde taak daadwerkelijk uitvoert.

• Het vinden van "geheime teams" (Genclusters):
  Bacteriën werken vaak in teams. Genen die samenwerken staan vaak dicht bij elkaar, zoals vrienden die in dezelfde straat wonen. BacPT kan deze teams vinden, zelfs als we ze nog nooit eerder hebben gezien. Hij ziet de "vriendschapsbanden" tussen de genen.

• Het voorspellen van vriendschappen en ruzies (Ecologische interacties):
  In de natuur hebben bacteriën het soms goed samen (vriendschap) en soms slecht (oorlog). BacPT kan kijken naar de "persoonlijkheid" van twee bacteriën (hun volledige genoom) en zeggen: "Deze twee zullen waarschijnlijk samenwerken" of "Deze twee gaan vechten om voedsel." Dit helpt ons begrijpen hoe microben in de natuur samenleven.

3. Waarom is dit zo belangrijk?

Vroeger moesten wetenschappers elk bacterie-experiment handmatig doen of zich blind staren op bestaande lijsten met informatie. Dat is als proberen een nieuwe taal te leren door alleen woordenboeken na te slaan.

Met BacPT hebben we nu een vertaler.

• Hij leest niet alleen de letters, maar begrijpt de context.
• Hij kan nieuwe, onbekende bacteriën analyseren zonder dat we eerst jarenlang onderzoek hoeven te doen.
• Hij helpt ons ziektes te begrijpen, nieuwe medicijnen te vinden, en te zien hoe bacteriën onze wereld (en onze darmen) in stand houden.

Kortom:
De auteurs hebben een AI gebouwd die de complexe, verborgen taal van bacteriën spreekt. In plaats van naar losse stukjes te kijken, kijkt hij naar het hele verhaal. Hierdoor kunnen we sneller en slimmer voorspellen wat bacteriën doen, van het verteren van suiker tot het vormen van complexe netwerken in de natuur. Het is alsof we eindelijk de sleutel hebben gevonden om de geheime bibliotheek van het leven te openen.

Technische samenvatting

Probleemstelling

Hoewel er in het afgelopen decennium een enorme hoeveelheid bacteriële genomische data is gegenereerd, blijven de metabolische en ecologische functies van de meeste gesequencede bacteriën onbegrepen. Traditionele benaderingen zijn vaak beperkt tot goed bestudeerde taxa en vertrouwen zwaar op bestaande, handmatig samengestelde annotaties.
De belangrijkste uitdagingen zijn:

1. Contextgebrek: Het is moeilijk om de relatie tussen individuele genen en hun bredere genomische context te modelleren, wat essentieel is voor het begrijpen van complexe biologische paden.
2. Schaal: Bestaande "foundation models" (zoals ESM voor eiwitten) focussen vaak op korte sequentiecontexten of individuele eiwitten, en missen het vermogen om grootschalige genomische interacties en operons te vangen.
3. Generaliseerbaarheid: Conventionele methoden generaliseren slecht naar nieuwe taxa of voorspellingstaken waarvoor beperkte functionele annotaties beschikbaar zijn.

Methodologie: BacPT

De auteurs introduceren BacPT (Bacterial Proteome Transformer), een foundation model dat is getraind op de volledige proteomen van bacteriën om contextbewuste gen-embeddings te genereren.

1. Data en Voorverwerking:

• Dataset: 33.140 bacteriële genooms uit de NCBI RefSeq-database, afkomstig van diverse taxonomische groepen.
• Input Representatie: In plaats van ruwe nucleotiden of k-mers, gebruikt BacPT de ESM2-embeddings (480-dimensionale vectoren) van alle voorspelde genen in een genoom. Deze embeddings worden gemiddeld over het volledige eiwit om één vector per gen te krijgen.
• Train/Test Split: Genomen werden geclusterd op basis van de aanwezigheid/afwezigheid van eiwitfamilies. Een cluster met Escherichia, Shigella en Salmonella werd gebruikt als testset (5.059 genooms) om te garanderen dat de testdata minimaal vergelijkbaar is met de trainingsdata.

2. Model Architectuur:
BacPT past de Transformer-architectuur toe op continue eiwit-embeddings (Masked Language Modeling op vectoren). Er zijn twee varianten ontwikkeld:

• BacPT-small: Gebaseerd op RoBERTa, 10 lagen, 5 attention-heads. Traineert op het volledige genoomschaal.
• BacPT-large: Gebaseerd op RoFormer met Rotary Positional Embeddings (RoPE) voor betere modellering van lange-afstandsafhankelijkheden.
  • Twee-staps training: Eerst getraind op korte contigs (max 50 eiwitten) om lokale patronen te leren, gevolgd door finetuning op volledige genomen (tot 5.000 eiwitten).
• Trainingsdoel: Het model moet gemaskeerde eiwit-embeddings reconstrueren uit de context van de overige genen in het genoom, met gebruik van Mean Squared Error (MSE) als verliesfunctie.

3. Downstream Taken:
De gelearnede embeddings worden gebruikt in supervised modellen (logistische regressie) voor diverse taken op verschillende biologische schalen:

• Enzymactiviteit voorspelling.
• Identificatie van genclusters (operons, biosynthetische genclusters).
• Voorspelling van organismale metabole eigenschappen.
• Voorspelling van ecologische interacties (mutualisme, competitie, parasitisme).

Belangrijkste Resultaten

1. Leren van Genomische Context:

• BacPT leert zowel lokale als globale genomische context. De voorspellingsnauwkeurigheid (gemeten als $R^2$ tussen voorspelde en echte embeddings) neemt toe naarmate meer van het genoom zichtbaar is voor het model.
• Het model onderscheidt tussen kern-genen (sterk afhankelijk van lokale context) en mobiele genetische elementen (zoals transposasen), die minder afhankelijk zijn van hun omgeving en daarom moeilijker te voorspellen zijn op basis van context alleen.
• BacPT kan correcte genoom-scaffolds onderscheiden van verkeerd geassembleerde scaffolds (AUROC = 0,88-0,90), wat aantoont dat het grootschalige structurele consistentie begrijpt.

2. Verbeterde Enzymfunctie Voorspelling:

• De aanwezigheid van een gen is vaak een onbetrouwbare indicator voor enzymactiviteit (slechts 10-80% van de stammen met het gen toont activiteit).
• Supervised modellen getraind op BacPT-embeddings presteren significant beter dan modellen getraind op ruwe ESM-embeddings of puur op gen-aanwezigheid.
• Voor enzymen zoals glutamate decarboxylase toont BacPT aan dat de activiteit sterk correleert met de lokale synteny (gen-ordening) en co-locatie met transporteurs en regulatoren.

3. Identificatie van Genclusters:

• BacPT kan operons en biosynthetische genclusters (BGCs) identificeren zonder voorafgaande kennis.
• Een "Jacobian-matrix" methode, gebaseerd op perturbatie van embeddings, toont sterke interacties tussen genen binnen bekende clusters (zoals BGC0000569 voor plantazolicine), wat aantoont dat het model functionele koppelingen heeft geleerd.

4. Metabole Eigenschappen en Ecologische Interacties:

• Metabole eigenschappen: BacPT verbetert de voorspelling van 66 metabole eigenschappen (zoals koolhydraatgebruik) in vergelijking met ESM-baselines en de bestaande tool Traitar.
• Ecologische interacties: Bij het voorspellen van interacties tussen bacteriestammen in verschillende voedingsomgevingen (mutualisme vs. competitie), presteert BacPT consistent beter dan ESM-modellen. Dit geldt zelfs onder strenge "disjoint split" condities, waarbij de teststammen volledig onbekend zijn tijdens het trainen. Dit suggereert dat BacPT algemene principes van functionele ecologie heeft geleerd.

Significantie en Bijdragen

1. Eerste Proteome Foundation Model: BacPT is een van de eerste foundation modellen dat is ontworpen voor het volledige proteoom van bacteriën, in plaats van alleen korte sequenties of individuele eiwitten.
2. Van Additief naar Epistatisch: Waar traditionele modellen vaak het additieve effect van individuele eiwitten modelleren, vangt BacPT epistatische interacties (gen-voor-gen afhankelijkheid) in de latent space. Dit biedt een krachtiger representatie van de complexe biologie van bacteriën.
3. Generalisatie naar Onbekende Taxa: Het model kan functies voorspellen voor organismen waarvoor weinig tot geen experimentele data of annotaties beschikbaar zijn, wat cruciaal is voor het bestuderen van de "microbiële donkere materie".
4. Universeel Framework: De aanpak biedt een unified framework dat schaalbaar is van moleculaire functies (enzymen) tot ecosysteem-niveaus (interacties), en kan worden toegepast op genome scaffolding, genannotatie en synthetische biologie.

Kortom, BacPT bewijst dat onsupervised deep learning op schaal van het volledige proteoom een krachtige methode is om de functionele landschappen van bacteriën te ontsluiten en de complexiteit van gen-interacties te modelleren zonder afhankelijk te zijn van menselijke annotaties.