FoundedPBI: Using Genomic Foundation Models to predict Phage-Bacterium Interactions

Het paper introduceert FoundedPBI, een ensemble-deeplearningmethode die genomische foundation-modellen combineert om bacteriofaag-bacterie-interacties te voorspellen en zo de schaalbaarheid van faagtherapie verbetert door een 7% hogere nauwkeurigheid dan de huidige staat-der-kunst te bereiken.

De kern

Samenvatting: Hoe een slimme computer de perfecte virus-bacterie-match vindt

Stel je voor dat je een enorme bibliotheek hebt met miljarden boeken. In deze bibliotheek zitten twee soorten boeken: boeken over bacteriën (de slechte gasten die ziektes veroorzaken) en boeken over fagen (virussen die bacteriën opeten).

Het probleem is dat antibiotica steeds minder werken tegen deze bacteriën. Wetenschappers willen daarom "fagetherapie" gebruiken: ze zoeken een specifiek virus dat precies die ene bacterie kan opeten, zonder de rest van je lichaam te raken. Maar het vinden van de juiste match is als het zoeken naar een naald in een hooiberg. Het testen in het lab duurt eeuwen en kost veel geld.

De auteurs van dit papier hebben een slimme oplossing bedacht, genaamd FoundedPBI. Hier is hoe het werkt, vertaald in begrijpelijke taal:

1. De Drie Slimme Lezers (De Modellen)

Stel je voor dat je drie verschillende experts nodig hebt om te voorspellen welk virus welk bacterie kan opeten.

• Expert A en B hebben alleen gelezen over bacteriën en andere levende wezens, maar nooit over virussen. Ze zijn experts in de "gastheer".
• Expert C heeft alleen gelezen over virussen. Hij is een expert in de "jager".

Als je alleen Expert A vraagt, mist hij de details van de jager. Als je alleen Expert C vraagt, mist hij de details van het prooi.
FoundedPBI is als een super-team dat deze drie experts samenbrengt. Ze lezen elk hun eigen stukje van het DNA (de tekst in de boeken) en geven hun mening. Door hun antwoorden te combineren, krijgen ze een veel nauwkeuriger beeld dan elk van hen apart. Het is alsof je drie verschillende detectives hebt die samen een moordzaak oplossen; samen zien ze meer dan één detective alleen.

2. Het Probleem met de "Korte Geheugen"

Er is een groot probleem: De boeken (het DNA) zijn gigantisch lang. Een bacterieboek is bijvoorbeeld 5 miljoen pagina's lang. Maar de slimme experts (de computermodellen) kunnen maar 12.000 tot 96.000 pagina's in één keer lezen. Ze hebben een "kort geheugen".

Als je een heel boek aan hen geeft, kunnen ze alleen de eerste paar pagina's lezen en de rest negeren. Dat is alsof je iemand vraagt een heel boek samenvatten, maar je geeft ze alleen de eerste zin. Ze missen dan cruciale informatie.

De oplossing: De auteurs gebruiken een slimme techniek uit de taalwereld (NLP). In plaats van het hele boek in één keer te lezen, snijden ze het boek in kleine stukjes (hoofdstukken).

• Ze laten de experts elk stukje lezen.
• Dan gebruiken ze slimme wiskundige trucs om al die stukjes samenvattingen te combineren tot één perfecte samenvatting van het hele boek.
• Ze hebben getest of het helpt om alleen het begin te lezen, alleen het einde, of alles te middelen. Ze ontdekten dat een combinatie van het begin, het einde en een slimme weging van de middenstukken het beste werkt.

3. De Resultaten: Een Winnaar

De auteurs hebben hun systeem getest op twee grote lijsten met bekende bacterie-virusparen.

• Op hun eigen lijst: Hun systeem had een 93% slaagkans. Dat is veel beter dan hun vorige beste pogingen.
• Op de wereldwijde lijst (PredPHI): Hun systeem had 76% slaagkans. Dit is 7% beter dan de beste bestaande methoden ter wereld.

Waarom is dit belangrijk? Omdat die extra 7% betekent dat wetenschappers minder tijd en geld hoeven te besteden aan het testen van verkeerde combinaties in het lab. Ze kunnen direct focussen op de virussen die de computer zegt: "Deze hebben de grootste kans om te werken!"

Conclusie

Kortom: FoundedPBI is een slimme computer die drie verschillende soorten "DNA-lexicografen" samenbrengt. Door slimme trucs te gebruiken om hele lange DNA-teksten te verwerken, kan deze computer voorspellen welke virus welk bacterie kan verslaan. Dit maakt het vinden van nieuwe medicijnen tegen resistente bacteriën veel sneller en goedkoper.

Het is alsof je een super-vertaler hebt die niet alleen woorden vertaalt, maar ook de hele context van een heel boek begrijpt, zodat je precies weet welke sleutel bij welk slot past.

Technische samenvatting

Probleemstelling

De schaalbaarheid van fagtherapie als alternatief of aanvulling op antibiotica wordt beperkt door de arbeidsintensieve experimentele screening die nodig is om compatibele fag-bacterieparen te identificeren. Het vinden van geschikte fagen voor een specifieke doelbacterie is moeilijk vanwege het enorme aantal beschikbare fagen en hun smalle gastheerbereik. Hoewel er een algemene hypothese bestaat dat voldoende informatie over interacties in de genoomsequenties zit, vormen twee fundamentele uitdagingen een barrière voor bestaande deep learning-modellen:

1. Contextvenster-beperking: Bacteriële genomen zijn gemiddeld 5 miljoen basenparen (bp) lang en fagen 50-200k bp. Bestaande genomische foundation-modellen hebben echter contextvensters van slechts 12-96k bp. Dit betekent dat een model slechts een fractie (0,1–10%) van een volledig genoom in één doorloop kan observeren.
2. Modeldiversiteit: Bestaande foundation-modellen variëren sterk in trainingsdata (sommige trainen op prokaryoten, andere uitsluitend op fagen) en architectuur, wat leidt tot verschillende inductieve biases. Het kiezen van één "beste" model is suboptimaal.

Methodologie: FoundedPBI

De auteurs stellen FoundedPBI voor, een ensemble deep learning-framework dat DNA-sequenties gebruikt om fag-bacterie-interacties te voorspellen zonder fine-tuning van de basismodellen. De architectuur bestaat uit twee hoofdcomponenten:

1. Niet-trainbare Backbone (Meta-Embedding Constructie)
In plaats van één model te gebruiken, combineert FoundedPBI drie state-of-the-art DNA-taalmodellen om een "meta-embedding" te creëren:

• Nucleotide Transformer v2: Getraind op prokaryote genomen (exclusief virussen), gebruikt 6-mers en rotary embeddings.
• DNABERT-2: Gebaseerd op BERT, gebruikt Byte Pair Encoding (BPE) en ALiBi voor positionele encoding.
• MegaDNA: Een generatief model getraind uitsluitend op 100.000 bacteriofagen, met een groter contextvenster (96k bp).

Om het probleem van lange sequenties op te lossen, passen de auteurs strategieën toe uit de NLP (Natural Language Processing) voor het verwerken van lange documenten:

• Chunking: DNA-sequenties worden opgedeeld in vaste blokken (chunks) die binnen het contextvenster van de modellen passen.
• Aggregatiestrategieën: Verschillende methoden worden getest om de embeddings van deze chunks te combineren, waaronder:
  • Truncatie: Alleen de eerste of laatste chunk gebruiken.
  • Gemiddelde: Uniforme of TF/IDF-gewogen middeling.
  • TK-PERT: Een techniek die overlappende vensters gebruikt met een gewogen PERT-functie.
  • Maximaal: Het nemen van de maximale waarde per dimensie.
  • Selectie: Via grid search bleek een combinatie van strategieën (bijv. "First+Last Truncate" voor sommige modellen en "TK-PERT" voor andere) het beste te werken.

De embeddings van de drie modellen worden geconcateneerd en vervolgens gecomprimeerd via Principal Component Analysis (PCA) tot 500 componenten (wat >99,99% van de variantie behoudt). Tijdens het training wordt Gaussian noise toegevoegd (NEFTune-strategie) om overfitting te voorkomen.

2. Trainable Classification Head
De gecomprimeerde meta-embedding wordt door een Multi-Layer Perceptron (MLP) gevoerd om de interactie te classificeren (wel of geen infectie). Dit is het enige trainbare onderdeel van het systeem.

Belangrijkste Bijdragen

1. Ensemble Learning over diverse data: Het aantonen dat het combineren van modellen getraind op verschillende genomische data (prokaryoten vs. fagen) leidt tot complementaire, gedeeltelijk orthogonale biologische signalen. Dit resulteert in een betere voorspellingskracht dan enig individueel model.
2. Oplossing voor lange context: De eerste rigoureuze toepassing van NLP-aggregatiestrategieën op het probleem van het verwerken van volledige bacteriële en fagen genomen (tot 5M bp) die 50-100 keer groter zijn dan de contextvensters van foundation-modellen.
3. Modulaire architectuur: Een bewijs dat general-purpose foundation-modellen effectief kunnen worden gebruikt voor gespecialiseerde taken zonder fine-tuning, mits de juiste aggregatiestrategieën worden toegepast.

Resultaten

Het model werd getest op twee datasets: het interne CI4CB-dataset en het externe PredPHI-benchmark.

• Prestatie op PredPHI: FoundedPBI bereikte een F1-score van 76%, wat een verbetering is van 7% ten opzichte van de huidige state-of-the-art (PBIP) en 6% ten opzichte van het beste individuele model (MegaDNA). De recall steeg aanzienlijk (+11%), wat aangeeft dat het model meer ware positieven (echte interacties) detecteert.
• Prestatie op CI4CB: Een F1-score van 93%, een verbetering van 4% ten opzichte van de beste vorige methode van het team (Distilled DNABERT).
• Ablatie-studie: Het gebruik van geavanceerde aggregatiestrategieën (in plaats van alleen truncatie) leidde tot een significante verbetering op de PredPHI-dataset (+12% F1-score), wat bevestigt dat informatie uit meerdere sequentieregio's essentieel is. PCA-compressie en noise-toevoeging hadden een minimaal effect op CI4CB maar verbeterden de generalisatie op de uitdagendere PredPHI-dataset.

Betekenis en Toekomstperspectief

FoundedPBI demonstreert dat ensemble learning in combinatie met slimme verwerking van lange sequenties de kennis van genomische foundation-modellen effectief kan overdragen naar gespecialiseerde voorspellende taken. Dit versnelt het ontdekken van fagtherapieën aanzienlijk.

Een belangrijke bevinding uit de foutanalyse is dat de voorspellingsmoeilijkheid sterk afhankelijk is van de taxonomie. Klinisch kritieke Gram-negatieve families (zoals Pseudomonadaceae) vertonen veel hogere foutenpercentages dan goed gekarakteriseerde Actinobacteria. Dit suggereert dat de voorspellingskracht beperkt wordt door variabele oppervlaktestructuren die niet volledig worden vastgelegd in referentiegenoom-embeddings.

Voor de toekomst plannen de auteurs het implementeren van attention-based methoden om de voorspellingen biologisch interpreteerbaar te maken en te identificeren welke specifieke DNA-motieven de interacties sturen.