ViroGym: Realistic Large-Scale Benchmarks for Evaluating Viral Proteins

Dit paper introduceert ViroGym, een uitgebreid benchmarkkader dat 79 diepe mutatiescanningsassays en diverse virale taken combineert om de prestaties van eiwit-taalmodellen bij het voorspellen van varianteffecten te evalueren en zo de selectie van rationele antigeenkandidaten voor vaccins te ondersteunen.

De kern

🦠 ViroGym: De "Trainingshal" voor Virusvoorspellers

Stel je voor dat virussen als slimme, snelle renners zijn die voortdurend hun kleding (hun eiwitten) aanpassen om te ontsnappen aan de politie (onze immuunsysteem en vaccins). De huidige manier waarop we vaccins maken, is alsof we proberen de renners te voorspellen door naar hun oude kleren te kijken. Dat werkt vaak niet goed, omdat ze zo snel veranderen dat onze voorspellingen vaak mislopen.

De auteurs van dit paper hebben een nieuw hulpmiddel bedacht genaamd ViroGym.

1. Wat is ViroGym eigenlijk?

ViroGym is geen echte sportschool met gewichten, maar een gigantische digitale testbaan. Het is een enorme verzameling van data en tests die speciaal is ontworpen om te kijken of kunstmatige intelligentie (AI) kan voorspellen hoe virussen zich gaan gedragen.

Het doel? Om wetenschappers te helpen sneller en slimmer vaccins te kiezen, voordat de virussen zelfs maar veranderen.

2. De drie "Oefeningen" in de Gym

In ViroGym worden de AI-modellen (die we "Proteïne-talenmodellen" noemen) op drie verschillende manieren getest, alsof ze drie sporten doen:

• Oefening 1: De Mutatie-voorspelling (De "Wat als?"-test)

  • De situatie: Stel je een virus voor als een LEGO-bouwwerk. Wat gebeurt er als je één blokje (een aminozuur) vervangt door een ander?
  • De test: De AI moet voorspellen of het bouwwerk hierdoor sterker, zwakker of onbruikbaar wordt.
  • De uitkomst: De AI leert hierdoor welke veranderingen het virus waarschijnlijk gaat maken om sterker te worden.

• Oefening 2: De Antigeen-diversiteit (De "Vermomming"-test)

  • De situatie: Virussen proberen zich te vermommen zodat onze antilichamen (de politie) ze niet meer herkennen.
  • De test: De AI moet inschatten: "Als we dit specifieke vaccin gebruiken, ziet het virus er dan nog hetzelfde uit, of is het alweer vermomd?"
  • De uitkomst: Dit helpt bij het kiezen van het juiste vaccin voor het komende seizoen, zodat het nog effectief is.

• Oefening 3: De Pandemie-voorspelling (De "Echte Wereld"-test)

  • De situatie: Dit is de zwaarste test. De AI moet voorspellen welke mutaties er echt gaan winnen in de wereld, niet alleen in een laboratorium.
  • De test: De AI kijkt naar de data van echte virussen die nu in de lucht zweven (uit de GISAID-database) en probeert te raden welke variant de volgende grote "winnaar" wordt.
  • De uitkomst: Als de AI hier goed in is, kunnen we een stap voor zijn op de volgende golf van een virus.

3. Het Grote Geheim: De AI is slimmer dan de Laboratoriumtest

Dit is het meest interessante deel van het paper:

• De oude manier: Wetenschappers doen tests in het lab (DMS-assays). Ze maken duizenden mutaties en kijken welke werken. Het probleem is: het lab is een gecontroleerde omgeving. Het is alsof je een renner test op een vlakke, kalme baan.
• De nieuwe manier: De AI (zoals het model ProGen2) heeft gelezen van miljoenen virussen in de geschiedenis. Het begrijpt de "taal" van het virus.
• De verrassing: De paper laat zien dat de AI, die getraind is op de lab-data, beter is in het voorspellen van wat er in de echte wereld gebeurt dan de lab-data zelf.
  • De analogie: Het is alsof je een voetballer traint op een lege veld (het lab). De AI heeft echter duizenden wedstrijden op tv gekeken. Als je vraagt wie er gaat winnen in een echte, chaotische wedstrijd, heeft de AI (die de "taal" van het spel kent) een beter gevoel voor de realiteit dan de trainer die alleen naar de training kijkt.

4. Waarom is dit belangrijk?

Momenteel moeten we wachten tot de Wereldgezondheidsorganisatie (WHO) zegt welk virus er circuleert, en dan duurt het maanden om een vaccin te maken. Tegen die tijd is het virus vaak alweer veranderd.

Met ViroGym kunnen we:

1. Proactief zijn: We kunnen alvast beginnen met het maken van vaccins tegen de varianten die de AI voorspelt dat gaan winnen.
2. Beter kiezen: In plaats van gissen, kiezen we de varianten die de AI als "meest waarschijnlijk" heeft gemarkeerd.

Samenvattend

ViroGym is een nieuwe, realistische testbaan die laat zien dat AI-modellen, die de "taal" van virussen hebben geleerd, ons kunnen helpen om een stap voor te zijn op virussen. Ze zijn niet perfect, maar ze zijn veel beter in het voorspellen van de echte wereld dan alleen maar kijken naar laboratoriumresultaten. Het is alsof we van een kaartlezen met een oude kaart zijn gegaan naar het gebruik van een live GPS-systeem.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "ViroGym: Realistic Large-Scale Benchmarks for Evaluating Viral Proteins" in het Nederlands.

Probleemstelling

Proteïne-taalmodellen (pLMs) hebben bewezen krachtig te zijn bij het voorspellen van de functionele effecten van missense-varianten in een "zero-shot" setting (zonder extra training op specifieke taken). Echter, er bestaat een aanzienlijke kloof in de evaluatie van deze modellen voor virale proteïnen. Bestaande benchmarks zoals ProteinGym bevatten voornamelijk niet-virale sequenties, en modellen die specifiek op virale genoomsequenties zijn getraind, zijn schaars of ontbreken in de validatie.

Bovendien zijn de huidige strategieën voor vaccinontwikkeling (zoals voor influenza en SARS-CoV-2) vaak reactief en gebaseerd op semi-jaarlijkse stamselectie door de WHO. Dit leidt tot een vertraging in de productie en een mismatch tussen de geselecteerde vaccins en de daadwerkelijk circulerende varianten, wat resulteert in een lage vaccinwerkzaamheid (bijv. 19-60% voor influenza). Er is een dringende behoefte aan een proactief raamwerk dat in silico metingen kan integreren met in vitro validatie om de selectie van antigenen en doelen te sturen, voordat WHO-aankondigingen plaatsvinden.

Methodologie: ViroGym

De auteurs introduceren ViroGym, een uitgebreide benchmark die is ontworpen om pLMs te evalueren in zero-shot settings voor de ontwikkeling van wereldwijde vaccins. De benchmark omvat drie kernopgaven:

1. Voorspelling van mutatie-effecten: Evaluatie van het vermogen van modellen om complexe, niet-lineaire correlaties binnen virale genoomsequenties te vangen en de functionele gevolgen van individuele mutaties af te leiden.
2. Voorspelling van antigenische diversiteit: Assesseren van het vermogen om immuunontsnapping (immune escape) en stamdifferentiatie te begrijpen.
3. Pandemie-voorspelling: Identificeren van modellen met sterke zero-shot generalisatie die geschikt zijn voor het modelleren van mutaties die in de natuurlijke virale evolutie worden waargenomen.

Datasets:

• Deep Mutational Scanning (DMS): 79 DMS-assays die 552.937 gemuteerde aminozuursequenties omvatten, afkomstig van 13 verschillende virustypes (waaronder SARS-CoV-2, Influenza A, HIV, Zika, etc.) en 7 fenotypische categorieën (zoals binding, celtoegang, expressie, fitness, immuunontsnapping).
• Neutralisatie-assays: 21 sequentie-gebaseerde neutralisatie-assays voor Influenza A, die antilichaamtiters meten over verschillende virale stammen.
• Real-world data: Een predictieve taak voor SARS-CoV-2 gebaseerd op GISAID-gegevens (genomische surveillance data van januari 2020 tot mei 2025) om de prevalentie van natuurlijke mutaties te analyseren.

Modellen en Evaluatiemetrics:
De benchmark test een reeks bestaande pLMs (o.a. ESM-1v, ESM-2, ProtT5, ProGen2, Tranception, VESPA).

• Scoring-strategieën: Er worden verschillende methoden getest, waaronder masked marginals, wild-type marginals, pseudo-likelihood, perplexity en semantische afstand (Euclidische afstand tussen contextuele embeddings).
• Metrics: Absolute Spearman-rangcorrelatie, Top-K% recall (focus op de top 10% mutaties), en Precision@K (voor pandemie-voorspelling).

Belangrijkste Bijdragen

1. Eerste Gecombineerde Benchmark: ViroGym is de eerste benchmark die systematisch in silico modellen, gecontroleerde in vitro experimenten (DMS en neutralisatie) en real-world virale evolutiedata integreert.
2. Uitgebreide Virale Dekking: In tegenstelling tot eerdere benchmarks die zich beperkten tot een paar virussen, omvat ViroGym 13 virustypes en introduceert een nieuwe fenotypische categorie: immuunontsnapping, wat cruciaal is voor vaccinontwikkeling.
3. Validatie van Zero-Shot Generalisatie: Het paper biedt bewijs dat modellen die zijn geselecteerd op basis van in vitro DMS-data, ook uitstekend presteren bij het voorspellen van dominant circulerende mutaties in de echte wereld.

Resultaten

• Mutatie-effectvoorspelling: Het model ProGen2 (specifiek de XL-variant) behaalde de sterkste prestaties op de DMS-benchmark, gevolgd door VESPA en Tranception. De studie toonde aan dat het vergelijken van semantische veranderingen tussen gemuteerde en referentie-sequenties (via Euclidische afstand) vaak effectiever is dan traditionele likelihood-metrics voor encoder-modellen.
• Antigenische Diversiteit: De prestaties tussen de verschillende modellen waren marginaal, met Tranception M dat licht uitblonk. Dit suggereert dat er nog aanzienlijke ruimte is voor verbetering in het voorspellen van antigenische afstand.
• Pandemie-voorspelling (Real-world): Dit is het meest opvallende resultaat.
  • DMS-assays identificeerden slechts 10% van de dominant circulerende mutaties in de echte wereld (GISAID-data).
  • Modellen die goed presteerden op de DMS-taken (zoals ProGen2-XL), voorspelden echter 50% van de top-mutaties die daadwerkelijk circuleerden.
  • ProGen2-XL toonde een overlap van ongeveer 20% met de top-mutaties uit DMS, inclusief de kritieke N501Y substitutie (bekend van de Alpha-variant), wat aantoont dat dit model evolutionaire beperkingen beter begrijpt die relevant zijn voor echte verspreiding.

Betekenis en Conclusie

Het paper concludeert dat hoewel DMS-assays waardevol zijn voor het karakteriseren van proteïne-fitness onder gecontroleerde omstandigheden, ze beperkte nut hebben voor het direct finetunen van pLMs voor real-world toepassingen vanwege de lage overlap met circulerende varianten.

De kerninzicht is dat pLMs, wanneer ze correct worden geselecteerd op basis van DMS-data, beter in staat zijn om de evolutionaire beperkingen te vangen die de virale verspreiding in de echte wereld sturen, dan de experimentele data zelf. Dit suggereert dat pLMs niet alleen complementair zijn aan experimenten, maar mogelijk een betere proxy kunnen bieden voor het voorspellen van toekomstige virale evolutie. Dit biedt een veelbelovende richting voor het versnellen van vaccinontwikkeling en het prioriteren van mutaties voor surveillance, waardoor de reactietijd op nieuwe varianten kan worden verkort.

De auteurs wijzen ook op beperkingen, zoals de moeilijkheid om MSA-gebaseerde modellen (zoals EVE) te evalueren vanwege het gebrek aan hoogwaardige meervoudige sequentie-alignments voor nieuwe virussen, en de beperking van contextvensters in huidige modellen voor lange virale proteïnen.