IMMREP25: Unseen Peptides

Het IMMREP25-benchmarkresultaten tonen aan dat de integratie van structurele modellering in TCR:pMHC-bindingsvoorspellingen voor onbekende peptiden een significante vooruitgang betekent ten opzichte van eerdere methoden die slechts willekeurig presteerden.

De kern

De Grote TCR-Quiz: Hoe Computers Leren "Onbekende" Virussen Herkennen

Stel je voor dat je lichaam een enorm leger heeft: de T-cellen. Deze soldaten bewaken je lichaam en zoeken naar indringers (zoals virussen of kanker). Maar hoe weten ze wie de vijand is? Ze hebben een speciale "scanner" nodig, een TCR (T-cel receptor), die past op een specifiek stukje van de vijand, een peptide, dat wordt getoond door een MHC (een soort presentatietafel).

Tot nu toe waren wetenschappers goed in het voorspellen welke scanner bij welk stukje vijand hoort, als ze dat stukje al eerder hadden gezien. Maar wat als er een heel nieuw virus opduikt, met een stukje dat nog nooit in een database is opgeslagen? Dan faalden de oude methoden volledig. Het was alsof je probeert een sleutel te maken voor een slot dat je nog nooit hebt gezien, zonder de blauwdruk.

De IMMREP25 Uitdaging

Om dit probleem op te lossen, hebben onderzoekers een grote wedstrijd georganiseerd, genaamd IMMREP25. Ze stelden een nieuwe, zeer moeilijke test op:

• De opdracht: Voorspel welke van de 1.000 scanners (TCR's) passen bij 20 nieuwe, onbekende stukjes virus (peptiden).
• De regel: Je mag geen eerdere data gebruiken van deze specifieke stukjes, want die bestaan nog niet. Het is pure voorspelling op basis van logica en structuur.

De Oude Methode vs. De Nieuwe Wending

Vroeger probeerden computers dit door te zoeken in een groot boek met eerdere matches. "Oh, deze scanner lijkt op die ene uit 2010, dus hij past waarschijnlijk ook hier." Maar bij volledig nieuwe stukjes werkte dit niet; de computers gokten net zo goed als een muntje opgooien.

Bij deze wedstrijd zagen we echter een grote verschuiving. De winnaars gebruikten geen "zoekboekjes" meer, maar 3D-bouwpakketten.

De Analogie: De Legpuzzel en de 3D-Bouwer

Stel je voor dat je een sleutel (de TCR) en een slot (het peptide) hebt.

• De oude methode was: "Ik heb deze sleutel al eens gezien bij een ander slot, dus hij past hier wel."
• De nieuwe methode (de winnaars) was: "Ik ga de vorm van de sleutel en het slot in mijn computer modelleren, alsof ik ze in 3D print. Dan kijk ik of de tanden van de sleutel precies in de groeven van het slot passen."

De winnende teams gebruikten geavanceerde software (zoals AlphaFold3 en Chai-1) die als een super-snel 3D-bouwer werkt. Ze bouwden virtuele modellen van hoe de scanner en het virus eruit zouden zien als ze samenkomen. Vervolgens keken ze naar de "fit":

• Past de sleutel strak in het slot?
• Zijn er geen holle ruimtes?
• Is de vorm logisch?

Wat bleek eruit?

1. Structuur wint: De teams die de beste scores haalden, waren allemaal diegenen die deze 3D-bouwtechnieken gebruikten. Ze konden zien dat de vorm van de nieuwe virusstukjes en de scanners logisch bij elkaar pasten, zelfs zonder dat ze het eerder hadden gezien.
2. Het is nog niet perfect: Hoewel ze veel beter waren dan willekeurig gokken, waren ze nog niet 100% goed. Het is alsof je een sleutel probeert te maken die perfect past, maar soms zit er nog een klein beetje speling in. De beste score was ongeveer 60% goed (in plaats van 50% bij gokken).
3. Het is zwaar werk: Het bouwen van deze 3D-modellen kost enorm veel rekenkracht. Het is alsof je elke sleutel handmatig uit hout snijdt in plaats van een machine te gebruiken. Dit is dus nog te duur en te traag om alle scanners in je lichaam in één keer te controleren.

De Conclusie voor de Toekomst

Deze wedstrijd laat zien dat de toekomst van het vinden van nieuwe virussen en het maken van medicijnen ligt in het begrijpen van de vorm en structuur, niet alleen in het zoeken in lijsten met oude gegevens.

Het is een enorme stap vooruit. We zijn van "gokken op basis van het verleden" gegaan naar "logisch redeneren op basis van de fysieke vorm". Hoewel we nog niet klaar zijn om elke nieuwe ziekte direct op te lossen, hebben we nu de juiste gereedschapskist gevonden om het in de toekomst te doen. De volgende wedstrijd (IMMREP26) zal waarschijnlijk proberen deze dure 3D-bouwers sneller en slimmer te maken, zodat we ze op grotere schaal kunnen inzetten.

Technische samenvatting

Titel: IMMREP25: Ongeziene Peptiden

Doel: Evaluatie van de staat der techniek in het voorspellen van TCR:pMHC-binding voor volledig nieuwe (ongeziene) peptiden.

---

1. Het Probleem

T-celreceptoren (TCRs) moeten specifieke peptiden presenteren door MHC-moleculen (pMHC) herkennen om een immuunrespons te initiëren. Hoewel er veel methoden bestaan om TCR-pMHC-binding te voorspellen voor peptiden waarvoor reeks experimentele data beschikbaar is ("geziene" peptiden), faalden deze modellen tot nu toe bij het generaliseren naar ongeziene peptiden (peptiden zonder eerdere experimentele TCR-data in de publieke domeinen).

Eerdere edities van de IMMREP-wedstrijd (2022, 2023) toonden aan dat machine learning-modellen voor ongezienen peptiden niet beter presteerden dan willekeurig gokken. De uitdaging ligt erin om de moleculaire interactie te voorspellen zonder trainingsdata voor die specifieke peptiden, wat cruciaal is voor de ontwikkeling van nieuwe diagnostische en therapeutische benaderingen.

2. Methodologie

Het Dataset (IMMREP25)

De organisatoren creëerden een nieuw, strikt gedefinieerd testdataset specifiek voor deze competitie:

• Omvang: 1.000 unieke TCRs getest tegen 20 ongezienen peptiden.
• MHC-context: Peptiden waren beperkt tot twee MHC-allelen: HLA-A*02:01 en HLA-B*40:01 (10 peptiden per allel).
• Peptide-eigenschappen: Alle peptiden waren 9-mers afkomstig van virale bronnen. Ze waren zorgvuldig geselecteerd om geen significant sequentie-overlap te hebben met bestaande epitopen in databases zoals IEDB, VDJdb of McPAS (minimaal 4 Levenshtein-afstand, geen gedeelde substring langer dan 5 aminozuren).
• Labels: Het dataset bevatte 10.000 records: 1.000 positieve labels (experimenteel bevestigde binding via MIRA en pairSEQ) en 9.000 negatieve labels (TCRs die niet binden aan de andere 19 peptiden binnen dezelfde MHC-context).
• Verdeling: 2 peptiden werden gebruikt voor de publieke leaderboard, 18 voor de private leaderboard (de definitieve evaluatie).

De Competitie

• Deelnemers: 126 ingediende methoden van diverse onderzoeksgroepen en bedrijven.
• Beperkingen: Geen beperking op trainingsdata; deelnemers mochten elk model gebruiken.
• Evaluatiemeta: De primaire metriek was de Macro-AUC_0.1 (Area Under the Curve voor vroege terugwinning, met een maximale False Positive Rate van 10%), gemiddeld over de 18 private peptiden.

Benaderingen van de Deelnemers

De deelnemers gebruikten een breed scala aan methoden, die in drie categorieën kunnen worden onderverdeeld:

1. Structurele Modelleringsmethoden (Dominant): Gebruik van geavanceerde eiwitstructuurvoorspellingsmodellen zoals AlphaFold 3 (AF3), Chai-1, Boltz-1 en TCRdock. Deze methoden voorspellen de 3D-structuur van het TCR-pMHC-complex en gebruiken interne betrouwbaarheidsscores (zoals ipTM, pLDDT, PAE) als voorspelling voor binding.
2. Sequentie-gebaseerde Methoden: Modellen die puur op aminozuursequentie vertrouwen (bijv. TAPIR3, STAPLER, ImmuneWatch DETECT).
3. Hybride Methoden: Combinaties van structurele en sequentie-informatie.

3. Belangrijkste Resultaten

• Algemene Prestatie: De beste methoden behaalden een Macro-AUC_0.1 van 0,60. Dit is significant beter dan willekeurig gokken (0,50), maar toont aan dat de taak nog steeds zeer uitdagend is.
• Overwinning van Structurele Methoden: De top-presterende methoden (Bradley, Altin, Pierce, Gowthaman, Wang) waren allemaal gebaseerd op structurele modelleringspipelines (voornamelijk AlphaFold 3).
  • De Bradley-methode (gebruikmakend van een aangepaste TCRdock-pipeline met AF3) behaalde de hoogste score (0,601) door het gebruik van gemiddelde pLDDT-waarden over peptide- en CDR-lussen.
  • Andere succesvolle structurele methoden gebruikten scores zoals gemiddelde PAE (Predicted Alignment Error) of ipTM.
• Prestatie van Sequentiemodellen:
  • TAPIR3 (een sequentie-input model dat is getraind om structurele metrics van Chai-1 te distilleren) behaalde een score van 0,538 en presteerde beter dan veel directe structurele methoden.
  • Puur sequentie-gebaseerde methoden zonder structurele kennis (zoals STAPLER en oudere modellen zoals NetTCR2.2) presteerden marginaal boven willekeur (AUC_0.1 tussen 0,50 en 0,52).
• MHC-variantie: Er was een significant verschil in prestaties tussen de twee MHC-allelen. Voorspellingen voor HLA-A*02:01 waren aanzienlijk succesvoller dan voor HLA-B*40:01. Dit wordt toegeschreven aan de grote ongelijkheid in trainingsdata: er zijn duizenden TCR-structuurdata voor HLA-A02:01 beschikbaar, maar slechts een handvol voor HLA-B40:01.
• Clustering: Het clusteren van TCR-sequenties leek geen systematisch voordeel te bieden op de private leaderboard, hoewel het soms de publieke scores verhoogde.

4. Bijdragen en Conclusies

• Bevestiging van een Paradigmaverschuiving: IMMREP25 bevestigt dat voor het voorspellen van binding aan volledig ongezienen peptiden, structurele modelleringsmethoden (vooral die gebaseerd op AlphaFold 3 en varianten) momenteel de state-of-the-art zijn.
• Rol van Structureel Begrip: De resultaten suggereren dat een structureel inzicht in de interactie tussen TCR en pMHC essentieel is om generalisatie naar nieuwe peptiden mogelijk te maken, aangezien sequentie-gebaseerde patronen alleen niet voldoende zijn.
• Beperkingen: Structurele methoden zijn computationeel zeer intensief, wat hun toepasbaarheid beperkt tot kleine sets TCRs en peptiden. Ze zijn momenteel niet schaalbaar naar de diepe repertoire-schaal (miljoenen TCRs).
• Toekomstperspectief: De paper pleit voor verdere ontwikkeling, waaronder distillatie-methoden (zoals TAPIR3) die de kracht van structurele modellen proberen over te dragen op snellere, sequentie-gebaseerde modellen. Dit zal een focuspunt zijn voor de volgende editie, IMMREP26.

5. Significatie

De IMMREP25-benchmark markeert een mijlpaal in het veld van immunoinformatica. Het toont aan dat we de drempel van "willekeurig gokken" voor ongezienen peptiden hebben overwonnen door de integratie van geavanceerde eiwitstructuurvoorspelling. Hoewel de nauwkeurigheid nog niet perfect is, biedt dit een solide basis voor het ontwikkelen van nieuwe immunotherapieën en het begrijpen van T-cel herkenning in situaties waar geen eerdere data bestaat. De dataset is publiek beschikbaar gesteld om verdere innovatie te stimuleren.