Transcriptomic Models for Immunotherapy Response Prediction Show Limited Cross-cohort Generalisability

Deze studie toont aan dat bestaande transcriptomische modellen voor het voorspellen van het respons op immuuntherapie bij kanker slechts beperkte generaliseerbaarheid en biologische consistentie vertonen tussen verschillende patiëntgroepen, wat de noodzaak onderstreept voor verbeterde aanpassingstechnieken en gestandaardiseerde verwerking.

De kern

De Grote Reis van de Geneesmiddelen: Een Simpele Uitleg van het Onderzoek

Stel je voor dat kankerbehandeling een enorme, chaotische stad is. De Immunotherapie (de helden die het immuunsysteem wakker maken) is als een leger dat de stad binnenvalt om de kwaadaardige cellen te verslaan. Maar er is een groot probleem: dit leger werkt niet voor iedereen. Soms slaagt het wonderbaarlijk, soms faalt het volledig. Artsen hebben dus een voorspellingsmodel nodig: een waarzegger die kan zeggen wie er gaat winnen en wie niet, voordat de behandeling begint.

De wetenschappers in dit artikel hebben een groep van deze "waarzeggers" (computermodellen) onderzocht. Deze modellen gebruiken de DNA-leeftijdslijst van een tumor (transcriptomics) om de toekomst te voorspellen. Ze hebben twee soorten waarzeggers bekeken:

1. De "Bulk"-modellen: Deze kijken naar de hele tumor als één grote soep. Ze zien het gemiddelde, maar missen de details.
2. De "Single-Cell"-modellen: Deze kijken naar elke individuele cel in de soep apart. Ze zien wie wie is en wat ze doen.

Hier is wat ze hebben ontdekt, vertaald in alledaagse taal:

1. De Grote Teleurstelling: Ze werken niet overal even goed

De onderzoekers hebben deze modellen getest op nieuwe patiëntengroepen die ze nog nooit eerder hadden gezien (zoals een student die een examen maakt met een volledig nieuw boek).

• Het resultaat: De meeste modellen faalden. Ze deden niet veel beter dan gokken met een muntje.
• De analogie: Stel je voor dat je een model traint op mensen uit Amsterdam om te voorspellen of ze houden van regen. Het model leert: "Amsterdammers houden van regen." Als je dit model nu gebruikt op mensen uit Zuid-Afrika, zegt het: "Ze houden ook van regen!" Maar dat klopt niet. Het model is te specifiek voor de ene stad en faalt in de andere.
• Conclusie: De modellen die vandaag worden gebruikt, zijn te "kieskeurig". Ze werken misschien goed in het ziekenhuis waar ze zijn gemaakt, maar niet in een ander ziekenhuis met andere patiënten.

2. De "Bulk"-modellen (De Soep-kijkers)

Deze modellen kijken naar de hele tumor als één grote massa.

• Het probleem: Ze zijn als een slechte vertaler. Ze zien wel dat er iets gebeurt, maar kunnen niet precies zeggen wat. Soms denken ze dat een patiënt genezen is, terwijl dat niet zo is.
• Een opvallende fout: Eén model (NetBio) gaf op één dataset een perfecte score (100% goed!). Maar de onderzoekers denken dat dit een valstrik was. Het model had de test "lekker" gemaakt door te onthouden wat het antwoord was, in plaats van echt te leren. Dat noemen we overfitting (te veel studeren voor één specifieke toets, maar faalt op een nieuwe).

3. De "Single-Cell"-modellen (De Celdetectives)

Deze modellen kijken naar elke cel apart.

• Het voordeel: Ze zijn slimmer. Ze zien bijvoorbeeld dat er specifieke soldaten (T-cellen) aanwezig zijn die de kanker kunnen verslaan.
• Het nadeel: Ze zijn nog steeds niet perfect. Ze werken goed in één stad, maar falen vaak als ze naar een andere stad gaan. Bovendien zijn ze extreem traag.
• De analogie: Stel je voor dat een "Bulk"-model een snelle foto maakt van een menigte. Een "Single-Cell"-model is als een detective die elke persoon in die menigte apart interviewt. Dat geeft veel meer informatie, maar het duurt uren (soms dagen!) om de resultaten te krijgen. Voor een arts die nu een beslissing moet nemen, is dat vaak te lang.

4. Wat zeggen ze over de "Waarheid"? (De Biologische Boodschap)

De onderzoekers keken ook naar wat deze modellen eigenlijk "zien" in de tumor.

• De overeenkomst: De slimste modellen (zoals PRECISE) zagen allemaal dezelfde dingen: het immuunsysteem is actief, er zijn soldaten (T-cellen) die de kanker aanvallen, en er is een signaal dat de kanker moet stoppen. Dit is goed nieuws! Het betekent dat de biologie klopt.
• De verwarring: Andere modellen zagen vreemde dingen. Eén model (IRNet) keek vooral naar de energievoorraad van de cellen (metabolisme) in plaats van naar de soldaten. Alsof je probeert te voorspellen of een voetbalteam wint door te kijken naar hoe goed ze eten, in plaats van naar hun skills op het veld. Dat is niet de juiste manier om de uitkomst te voorspellen.

5. De Grootste Les: We moeten beter samenwerken

Het onderzoek concludeert dat we nu nog geen enkele "super-waarzegger" hebben die voor iedereen werkt.

• Het probleem: Elke dataset is anders (verschillende ziekenhuizen, verschillende machines, verschillende patiënten). De modellen zijn te stijf en kunnen zich niet aanpassen.
• De oplossing voor de toekomst: We hebben modellen nodig die flexibeler zijn. Denk aan een GPS die niet alleen de weg kent in Nederland, maar ook in Brazilië, en die zich aanpast aan de verkeersdrukte.
• Nieuwe ideeën: De auteurs suggereren dat we in de toekomst modellen moeten bouwen die:
  1. Verschillende soorten data combineren (niet alleen DNA, maar ook bloedwaarden en foto's).
  2. Kunnen "leren" van nieuwe situaties zonder opnieuw te hoeven studeren.
  3. Sneller zijn, zodat artsen ze direct kunnen gebruiken.

Samengevat:
We hebben geweldige technologieën om te kijken hoe kanker werkt, maar de computerprogramma's die moeten voorspellen of een behandeling werkt, zijn nog te onbetrouwbaar voor dagelijks gebruik. Ze zijn als beginnende piloten: ze kunnen vliegen in rustig weer, maar raken in de war als het stormt of als ze naar een andere luchthaven moeten. De wetenschap moet nu werken aan piloten die voor elke vlucht geschikt zijn.

Technische samenvatting

Probleemstelling

Immune checkpoint inhibitors (ICI's) hebben de kankerbehandeling getransformeerd, maar slechts een klein deel van de patiënten (0-40%) reageert hierop. Het voorspellen van respons vóór de behandeling is een kritieke, onopgeloste uitdaging. Hoewel transcriptomische modellen (op basis van bulk RNA-seq en single-cell RNA-seq) veelbelovend zijn gebleken voor het identificeren van biomerkers, is de generaliseerbaarheid van deze modellen over verschillende cohorten (onafhankelijke datasets) onduidelijk. Bestaande modellen lijken vaak overgefit te zijn op de specifieke trainingsdata en falen bij toepassing op nieuwe, onzichtbare datasets met verschillende tumorsoorten, technologieën of immunologische contexten.

Methodologie

De auteurs hebben een systematische benchmark uitgevoerd van negen state-of-the-art transcriptomische ICI-responsvoorspellers, gepubliceerd tussen 2022 en november 2025. De studie omvatte:

1. Modellen:

   • 5 Bulk RNA-seq-modellen: COMPASS, IRNet, NetBio, IKCScore, en TNBC-ICI.
   • 4 Single-cell RNA-seq (scRNA-seq) modellen: PRECISE, DeepGeneX, Tres, en scCURE.
   • De modellen varieerden in architectuur: van vaste signatuur-statistische modellen tot end-to-end machine learning en foundation models (pre-trained op TCGA-data).

2. Datasets:

   • De modellen werden getest op zes volledig onafhankelijke, onzichtbare cohorten die niet gebruikt waren tijdens de ontwikkeling van de modellen.
   • Bulk RNA-seq: Drie datasets (Cho et al., Ribas et al., Poddubskaya et al.).
   • scRNA-seq: Vier datasets (Gondal et al., Franken et al., Luoma et al., Reinstein et al.).
   • Er werd strikt gecontroleerd op data-lekkage; alleen pre-treatment monsters werden gebruikt.

3. Evaluatiemetrics:

   • Prestaties werden gemeten aan de hand van Accuracy, Macro F1-score (cruciaal vanwege de sterke class-imbalance in de datasets) en AUC.
   • Rekentijd werd vastgelegd om de praktische bruikbaarheid te beoordelen.
   • Biologische consistentie: Er werd een pathway-level analyse uitgevoerd (met EnrichmentMap en AutoAnnotate) om te zien of modellen convergeren naar dezelfde biologische concepten (bijv. immuunactivatie) of verschillende, inconsistente signalen vinden.

4. Preprocessing:

   • Elke dataset werd verwerkt volgens de specifieke normalisatie-eisen van het oorspronkelijke model (bijv. TPM, TMM, log-TPM, CPM) om eerlijke vergelijkingen mogelijk te maken.

Belangrijkste Resultaten

1. Beperkte Generaliseerbaarheid:

   • Bulk RNA-seq-modellen presteerden over het algemeen op of dicht bij het niveau van toeval (chance level) op de onzichtbare cohorten.
   • scRNA-seq-modellen toonden iets betere prestaties, maar vertoonden nog steeds aanzienlijke variabiliteit afhankelijk van het cohort.
   • Geen enkel model was consistent superieur over alle datasets heen. Prestaties waren sterk afhankelijk van de specifieke tumorcontext, immunologische samenstelling en technische variatie.

2. Prestatieverschillen per Model:

   • COMPASS (foundation model): Toonde geen superieure robuustheid ondanks pre-training op >10.000 TCGA-monsters. Dit suggereert dat transfer learning in dit domein beperkt is door domeinverschillen.
   • NetBio: Bereikte perfecte scores (1.00) op één cohort, wat sterk wijst op overfitting door LOOCV-retraining op kleine datasets.
   • PRECISE: Toonde de meest consistente prestaties onder de scRNA-seq-modellen, vooral na feature refinement, en toonde de grootste biologische convergentie.
   • TNBC-ICI: Faalde bijna volledig bij toepassing buiten zijn specifieke doelgroep (triple-negative breast cancer), wat de beperkte portabiliteit van tumor-specifieke panels aantoont.
   • IRNet: Toonde een opvallende bias naar metabole pathways in plaats van immuun-specifieke pathways, wat suggereert dat het model mogelijk artefacten leert in plaats van biologisch relevante signalen.

3. Biologische Convergentie:

   • Vaste signatuur-modellen (zoals IKCScore en TNBC-ICI) convergeerden gedeeltelijk op immuun-gerelateerde pathways (bijv. allograft rejection, T-cel receptorsignaling).
   • Adaptieve modellen toonden weinig overlap in specifieke pathways. scRNA-seq-modellen toonden meer convergentie op immuun-concepten dan bulk-modellen.
   • Er was een gebrek aan reproduceerbare, robuuste biomerkers op pathway-niveau tussen de verschillende modellen.

4. Rekenkosten:

   • scRNA-seq-modellen vereisten aanzienlijk meer rekentijd dan bulk-modellen. scCURE had extreem lange runtimes (>280.000 seconden) door herhaaldelijke retraining en feature selectie.

Belangrijkste Bijdragen

• Eerste Systematische Benchmark: Dit is een van de eerste studies die bulk en scRNA-seq ICI-voorspellers strikt test op volledig onzichtbare, externe datasets.
• Kritische Evaluatie van Foundation Models: De studie toont aan dat grote foundation models (zoals COMPASS) niet automatisch beter generaliseren in de klinische ICI-context dan gespecialiseerde end-to-end modellen.
• Biologische Validatie: Door pathway-analyse te koppelen aan prestaties, onthult de studie dat hoge voorspellende scores niet altijd corresponderen met biologisch coherente of reproduceerbare mechanismen.
• Methodologische Richtlijnen: De auteurs identificeren kritieke valkuilen, zoals class-imbalance, batch-effecten, en de noodzaak van normalisatie-agnostische architecturen.

Significantie en Conclusie

De studie concludeert dat huidige transcriptomische modellen voor ICI-responsvoorspelling nog niet klaar zijn voor klinische toepassing vanwege hun gebrek aan robuustheid over verschillende cohorten. Hoewel ze biologisch zinvolle signalen kunnen vangen in specifieke contexten, falen ze in het generaliseren naar nieuwe patiëntenpopulaties.

Toekomstperspectief:
De auteurs pleiten voor:

1. Sterkere domeinadaptatiestrategieën om de kloof tussen trainings- en testdata te overbruggen.
2. Geharmoniseerde preprocessing-pijplijnen om technische variatie te minimaliseren.
3. Hybride architecturen die heterogene grafen (voor multi-schaal interacties) combineren met Large Language Models (LLMs) voor beter biologisch redeneren.
4. Multimodale integratie (klinische data, genetica, ruimtelijke transcriptomica) om de voorspellende kracht te vergroten.

Kortom, de studie waarschuwt voor het vertrouwen op huidige "black-box" modellen zonder externe validatie en benadrukt de noodzaak van biologisch onderbouwde, domein-resiliente systemen voor precisie-immunotherapie.