Nested cross-validation reduces optimism in metabolomics-based prediction of immune checkpoint inhibitor outcomes
Deze studie toont aan dat geneste kruisvalidatie de optimisme significant vermindert en betrouwbaardere prestatieschattingen biedt dan een enkelvoudige split-holdout of niet-geneste kruisvalidatie bij het ontwikkelen van metabolomica-gebaseerde voorspellende modellen voor uitkomsten van immuuncheckpointremmers.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een detective bent die een mysterie probeert op te lossen: waarom reageren sommige kankerpatiënten ongelooflijk goed op een nieuw type medicijn genaamd een immuun-checkpointremmer (ICI), terwijl anderen dat niet doen? Deze medicijnen zijn als het superkrachtig maken van de eigen politie van het lichaam (het immuunsysteem) om kankercellen op te sporen. Maar de politie verschijnt niet altijd op het werk, en we hebben een manier nodig om te voorspellen wie de hulp zal krijgen die hij nodig heeft. Wetenschappers zijn begonnen met het kijken naar de minuscule chemische boodschappers die in ons bloed zweven, genaamd metabolieten, om aanwijzingen te geven. Dit vakgebied wordt metabolomics genoemd. Het is alsof je het weer probeert te voorspellen door naar het gedrag van mieren te kijken vóór een storm. Het probleem is dat deze chemische aanwijzingen rommelig zijn, er duizenden van zijn, en het aantal patiënten dat we kunnen bestuderen vaak vrij klein is. Wanneer je probeert patronen te vinden in een kleine, rommelige stapel aanwijzingen, is het heel gemakkelijk om jezelf te misleiden door te denken dat je een perfect patroon hebt gevonden, terwijl je eigenlijk gewoon een toevalstreffer hebt gevonden. Dit is het gevaar van "overoptimisme" in de wetenschap.
Dit artikel is in essentie een waarschuwend verhaal over hoe we ons detectivewerk controleren. De onderzoekers wilden zien of de manier waarop we onze voorspellingsmodellen testen, ons doet denken dat ze beter zijn dan ze werkelijk zijn. Ze vergeleken drie verschillende manieren van testen: een eenvoudige "holdout"-test (waarbij je de data één keer splitst in een oefengroep en een testgroep), een "niet-geneste" kruisvalidatie (waarbij je de data door elkaar husselt en test, maar per ongeluk de aanwijzingen uit de testgroep invloed laat hebben op hoe je de aanwijzingen selecteert), en een "geneste" kruisvalidatie (een striktere, zorgzamere methode waarbij je de testaanwijzingen tot het allerlaatste moment volledig verborgen houdt).
De studie onderzocht zes verschillende sets bloedmonsters genomen vóór de start van de behandeling en tien sets genomen daarna, met behulp van hoogtechnologische machines om chemicaliën te meten. Ze lieten hun voorspellingsmodellen door al deze drie testmethoden lopen. De resultaten waren een wake-up call. Wanneer ze de "niet-geneste" methode gebruikten, zagen de modellen eruit als rocksterren, met een gemiddelde score (genoemd ROC-AUC) van 0,882 voor de monsters vóór de behandeling. Maar wanneer ze de striktere "geneste" methode gebruikten, daalde de score naar een veel bescheidener 0,705. Dat is een enorm verschil! Het is alsof een student een A+ krijgt op een oefentoets omdat hij in de antwoorden heeft gekeken, maar vervolgens een C krijgt op het echte examen wanneer de antwoorden verborgen zijn. De "niet-geneste" methode overschatte de bekwaamheid van het model met bijna 0,18 punten gemiddeld.
De onderzoekers vonden dat de belangrijkste schuldige voor dit valse succes de stap was waarbij de computer bepaalt welke chemische aanwijzingen het belangrijkst zijn. Als je de computer de beste aanwijzingen laat kiezen met behulp van dezelfde data die hij gebruikt om de test te beoordelen, raakt de computer in de war en denkt hij dat willekeurige ruis een echt signaal is. De "geneste" methode lost dit op door de computer te dwingen de aanwijzingen te kiezen op een aparte set data voordat hij de testdata ooit te zien krijgt. Interessant genoeg was de "holdout"-methode (de eenvoudige splitsing) niet zo overoptimistisch over de score als de niet-geneste methode, maar was deze wel erg onstabiel; het gaf een breed scala aan mogelijke antwoorden, zoals een wiebelige liniaal. De geneste methode gaf een nauwkeurigere, betrouwbaardere reeks antwoorden.
De studie keek ook of testen vóór of na de behandeling uitmaakte. Het antwoord is: dat hangt af van de specifieke groep patiënten. Bij sommige soorten kanker waren de bloedmonsters genomen vóór de behandeling de beste voorspellers, terwijl bij andere de monsters genomen nadat de behandeling was gestart, beter waren. Er was geen enkele "magische tijd" om iedereen te testen.
Ten slotte testten de onderzoekers dit op een ander type machine (NMR in plaats van de gebruikelijke massaspectrometrie) met melanoompatiënten, en hetzelfde patroon hield stand: de strikte geneste methode gaf een meer realistische, lagere score dan de lossere methoden. De auteurs concluderen dat voor kleine studies zoals deze, waarbij we proberen biomarkers voor kankerbehandeling te vinden, we de strikte "geneste" methode moeten gebruiken. Als we dat niet doen, worden we enthousiast over een "perfecte" voorspeller die eigenlijk een fata morgana is, gecreëerd door onze eigen testfouten. Hoewel dit ons nog geen direct bruikbare medische test oplevert, geeft het ons wel de juiste regels voor het spel, zodat we, wanneer we een echte biomarker vinden, er ook echt op kunnen vertrouwen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.