Goodness-of-Fit Checks for Joint Models

Stel je voor dat je een detective bent die een mysterie probeert op te lossen over de gezondheid van een patiënt. Je hebt twee soorten aanwijzingen:

1. De Longitudinale Aanwijzingen: Een reeks controle-notities (zoals bloeddruk of nierfunctie) die over een bepaalde tijd zijn genomen.
2. De Overlevingsaanwijzing: Het moment waarop een patiënt een grote gezondheidsgebeurtenis ervaart (zoals een hartaanval of een ziekenhuisopname).

Joint Models (gekoppelde modellen) zijn als het superintelligente notitieboek van een detective die probeert deze twee soorten aanwijzingen met elkaar te verbinden. Het vraagt: "Zegt de manier waarop de bloeddruk van een patiënt nú verandert iets over wanneer zij een hartaanval kunnen krijgen?"

Lama tijd lang hadden statistici een manier om deze notitieboeken te schrijven, maar ze misten een goede manier om te controleren of het notitieboek wel de waarheid spreekt. Ze hadden instrumenten om twee verschillende notitieboeken met elkaar te vergelijken en te zeggen: "Notitieboek A is iets beter dan Notitieboek B," maar ze konden niet zeggen: "Notitieboek A is volkomen fout omdat het een essentieel puzzelstukje mist."

Dit artikel introduceert een nieuwe set "Reality Checks" (Posterior Predictive Checks) om te zien of het notitieboek van de detective daadwerkelijk overeenkomt met de werkelijkheid.

De Drie Manieren om het Notitieboek te Controleren

De auteurs stellen drie verschillende manieren voor om het model te testen, afhankelijk van naar wie je kijkt:

1. De "Spiegel in de Achteruitkijkspiegel"-check (Bestaande proefpersonen): Je kijkt naar een patiënt die je al kent. Je voert de eerdere notities van deze persoon in het model in en vraagt: "Als we simuleren wat er op basis van jouw model had móéten gebeuren, lijkt dat dan op wat er daadwerkelijk is gebeurd?"
2. De "Blinde Voorspelling"-check (Nieuwe proefpersonen): Je kijkt naar een gloednieuwe patiënt waarbij je alleen de leeftijd of het geslacht weet, maar nog geen medische geschiedenis hebt. Je vraagt: "Op basis van de algemene regels van het model, hoe zou een typisch persoon zoals deze eruitzien?" Dit test of het model de algemene populatie begrijpt, en niet alleen de specifieke mensen die het eerder heeft bestudeerd.
3. De "Halverwege de Reis"-check (Dynamische voorspelling): Stel je voor dat je halverwege het verhaal van een patiënt bent. De patiënt leeft nog steeds, en je hebt notities tot op de dag van vandaag. Je vraagt: "Gezien alles wat we op dit moment weten, voorspelt het model hun toekomst correct?" Dit is cruciaal voor artsen die voorspellingen moeten bijwerken naarmate er nieuwe gegevens binnenkomen.

Hoe Controleren Ze? (De Instrumenten)

Het artikel gebruikt verschillende creatieve instrumenten om de "Gesimuleerde Wereld" (wat het model denkt dat er gebeurt) te vergelijken met de "Echte Wereld" (wat er daadwerkelijk gebeurt):

• De Gemiddelde Lijn (Gemiddelde): Stel je voor dat je een lijn trekt door alle bloeddrukmetingen van de patiënten. Volgt de gemiddelde lijn van het model de echte lijn? Als de echte lijn omhoog gaat en de lijn van het model blijft vlak, dan mist het model iets.
• De Spelruimte (Variantie): Soms springen de cijfers van patiënten veel op en neer; op andere momenten zijn ze stabiel. Legt het model deze "spelruimte" vast? Als de echte data chaotisch is, maar het model denkt dat iedereen kalm is, dan is het model te rigide.
• Het Ritme (Correlatie): Als de bloeddruk van een patiënt vandaag piekt, verwacht het model dan ook dat deze morgen hoog zal zijn? Het model moet het "ritme" van de data begrijpen.
• De Koppeling (Concordantie): Dit is het belangrijkste deel voor joint models. Het controleert of het model de verandering in de notities correct verbindt met het risico op de gebeurtenis. Het is also': controleren of het model er correct van uitging dat een plotselinge daling in de nierfunctie leidt tot een grotere kans op ziekenhuisopname.

De Praktijktest: De Hartfalenstudie

De auteurs testten deze controles op een echte studie genaamd Bio-SHiFT, die hartfalenpatiënten volgde. Ze hielden twee dingen bij:

• eGFR: Een maatstaf voor de nierfunctie.
• NGAL: Een eiwit in het bloed dat signalen van ontsteking afgeeft.

Ze wilden zien of veranderingen in deze getallen hartfalen-ziekenhuisopnames of sterfte voorspelden.

Wat ze ontdekten:

• Standaardinstrumenten (zoals DIC en WAIC) konden het verschil niet zien tussen een goed model en een slecht model. Ze waren als een rechter die alleen de "netste kijkende" notitieboeken kiest zonder het verhaal te lezen.
• De nieuwe Reality Checks waren veel scherper. Ze konden opmerken wanneer een model de verkeerde wiskunde gebruikte (zoals het aannemen van een rechte lijn terwijl de data eigenlijk een curve vertoonde).
• Ze ontdekten dat het model voor de nierfunctie beter werkte als het keek naar de gemiddelde geschiedenis van de patiënt in plaats van alleen naar het huidige getal.
• Ze ontdekten ook dat de eiwitmarker (NGAL) een veel sterkere voorspeller van problemen was dan het nierfunctiegetal, een detail dat de nieuwe controles hielpen bevestigen.

De Simulatietest: Het "Fictieve Data"-laboratorium

Om te bewijzen dat hun controles werken, creëerden de auteurs een "Fictieve Data"-laboratorium. Ze bouwden een perfect model, genereerden 300 fictieve patiënten en probeerden het systeem te misleiden door er gebrekkige modellen (modellen met de verkeerde wiskunde of verkeerde aannames) aan te voeren.

• Het resultaat: De standaardinstrumenten merkten de gebrekkige modellen niet op; ze dachten dat de slechte modellen prima waren.
• De Nieuwe Checks: De nieuwe "Reality Checks" merkten de fouten onmiddellijk op. Ze konden zeggen: "Hé, dit model denkt dat de data een rechte lijn is, maar de fictieve data is eigenlijk een curve!"

De Kernboodschap

Dit artikel geeft statistici en artsen een nieuwe zaklamp. In plaats van alleen te gokken welk model het beste is, kunnen ze nu het licht op specifieke onderdelen van het model schijnen om te zien of het bij de data past.

• Het Goede Nieuws: Als een model fout is, zullen deze controles je waarschijnlijk vertellen waar het fout gaat (is het het gemiddelde? de variabiliteit? de verbinding met de gebeurtenis?).
• Het Instrument: Al deze zaken zijn beschikbaar via een gratis softwarepakket genaamd JMbayes2, zodat iedereen deze controles vandaag nog kan gebruiken.

Kortom, het artikel zegt: "Vertrouw een model niet alleen omdat het er op papier goed uitziet. Simuleer de toekomst, vergelijk het met de werkelijkheid, en zorg dat je detective-notitieboek ook echt het mysterie oplost."