Assessing survival models by interval testing with Poisson-binomial distributions

Technische Samenvatting: Beoordeling van overlevingsmodellen door middel van intervaltesten met Poisson-binomial verdelingen

Probleemstelling
Bij indieningen voor regelgevende instanties voor farmaceutische producten, met name binnen de gezondheidstechnologie-beoordeling (HTA), is de selectie van het juiste parametrische overlevingsmodel cruciaal voor economische evaluaties en het extrapoleren van de effectiviteit van behandelingen buiten de duur van klinische trials. Hoewel het aantal beschikbare modelleringsbenaderingen (inclusief standaard parametrische, flexibele spline-gebaseerde en externe data-geïntegreerde modellen) toeneemt, blijft modelselectie een uitdaging. De huidige standaardpraktijken leunen zwaar op het Akaike Information Criterion (AIC), het Bayesian Information Criterion (BIC) en subjectieve deskundige opinie. Het artikel betoogt dat deze methoden primair een relatieve vergelijking van de kwaliteit van de aanpassing (goodness-of-fit) bieden, en er niet in slagen inzicht te geven in de vraag of alle overwogen modellen incompatibel zijn met de geobserveerde gegevens. Bovendien identificeren zij niet specifieke tijdsintervallen waarin een gefit model slecht presteert, wat essentieel is voor het beoordelen van de geldigheid van langetermijnextrapolaties.

Methodologie
De auteurs stellen een raamwerk voor goedheid-van-passing-testen voor, gebaseerd op het groeperen van overlevingsgegevens in tijdsintervallen en het evalueren van de geobserveerde gebeurteniscounts tegenover de verwachte counts afgeleid van een gefit model.

1. Intervalconstructie:

   • Door censurering gedefinieerde intervallen: Intervallen worden gedefinieerd door de unieke tijdstippen van rechts-gecensureerde observaties ($t'_{j,0}$). Deze benadering, geworteld in Akritas (1988), creëert subintervallen $(t'_{j-1,0}, t'_{j,0}]$.
   • Gespecificeerde intervallen: De auteurs breiden de methode uit om gebruikersgedefinieerde intervallen toe te staan (bijv. 10 gelijkmatig verdeelde intervallen tot aan de laatste censuratie). Deze gespecificeerde intervallen ($V_k$) worden geconstrueerd door de censuratietijden te samenvoegen met de gebruikersgedefinieerde grenzen, waardoor een set subintervallen ($I'_i$) ontstaat.

2. Statistische Verdeling:

   • Onder de nulhypothese dat het model $M(\beta)$ het proces dat de gebeurtenissen genereert correct beschrijft, wordt het aantal gebeurtenissen in elk interval gemodelleerd met behulp van een Poisson-binomial verdeling.
   • Voor een specifiek interval volgt het aantal gebeurtenissen een binomiale verdeling $Binomial(N_{risk}, p)$, waarbij $N_{risk}$ het aantal patiënten onder risico is en $p$ de kans is dat een gebeurtenis plaatsvindt in dat interval, gegeven de overleving tot het begin van het interval.
   • Bij het aggregeren van subintervallen binnen een gespecificeerd interval, volgt de som van onafhankelijke binomialen met variërende kansen een Poisson-binomial verdeling. Deze benadering vermijdt de asymptotische normaliteitsaannames die vereist zijn voor traditionele chi-kwadraat-testen (bijv. Akritas).

3. Teststatistieken:

   • Individuele intervaltesten: P-waarden worden berekend voor elk interval. De auteurs maken gebruik van "midpoint p-waarden" voor reproduceerbaarheid, hoewel ze "gerandomiseerde p-waarden" erkennen voor theoretische uniformiteit.
   • Bonferroni-test: Wordt gebruikt om de familiebrede foutmarge (familywise error rate) sterk te controleren. Een interval wordt gemarkeerd als de p-waarde extreem is (zeer laag of zeer hoog) relatief aan het aantal intervallen.
   • Transformed Fisher Test (TFT): Een continue teststatistiek ($T_{cont} = -2 \sum \log(U_j)$) die p-waarden aggregeert om een ongebruikelijke concentratie van extreme waarden (zowel hoog als laag) te detecteren, volgens een $\chi^2$-verdeling.
   • Protection Against Very Small Intervals (PAVSI): Een discrete teststatistiek ($T_{pavsi}$) die het aantal intervallen telt waarvan de p-waarden buiten het centrale 95%-bereik vallen (d.w.z. $p < 0,025$ of $p > 0,975$). Deze statistiek volgt een binomiale verdeling en is ontworpen om de invloed van enkele, extreem extreme p-waarden te mitigeren.

Belangrijkste Bijdragen en Resultaten

• Identificatie van Lokale Misfit: In tegenstelling tot AIC/BIC, benadrukt de voorgestelde methode specifieke tijdsintervallen waar modellen falen, wat bruikbare inzichten biedt voor modelselectie en de validiteit van extrapolatie.
• Simulatie Validatie: Een simulatiestudie met 12 scenario's (variërend in patiëntenaantallen en gegevensvolwassenheid) en 10.000 iteraties per scenario werd uitgevoerd.
  • Controle van Type I-fout: Voor gerandomiseerde p-waarden behielden zowel de door censuratie gedefinieerde als de 10 gelijkmatig verdeelde intervalbenaderingen empirische Type I-foutpercentages die dicht bij het nominale niveau van 5% lagen.
  • Midpoint P-waarden: Wanneer midpoint p-waarden worden gebruikt (aanbevolen voor praktische toepassing), bleek de door censuratie gedefinieerde intervalbenadering zeer conservatief (Type I-fout vaak nabij 0 of <2%), vooral voor de TFT-statistiek bij onvolwassen data. In contrast hiermee presteerde de 10 gelijkmatig verdeelde intervalbenadering beter, met Type I-foutpercentages die over het algemeen varieerden tussen 0,02 en 0,05, wat het nominale niveau benadert naarmate de patiëntenaantallen toenemen.
• Toepassingvoorbeelden:
  • Voorbeeld 1 (Exponentieel Model): Demonstreerde het vermogen om slechte passing aan de staart van de curve (extrapolatieregio) te detecteren via Bonferroni-verwerping, wat visuele inspectie alleen wellicht zou missen.
  • Voorbeeld 2 (HTA Scenario): Vergeleek zeven parametrische modellen. De door censuratie gedefinieerde benadering slaagde er niet in om slechte passing te detecteren vanwege kleine intervalgroottes, terwijl de 10 gelijkmatig verdeelde benadering significante mismatch identificeerde in 6 van de 7 modellen, wat de selectie van flexibelere modellen (bijv. splines) stuurde.

Betekenis en Claims
Het artikel beweert dat de voorgestelde Poisson-binomial intervaltestmethode een significante vooruitgang biedt ten opzichte van klassieke benaderingen door:

1. Het Elimineren van Asymptotische Aannames: Het leunt niet op de asymptotische normaliteitsaannames die inherent zijn aan chi-kwadraat-testen, waardoor het geschikt is voor kleinere steekproeven of complexe censureringspatronen.
2. Granulaire Diagnostische Capaciteit: Het gaat verder dan relatieve modelrangschikking om absolute goedheid-van-passing beoordelingen te bieden, waarbij specifiek wordt geïdentificeerd waar in de tijdhorizon een model incompatibel is met de data.
3. Praktisch Nut: De auteurs bevelen de 10 gelijkmatig verdeelde intervalbenadering aan in combinatie met midpoint p-waarden voor praktisch gebruik, omdat dit een balans biedt tussen Type I-foutcontrole en het vermogen om misfit te detecteren in real-world scenario's (zoals het verstrekte HTA-voorbeeld).

De auteurs concluderen dat, hoewel de methode een robuust instrument is voor een initiële modeloverzicht en verwerping, het in samenhang met andere metrieken (zoals AIC/BIC) en visuele inspectie moet worden gebruikt, en niet als enige beslissingscriterium. Ze merken op dat de methode flexibel genoeg is om verschillende strategieën voor intervalselectie te accommoderen en kan worden uitgebreid naar risicoscoremodellen.