Induced replication and the assessment of models

Titel: Geïnduceerde replicatie en de beoordeling van modellen

Auteurs: H. S. Battey en N. Reid
Datum: 31 maart 2026

---

1. Het Probleem

De beoordeling van semiparametrische en sterk geparametriseerde statistische modellen vormt een fundamentele uitdaging in de moderne statistiek. Traditionele benaderingen omvatten:

1. Residuanalyse: Het vervangen van onbekende parameters door schatters en het controleren van residuen op afwijkingen.
2. Voorspellende prestaties: Het beoordelen van de uit-sample voorspellingsfout (vaak via cross-validatie).

De auteurs identificeren twee kernproblemen met deze methoden:

• Vervaging van de grens tussen schatting en beoordeling: Bij semiparametrische modellen worden vaak "nuisance"-componenten (storende parameters) geschat via kernel-smoothing of basis-expansies. De keuze van tuning-parameters voor deze schatters (vaak via cross-validatie) maakt het moeilijk om onderscheid te maken tussen het schatten van het model en het beoordelen van de modeladequaatheid.
• Afhankelijkheid van uit-sample data: Traditionele methoden vereisen vaak een gesplitste dataset of uit-sample validatie, wat informatieverspilling kan betekenen en post-selectie inferentieproblemen introduceert.

Het doel van dit artikel is om een methode te ontwikkelen die de Fisheriaanse fundamenten van parametrische inferentie toepast op semiparametrische modellen, zonder noodzaak tot het schatten van de oneindig- of hoog-dimensionale nuisance-componenten, en zonder gebruik te maken van uit-sample data.

2. Methodologie: Geïnduceerde Replicatie

De kern van de voorgestelde methode is het creëren van "geïnduceerde interne replicatie" (induced internal replication). Het idee is om, onder de veronderstelde (postulated) model, een transformatie van de data uit te voeren die leidt tot nieuwe, onafhankelijke random variabelen $U_j(\psi_0)$ met een standaard uniforme verdeling ($U(0,1)$), mits het model correct is en $\psi_0$ de ware parameterwaarde $\psi^*$ is.

De Logica:

• Als het model correct is, moeten de getransformeerde variabelen $U_j$ uniform verdeeld zijn.
• Als het model verkeerd is (of $\psi_0 \neq \psi^*$), zullen de $U_j$ afwijken van uniformiteit.
• Door de $U_j$ te combineren (bijvoorbeeld via Fisher's methode voor het combineren van p-waarden), kan een teststatistiek worden geconstrueerd die de modeladequaatheid toetst.

Belangrijke Technieken:

• Co-sufficientheid: Net als bij sufficientie (waarbij een statistiek alle informatie over een parameter bevat), wordt hier gezocht naar een "co-sufficient" residu dat informatie over de nuisance-parameter verwijdert, maar informatie over de modeladequaatheid behoudt.
• Gebruik van een consistente schatter: In plaats van de test uit te voeren voor alle mogelijke $\psi_0$, wordt een consistente schatter $\hat{\psi}$ gebruikt. Volgens Propositie 2.1 (een variant van Slutsky's stelling) behouden de variabelen $U_j(\hat{\psi})$ asymptotisch hun uniforme verdeling als het model correct is.
• Vier Inferentiestructuren: De auteurs classificeren methoden om nuisance-parameters te elimineren in vier structuren:
  1. Structure 1 & 2: Conditioneren op een sufficient statistiek (die al dan niet van $\psi$ afhangt).
  2. Structure 3 & 4: Transformatie van de data naar een nieuwe variabele $Z$ waarvan de verdeling vrij is van nuisance-parameters.

3. Belangrijkste Bijdragen

Het artikel introduceert een unificerend raamwerk voor modelbeoordeling dat de volgende bijdragen levert:

1. Ontwijken van Nuisance-schatting: De methode vereist geen expliciete schatting van de oneindig-dimensionale componenten (zoals de basisfunctie $h(x)$ in semiparametrische modellen). Dit elimineert de noodzaak voor tuning-parameters en de bijbehorende bias-variance trade-offs.
2. Intra-sample Beoordeling: De methode maakt modelbeoordeling mogelijk binnen dezelfde dataset die voor schatting is gebruikt, zonder dat er sprake is van data-splitting of uit-sample validatie.
3. Toepassing op Diverse Modellen: De auteurs demonstreren de methode op complexe scenario's:
   • Proportional Hazards Model: Een benadering via conditionele co-sufficientheid om de baseline hazard $h_0$ te elimineren.
   • Tijdsafhankelijke Poisson-processen: Het elimineren van individuele effecten ($\gamma_i$) door conditioneren op het aantal gebeurtenissen.
   • Gepaarde Data (Matched Pairs): Het gebruik van verhoudingen of sommen om paar-specifieke effecten te elimineren (bijv. bij twins-studies).
   • Sparse Regression: Het construeren van betrouwbaarheidsintervallen voor modellen in hoge dimensies via synthetische replicaten op het orthogonal complement van de covariatenruimte.
4. Theoretische Onderbouwing: De auteurs definiëren "equivalentieklassen" van modellen. Als een waar model binnen deze klasse valt, kan de test het postulated model niet onderscheiden van het ware model (een analogie met Markov-equivalentie in grafische modellen).

4. Resultaten

Numerieke simulaties bevestigen de theoretische eigenschappen van de voorgestelde methoden:

• Recovery van nominale foutniveaus: Wanneer het postulated model correct is, worden de nominale significantieniveaus (bijv. 5%) nauwkeurig behouden, zelfs wanneer een schatter $\hat{\psi}$ wordt gebruikt in plaats van de ware parameter.
• Hoge Sensitiviteit: De methoden tonen een hoge power (kracht) om afwijkingen van het model te detecteren, zelfs bij kleine afwijkingen in de richting van semiparametrische alternatieven.
  • Voorbeeld: Bij gepaarde data met Weibull-verdelingen (waar het postulated model exponentieel is) detecteert de methode de misspecificatie effectief, zelfs als de maximum likelihood schatter voor de transformatie lokaal consistent blijft.
  • Voorbeeld: Bij Poisson-processen met een machts-wet trend (power-law) wordt de afwijking van het lineaire trendmodel snel gedetecteerd naarmate het aantal individuen ($n$) toeneemt.
• Betrouwbaarheidsintervallen voor Modellen: In het geval van sparse regression (hoofdstuk 5.3) tonen de simulaties dat de betrouwbaarheidsintervallen voor modelselectie de gewenste dekking (coverage) bieden en een klein aantal valse modellen bevatten.

5. Betekenis en Conclusie

De paper biedt een fundamenteel nieuw perspectief op modelbeoordeling voor semiparametrische en hoog-gedimensioneerde modellen.

• Paradigmaverschuiving: In plaats van te vertrouwen op residuen of uit-sample validatie, gebruikt de methode de interne structuur van het model om "replicaten" te genereren die onder de nulhypothese een bekende verdeling hebben.
• Praktische Relevantie: Het biedt een oplossing voor het "tuning-parameter dilemma" in semiparametrische modellen, waarbij schatting en beoordeling vaak door elkaar lopen.
• Toekomstige Uitdagingen: De auteurs wijzen op open vragen, zoals het vinden van algemene methoden om nuisance-parameters benaderend te elimineren (approximate exchangeability) en het numeriek vinden van transformaties die nuisance-parameters elimineren, vergelijkbaar met de Box-Cox transformatie.

Samenvattend stelt de paper dat het mogelijk is om de Fisheriaanse principes van sufficientie en co-sufficientie uit te breiden naar complexe, semiparametrische settings, waardoor robuuste modelbeoordeling mogelijk wordt zonder de noodzaak van ingewikkelde schattingsprocedures voor storende componenten.