Model Checking for Regressions Based on Weighted Residual Processes with Diverging Number of Predictors

Titel: Modelcontrole voor Regressies op basis van Gewogen Residuenprocessen met een Divergerend Aantal Predictors

Auteurs: Yue Hu, Haiqi Li en Xintao Xia
Publicatiedatum: April 2026 (voorgesteld)

---

1. Probleemstelling

Regressiemodellen zijn fundamenteel voor statistische analyse, maar de geldigheid van inferentie hangt af van de correcte specificatie van het model (de parametrische vorm van de regressiefunctie). Traditionele methoden voor modelcontrole, zoals de Integrated Conditional Moment (ICM) test, presteren uitstekend wanneer het aantal predictors ($d$) en parameters ($p$) vast is.

Echter, in moderne statistische toepassingen groeien $d$ en $p$ vaak mee met de steekproefgrootte $n$ (het "divergerende" regime). In deze hoge-dimensie setting ondervinden klassieke ICM-tests ernstige problemen:

• Degeneratie: De asymptotische verdeling van de ICM-statistiek onder zowel de nulhypothese (goed model) als het alternatief (slecht model) degradeert tot vaste constanten. Hierdoor verliest de test zijn vermogen om onderscheid te maken.
• Fout van Wild Bootstrap: De veelgebruikte wild bootstrap-methode, die normaal gesproken de null-verdeling benadert, faalt in hoge dimensies. Dit leidt tot ernstige vertekening van het significantieniveau (size distortion) en een groot verlies aan toetsingskracht.

Het doel van dit artikel is het ontwikkelen van een nieuwe specificatietest die robuust blijft in hoge-dimensie settings waar $d$ en $p$ divergeren met $n$.

2. Methodologie

De auteurs stellen een nieuwe test voor die gebaseerd is op gewogen residuenprocessen en een gladde residu-bootstrap.

A. Constructie van de Teststatistiek

In plaats van te integreren over een hoge-dimensionale ruimte van covariaten (zoals bij de klassieke ICM met $e^{it^TX}$), gebruiken de auteurs een unidimensionale benadering:

1. Gewogen Residuen: Ze definiëren een reëelwaardige gewichtsfunctie $g(X)$ en werken met de getransformeerde residuen via een karakteristieke functie-achtige transformatie: $\cos(t\hat{\epsilon}) + \sin(t\hat{\epsilon})$.
2. Residuenproces: Het proces wordt gedefinieerd als:
   $$\hat{U}_n(t) = \frac{1}{\sqrt{n}} \sum_{i=1}^n \{g(X_i) - \bar{g}\} \{\cos(t\hat{\epsilon}_i) + \sin(t\hat{\epsilon}_i)\}$$
   waarbij $\hat{\epsilon}_i$ de gefitte residuen zijn.
3. Teststatistiek: De statistiek $WICM_n$ is de geïntegreerde kwadratische norm van dit proces, gewogen door een even functie $\phi(t)$ (bijv. de standaardnormale dichtheid):
   $$WICM_n = \int_{\mathbb{R}} |\hat{U}_n(t)|^2 \phi(t) dt$$
   Door de integratie over $t$ (een 1-dimensionale variabele) in plaats van over $X$ (d-dimensionaal), wordt de "curse of dimensionality" vermeden.

B. Keuze van de Gewichtsfunctie $g(X)$

Om de kracht van de test te maximaliseren, wordt $g(X)$ strategisch gekozen:

• Voor directionele alternatieven (waar een specifiek alternatief model bekend is), wordt $g(X)$ gebaseerd op de projectie van het verschil tussen het ware model en het geschatte parametrische model.
• Voor niet-parametrische alternatieven, wordt een Fourier-uitbreiding gebruikt, vaak ondersteund door technieken voor voldoende dimensiereductie (zoals CSE en MERE) om de basisfuncties te construeren zonder volledig niet-parametrisch te hoeven schatten in hoge dimensies.

C. Gladde Residu Bootstrap

Omdat de asymptotische null-verdeling van $WICM_n$ afhangt van de onbekende foutverdeling en niet vrij is van verdeling, is een bootstrap-methode nodig. De auteurs introduceren een gladde residu bootstrap:

1. Genereer bootstrap-fouten $\epsilon^*_i$ door te resamplen van de gecentreerde residuen en een gladmakende ruis toe te voegen (met een smoothing parameter $v_n$).
2. Construeer bootstrap-antwoorden $Y^*_i$ en schat opnieuw de parameters.
3. Bereken de bootstrap-statistiek $WICM^*_n$.
4. De kritieke waarde wordt bepaald door de $\alpha$-quantiel van de verdeling van $WICM^*_n$.

3. Belangrijkste Bijdragen

1. Oplossing voor Degeneratie: De auteurs bewijzen dat hun voorgestelde teststatistiek onder de nulhypothese convergeert naar een niet-degenererende verdeling, zelfs wanneer het aantal predictors divergeert. Dit is een fundamenteel verschil met de klassieke ICM-test.
2. Asymptotische Eigenschappen:
   • De test behoudt het nominale significantieniveau.
   • De test is consistent tegen vaste alternatieven.
   • De test kan lokale alternatieven detecteren die zich met de parametrische snelheid $1/\sqrt{n}$ van de nulhypothese verwijderen.
3. Validiteit van Bootstrap: Er wordt bewezen dat de gladde residu bootstrap de null-verdeling consistent benadert in hoge-dimensie settings, wat de basis vormt voor geldige inferentie.
4. Verbeterde Snelheidsvoorwaarde: De theoretische resultaten vereisen een zwakkere voorwaarde voor de groei van $p$ ten opzichte van $n$ ($p^3 \log(n)/n \to 0$) dan eerdere werken in de literatuur (zoals Tan et al., 2025), wat het toepassingsgebied verruimt.

4. Resultaten

De auteurs evalueren de prestaties via simulatiestudies en een real-world voorbeeld:

• Simulatiestudies:

  • Vergelijking met de klassieke ICM-test (Bierens, 1982) en de PCvM-test (Escanciano, 2006).
  • Resultaat: De klassieke ICM-test faalt volledig bij toenemende dimensie (grootte vervormt naar 0 en kracht verdwijnt). De PCvM-test behoudt de grootte, maar heeft lagere kracht.
  • De voorgestelde tests $WICM^{(1)}_n$ en $WICM^{(2)}_n$ behouden het nominale niveau (0.05) goed en tonen aanzienlijk hogere kracht, vooral bij complexe alternatieven en hoge dimensies.
  • De test presteert goed in scenario's zonder lage-dimensionale structuur (waar dimensiereductie-methoden vaak falen).

• Real Data Voorbeeld:

  • Toepassing op het "Geographical Origin of Music" dataset (1059 observaties, 68 audio-features).
  • De test werd gebruikt om te controleren of een lineair regressiemodel adequaat is om de breedtegraad van muziek te voorspellen.
  • Conclusie: De test verwierp de lineaire hypothese met een p-waarde $\approx 0$, wat bevestigd werd door scatterplots die een niet-lineair patroon toonden. Dit illustreert de praktische bruikbaarheid.

5. Betekenis en Conclusie

Dit artikel biedt een cruciale oplossing voor een groot probleem in de moderne statistiek: modelcontrole in hoge-dimensie settings.

• Theoretische Impact: Het lost het probleem van de degeneratie van ICM-tests op en biedt een rigoureuze theoretische onderbouwing voor modelchecking wanneer $p \to \infty$.
• Praktische Impact: De methode is direct toepasbaar in datawetenschap en econometrie waar datasets vaak meer variabelen hebben dan observaties of waar het aantal variabelen meegroeit met de data.
• Toekomstperspectief: De auteurs noemen als volgende stappen het uitbreiden naar het geval $p > n$ (ultra-hoge dimensie) en het verbeteren van de kracht voor het detecteren van fouten in de variantiestructuur.

Samenvattend presenteert dit werk een robuust, krachtig en theoretisch onderbouwd alternatief voor bestaande modelcontrole-methoden in de era van big data en hoge dimensies.