Technische Samenvatting: Over de optimaliteit van antithetische randomisatie voor kruisvalidatie

Probleemopstelling

Het artikel behandelt het probleem van het schatten van de voorspellingsfout (prediction error, PE) in de context van het normaal-gemiddeldenprobleem, waarbij observaties $Y \sim N(\mu, \sigma^2 I_n)$ beschikbaar zijn. Traditionele kruisvalidatie berust op steekproefsplitsing (sample splitting), wat vaak onhaalbaar is voor geclusterde, longitudinale of vaste design-data waarbij onafhankelijke train–test-folds niet kunnen worden gegenereerd door het partitioneren van steekproeven.

Om dit te overwinnen, maken de auteurs gebruik van een raamwerk waarbij de passende estimator $g(Y)$ afhankelijk is van de data via een voldoende statistiek die (asymptotisch) normaal is. In plaats van de steekproeven te splitsen, splitst de methode de informatie in de data door de statistiek te verstoren met normale randomisatievariabelen. Voor een verstoringsniveau $\alpha > 0$, worden $K$ train–test-folds geconstrueerd als:
$$Y^k_{\text{train}} = Y + \sqrt{\alpha}\omega^k, \quad Y^k_{\text{test}} = Y - \frac{1}{\sqrt{\alpha}}\omega^k$$
waarbij $\omega^k$ randomisatievectoren zijn. De kruisvalidatie-estimator wordt gedefinieerd als:
$$CV_\alpha = \frac{1}{K} \sum_{k=1}^K \left( \|g(Y^k_{\text{train}}) - Y^k_{\text{test}}\|_2^2 - \frac{1}{\alpha}\|\omega^k\|_2^2 \right)$$
De bias van deze estimator wordt uitsluitend bepaald door de marginale distributie van de $\omega^k$ (die worden aangenomen als $N(0, \sigma^2 I_n)$). De variantie van de estimator hangt echter af van de gezamenlijke distributie van de randomisatievariabelen $(\omega^1, \dots, \omega^K)$. De centrale vraag is: welke gezamenlijke wet minimaliseert de reduceerbare variantie (R-VAR) van de estimator, met name naarmate het verstoringsniveau $\alpha \to 0$ gaat (waarbij de bias verdwijnt)?

Methodologie en Raamwerk

De auteurs bestuderen de klasse van Exchangeable Normal Randomization-schema's (Aanname 2.1), waarbij:

1. De vectoren $(\omega^1, \dots, \omega^K)$ uitwisselbaar (exchangeable) zijn.
2. Elke $\omega^k \sim N(0, \sigma^2 I_n)$.
3. De paarwijze correlatie constant is: $\text{Cov}(\omega^k, \omega^{k'}) = \rho \sigma^2 I_n$ voor $k \neq k'$, met $\rho \in [-1/(K-1), 1]$.

De reduceerbare variantie wordt gedefinieerd als $E[\text{Var}(CV_\alpha | Y)]$. De analyse richt zich op het asymptotische gedrag van deze variantie naarmate $\alpha \downarrow 0$.

Belangrijkste Bijdragen en Resultaten

1. Noodzaak van antithetische randomisatie voor gladde estimators

Voor estimators $g$ die zwak differentieerbaar zijn (Aanname 3.1), stelt het artikel een scherpe drempel vast voor de correlatieparameter $\rho$.

• Stelling 3.1: Naarmate $\alpha \downarrow 0$, blijft de reduceerbare variantie begrensd ($O(1)$) indien en slechts indien de randomisatie antithetisch is, d.w.z. $\rho = -1/(K-1)$.
• Als $\rho > -1/(K-1)$, divergeert de reduceerbare variantie met de snelheid $\Theta(1/\alpha)$.
• Dit resultaat houdt stand zonder aan te nemen dat de $\omega^k$ gezamenlijk normaal zijn, waarbij enkel marginale normaliteit en de specifieke correlatiestructuur vereist zijn.

2. Minimax-optimaliteit van het gezamenlijk normale schema

Hoewel elk schema met $\rho = -1/(K-1)$ een begrensde variantie garandeert, onderzoekt het artikel welke specifieke gezamenlijke distributie binnen deze klasse optimaal is.

• Propositie 4.1: Biedt een algemene constructie voor antithetische schema's met behulp van een basis normale vector $Z$ en een familie van uitwisselbare willekeurige matrices $M^k$ die voldoen aan co-isometrie en som-nul restricties ($\sum M^k = 0$).
• Stelling 4.1: Binnen deze klasse van constructies is het gezamenlijk normale schema (waarbij de gestapelde vector $(\omega^1, \dots, \omega^K)$ multivariate normaal is) de unieke minimax-optimale constructie. Het minimaliseert de worst-case reduceerbare variantie over een klasse van gladde estimators. Het gezamenlijk normale schema bereikt de ondergrens $8\sigma^4/(K-1) \cdot E\|\nabla g(Y)\|_F^2$.

3. Extensies naar niet-gladde estimators

De analyse wordt uitgebreid naar estimators met een eindig aantal sprongdiscontinuïteiten (bijv. hard-thresholded estimators), gemodelleerd als $g(y) = f_0(y) + \sum a_\ell(y) \mathbb{1}\{h_\ell(y) > 0\}$.

• Stelling 5.1: Voor niet-gladde estimators verbetert antithetische randomisatie ($\rho = -1/(K-1)$) nog steeds de asymptotische snelheid van de reduceerbare variantie vergeleken met niet-antithetische schema's. Specifiek groeit de variantie als $O(\alpha^{-1/2})$ voor antithetische schema's, terwijl deze groeit als $\Theta(\alpha^{-1})$ voor niet-antithetische schema's.
• Stelling 5.2: Als de grenzen van de discontinuïteiten bekend zijn, kan een control variate worden geconstrueerd om de variantiebijdrage van de sprongen te elimineren. Wanneer deze control variate aan de estimator wordt toegevoegd, wordt de reduceerbare variantie begrensd ($O(1)$) naarmate $\alpha \downarrow 0$, wat de prestaties van het gladde geval herstelt, mits $\rho = -1/(K-1)$.

4. Numerieke Validatie

De theoretische bevindingen worden gevalideerd door simulaties op ridge regressie en hard-thresholded ridge regressie:

• Ridge Regressie (Glad): Het gezamenlijk normale antithetische schema (ACV Normal) levert een lagere reduceerbare variantie dan het op Rademacher gebaseerde antithetische schema (ACV Rademacher), wat de minimax-optimaliteit bevestigt. Beide antithetische schema's blijven begrensd, terwijl onafhankelijke ($\rho=0$) en positief gecorreleerde schema's divergeren.
• Hard-Thresholded Ridge (Niet-glad): Het antithetische schema zonder aanpassing vertoont een tragere divergentie ($O(\alpha^{-1/2})$) vergeleken met niet-antithetische schema's. Het schema met de control variate (ACV Adjusted) behoudt een begrensde variantie, wat Stelling 5.2 bevestigt.

Betekenis en Claims

Het artikel beweert de vraag naar de optimaliteit van randomisatie-gebaseerde kruisvalidatie in de normaal-gemiddelden setting te hebben opgelost.

• Het stelt vast dat antithetische correlatie ($\rho = -1/(K-1)$) niet alleen voldoende is, maar ook noodzakelijk om te voorkomen dat de reduceerbare variantie explodeert naarmate de bias verdwijnt voor gladde estimators.
• Het identificeert het gezamenlijk normale antithetische schema als de unieke minimax-optimale constructie onder alle geldige antithetische schema's.
• Het toont aan dat voor niet-gladde estimators antithetische randomisatie een superieure asymptotische snelheid van variantiereductie biedt, en dat control variates gebruikt kunnen worden om de variantie volledig begrensd te maken wanneer de structuur van de discontinuïteiten bekend is.

Het werk generaliseert eerdere bevindingen (bijv. Liu et al., 2026) door de noodzaak van de antithetische conditie te bewijzen zonder gezamenlijke normaliteit aan te nemen, en door een rigoureus minimax-optimaliteitsresultaat en extensies naar niet-gladde settings te bieden.