A Transferability Criterion for Null-Optimized Variance Reduction in Cumulant-Based Error-Independence Testing

Technische Samenvatting: Een Transferabiliteitscriterium voor Null-Geoptimaliseerde Variatiereductie in Cumulaat-gebaseerde Onafhankelijkheidstests

Probleemstelling
Dit artikel behandelt een specifieke methodologische kloof in hypothesetests voor de onafhankelijkheid van meetfouten, met de focus op de Wiedermann–Shi (W&S) derde-orde cumulaatstatistiek ($\Delta c_3$). Deze statistiek detecteert asymmetrische gecorreleerde meetfouten tussen twee parallelle geobserveerde scores ($X_1, X_2$) onder een latente variabele model. Hoewel de naïeve estimator van $\Delta c_3$ onbevooroordeeld en $\sqrt{N}$-consistent is, kan deze bij matige steekproefgroottes of scheve distributies een hoge variantie vertonen.

Het kernprobleem dat wordt onderzocht is of Polynomial Maximization Method (PMM) estimators—specifiek de tweede-orde PMM (PMM2)—succesvol kunnen worden aangepast om de variantie van de W&S-statistiek voor hypothesetoetsing te reduceren. PMM is een standaard techniek voor variatiereductie bij schatting van parameters in een enkele populatie (bijv. controlevariaten), waarbij hulpfuncties met bekende verwachtingswaarden worden gebruikt om een doel-estimator aan te passen. Het artikel vraagt zich af of een onder de nulhypothese ($H_0$) geoptimaliseerde PMM2-estimator, geoptimaliseerd onder de nulhypothese van fout-uitwisselbaarheid, geldig kan overdragen naar een tweezijdige testproblematiek waarbij de alternatieve hypothese ($H_1$) asymmetrische correlaties omvat.

Methodologie
De studie maakt gebruik van een theoretische analyse in gesloten vorm gecombineerd met uitgebreide Monte Carlo-simulaties.

1. Theoretisch Kader:

   • De auteurs leiden een transferabiliteitscriterium af voor nul-geoptimaliseerde variatiereductie. Zij stellen dat voor een $H_0$-gecentreerde augmentatie van een doelstatistiek met een gewichtsvector $K_0$, de verwachting onder de alternatieve hypothese ($H_1$) gelijk is aan het doel plus $K_0^\top \mu_{a, H_1}$, waarbij $\mu_{a, H_1}$ de verwachting is van de augmenterende basis onder $H_1$.
   • Het artikel bewijst dat variatiereductie zonder bias overdraagt naar de alternatieve hypothese alleen als de orthogonaliteitsconditie $K_0^\top \mu_{a, H_1} = 0$ standhoudt.
   • De PMM2-constructie gebruikt antisymmetrische polynomiale hulpfuncties (bijv. $X_1^3 - X_2^3$) die onder $H_0$ een verwachtingswaarde van nul hebben vanwege uitwisselbaarheid. De gewichten $K^*$ worden geoptimaliseerd om de variantie onder $H_0$ te minimaliseren.

2. Simulatieontwerp:

   • De auteurs simuleren data gebaseerd op het W&S-model met variërende parameters: relatieve loading ($R \in \{1, 1.25, 2\}$), latente ware score-scheefheid ($\gamma_T$) en latente confounder-scheefheid ($\gamma_U$).
   • Zij evalueren de PMM2-estimator tegenover de naïeve estimator over 36 condities, waarbij zij beoordelen:
     • Relatieve Efficiëntie (ARE): Variatiereductie onder $H_0$.
     • Bias en Consistentie: Convergentie van de estimator naar de ware $\Delta c_3$ onder $H_1$.
     • Power (Vermogen): Bootstrap afwijzingspercentages bij $\alpha = 0.05$.
   • Robuustheidscontroles omvatten het variëren van bootstrap resample-groottes ($B=200$ vs. $1000$), het gebruik van BCa-intervallen en het testen van heavy-tailed alternatieven (Tukey $g$-and-$h$).

Belangrijkste Resultaten

1. Succes onder $H_0$ (Variatiereductie):

   • Onder de nulhypothese ($R=1$ of symmetrische confounders) bereikt de PMM2-estimator significante variatiereductie. De Asymptotische Relatieve Efficiëntie (ARE) varieert van 1.23 tot 5.16 over de condities.
   • Type-I fouteniveaus worden gecontroleerd (0.04–0.09), wat bevestigt dat de estimator valide is voor $H_0$-gecentreerde inferentie.

2. Falen onder $H_1$ (Inconsistentie):

   • Onder de alternatieve hypothese ($R \neq 1, \kappa_3(U) \neq 0$) is de PMM2-estimator bewijsbaar inconsistent. De antisymmetrische hulpfuncties verkrijgen niet-nul verwachtingswaarden onder $H_1$, terwijl de gewichten $K^*$ vast blijven op hun $H_0$-geoptimaliseerde waarden.
   • Dit resulteert in een systematische attenuatie (verzwakking) van het doelsignaal. De verwachte waarde van de estimator onder $H_1$ is $\Delta c_3 + K^*(1-R^3)\kappa_3(U)$.
   • De attenuatie is ernstig: in sterke alternatieve regimes ($R=2$) behoudt de estimator slechts ~16% van het ware signaal (84% attenuatie).
   • Het vergroten van de steekproefomvang ($N$) corrigeert deze bias niet; de estimator convergeert naar een waarde die ver verwijderd is van de ware parameter.

3. Gevolgen voor Testvermogen (Power):

   • Het verlies aan signaal vertaalt zich direct in een catastrofaal verlies aan statistisch vermogen. De verliezen in power variëren van 7 tot 52 procentpunten vergeleken met de naïeve estimator.
   • In de sterkste alternatieve scenario's ($R=2$) bereikt de naïeve test ~86% power, terwijl de PMM2-test daalt naar ~33–36%.
   • Het artikel merkt op dat standaard unit tests (die alleen $H_0$ bias en variantie controleren) PMM2 onterecht als een verbetering zouden hebben aangemerkt, wat een valkuil is in methodologische evaluatie.

4. Extensies (PMM3 en PATP):

   • Een vierde-orde PMM3-stijl symmetrische correctie werd getest. Hoewel deze de variantie verminderde (ratio 1.127), faalde het in praktische "nuisance-aware" testing gates, met een nuisance afwijzingspercentage van 0.295 (tegenover een guard van 0.10).
   • De Parametrically Adaptive Transition Polynomial (PATP) wordt besproken als een conceptuele extensie voor basisselectie, maar er wordt expliciet gesteld dat deze het consistentieprobleem niet op zichzelf oplost. Zonder het hercentreren van gewichten onder de alternatieve hypothese, creëert een rijkere basis slechts een efficiëntere estimator van het verkeerde doel.

Betekenis en Claims
De primaire bijdrage van het artikel is een closed-form transferability criterion voor het toepassen van nul-geoptimaliseerde controlevariaten op tweezijdige hypothesetests. De auteurs stellen:

• Theoretische Grens: Variatiereductietechnieken ontwikkeld voor schatting in een enkele populatie (waar de distributie vaststaat) worden niet automatisch overgedragen naar hypothesetoetsing (waar de distributie verschuift tussen $H_0$ en $H_1$). Specifiek: het centreren van hulpfuncties op hun $H_0$-verwachtingswaarden vernietigt de consistentie onder $H_1$, tenzij de nul-gewichten orthogonaal zijn aan de gemiddelden aan de zijde van de alternatieve hypothese.
• Methodologische Waarschuwing: De studie dient als een diagnostische casestudy die aantoont dat "H0-only" validatie onvoldoende is voor methodologieën voor hypothesetoetsing. Een methode kan zeer efficiënt zijn onder de nul, maar volledig falen om de alternatieve hypothese te detecteren door signaalattenuatie.
• Operationele Gate: De auteurs stellen een "alternatief-consistentie acceptatiegate" voor toekomstige variantiereducerende teststatistieken voor. Elke dergelijke statistiek moet verifiëren dat het doel behouden blijft als consistent onder representatieve alternatieven, en niet alleen dat het de variantie onder de nul vermindert.

Het artikel concludeert dat hoewel PMM een solide techniek is voor parameterschatting, de directe toepassing ervan op de W&S cross-cumulaat testtaak ongeldig is zonder een mechanisme om de centrering of de gewichten aan te passen aan de alternatieve hypothese. Het falen is structureel, en geen artefact van een eindige steekproef.