Semiparametric Efficiency of Residual Correlation Testing under Gaussian Additive Noise Models

Technische Samenvatting: Semiparametrische Efficiëntie van Residuele Correlatietesten onder Gaussische Additieve Ruismodellen

Probleemstelling
Het artikel behandelt het probleem van het testen van conditionele onafhankelijkheid tussen twee willekeurige variabelen $X$ en $Y$ gegeven een willekeurige vector $Z$ ($X \perp Y \mid Z$). Hoewel conditionele onafhankelijkheid centraal staat in statistische velden zoals grafische modellen, voldoende dimensiereductie en causale inferentie, is het testen ervan uitdagend wanneer de relatie tussen variabelen en covariaten nietlineair is. De auteurs richten zich specifiek op het Gaussische Additieve Ruismodel (GANM), waarbij $X$ en $Y$ worden gemodelleerd als nietlineaire functies van $Z$ plus onafhankelijke bivariante Gaussische regressiefouten:
$$X = m_X(Z) + \epsilon_X, \quad Y = m_Y(Z) + \epsilon_Y$$
Onder dit kader is conditionele onafhankelijkheid equivalent aan de ongecorreleerdheid van de regressiefouten ($\rho = \text{corr}(\epsilon_X, \epsilon_Y) = 0$). Een veelgebruikte praktische benadering is het schatten van de nuisance regressiefuncties $m_X$ en $m_Y$ (vaak via flexibele machine learning-methoden), het berekenen van de residuen, en het toepassen van een Pearson-correlatietest op deze residuen. De asymptotische eigenschappen en statistische efficiëntie van deze "residuele correlatie"-schatter zijn echter theoretisch onopgelost gebleven, met name wat betreft de vraag of de schattingsfout van de nietparametrische regressie de eerste-orde asymptotische distributie beïnvloedt en of de procedure semiparametrische efficiëntie bereikt.

Methodologie
De auteurs ontwikkelen een rigoureuze semiparametrische efficiëntietheorie voor het GANM-kader. De methodologie verloopt via de volgende stappen:

1. Semiparametrische Modelformulering: De likelihood wordt geconstrueerd door de correlatiecoëfficiënt $\rho$ te behandelen als de parameter van belang en de regressiefuncties $m_X, m_Y$, foutvarianties en de marginale distributie van $Z$ als nuisance-parameters te beschouwen.
2. Afleiding van de Efficiëntietheorie: De auteurs leiden de nuisance-tangentieruimten af die geassocieerd zijn met de oneindig dimensionele nuisance-parameters. Door de scorefunctie voor $\rho$ te projecteren op het orthogonale complement van de nuisance-tangentieruimte, verkrijgen zij de efficiënte scorefunctie en de efficiënte invloedfunctie.
3. Constructie van de Schatter: Verrassend genoeg levert de efficiënte schattingsvergelijking die is afgeleid van de efficiënte invloedfunctie een schatter die exact overeenkomt met de gewone Pearson-correlatiecoëfficiënt berekend van de gefitte residuen.
4. Sample Splitting en Cross-fitting: Om asymptotische normaliteit vast te stellen zonder een expliciete asymptotische expansie te vereisen van de onderliggende machine learning-algoritmen die gebruikt worden voor $m_X$ en $m_Y$, maken de auteurs gebruik van sample splitting en cross-fitting. De data wordt gepartitioneerd: één deel schat de nuisance regressiefuncties, en het andere deel construeert de residuele correlatieschatter. De uiteindelijke schatter is het gemiddelde van twee dergelijke schatters met omgewisselde rollen.
5. Asymptotische Analyse: Onder convergentie-snelheidscondities op de nietparametrische regressieschatters (specifiek $L_2$-convergentiesnelheden sneller dan $n^{-1/4}$), bewijzen de auteurs dat de resulterende schatter asymptotisch lineair en normaal verdeeld is met de semiparametrische efficiëntiegrens.

Belangrijkste Bijdragen

• Equivalentie van Schatters: Het artikel stelt een verrassend theoretisch resultaat vast: de semiparametrisch efficiënte schatter voor $\rho$ onder het GANM is exact de gewone Pearson-correlatiecoëfficiënt van de residuen. Dit impliceert dat de eenvoudige residuele correlatietest niet slechts een heuristiek is, maar theoretisch optimaal binnen deze klasse van modellen.
• Efficiëntie met Nuisance Schatting: De auteurs demonstreren dat het nietparametrisch schatten van de nuisance regressiefuncties (zelfs met flexibele machine learning-methoden) de eerste-orde asymptotische efficiëntie van de test niet verslechtert, mits de regressieschatters met een voldoende snelheid convergeren. De asymptotische variantie van de voorgestelde test komt overeen met die van de "oracle"-procedure waarbij de ware fouten bekend zijn.
• Robuust Inferentie-kader: Door gebruik te maken van sample splitting en cross-fitting biedt het artikel een geldige inferentieprocedure die de complexe vereisten vermijdt van het afleiden van expliciete asymptotische expansies voor specifieke machine learning-algoritmen (bijv. random forests, neurale netwerken), en in plaats daarvan vertrouwt op algemene convergentiesnelheidscondities.

Resultaten
De theoretische bevindingen worden ondersteund door uitgebreide simulatiestudies en een toepassing op reële gegevens:

• Controle van de Type I-fout: Simulaties tonen aan dat de voorgestelde methoden (RPCS en RPCF) empirische Type I-foutpercentages behouden die dicht bij het nominale niveau (0,05) liggen over verschillende steekproefgroottes en modelspecificaties. In contrast hiermee hadden standaard nietparametrische onafhankelijkheidstests (RCIT, RCoT) moeite met het controleren van de Type I-fout in kleine steekproeven, en de lineaire partiële correlatietest (PaCo) faalde significant wanneer sterke nietlineariteiten aanwezig waren.
• Statistische Power: De voorgestelde residuele correlatietests bereiken een power die vergelijkbaar is met de oracle-benchmark (met ware fouten) en presteren significant beter dan andere nietparametrische tests, met name bij het detecteren van zwakke afhankelijkheidssignalen en in kleine tot middelgrote steekproeven.
• Schattingsefficiëntie: De schatters vertonen een lage bias en variantie, waarbij betrouwbaarheidsintervallen een bijna-nominale dekking bereiken. De sample-splitting benadering brengt slechts een verwaarloosbaar efficiëntieverlies met zich mee vergeleken met het gebruik van de volledige data.
• Toepassing op Reële Gegevens: De methode werd toegepast om de conditionele afhankelijkheidsstructuur van dagelijkse log-rendementen van 12 Amerikaanse aandelen te analyseren, geconditioneerd op vijf marktfactoren. De analyse onthulde significante residuele afhankelijkheden tussen aandelen binnen dezelfde sectoren (bijv. financiële instellingen, energie) zelfs na rekening te houden met gemeenschappelijke marktfactoren, wat de bruikbaarheid van de methode aantoont voor het blootleggen van complexe afhankelijkheidsstructuren.

Betekenis en Claims
Het artikel claimt een rigoureus theoretisch fundament te bieden voor residuele correlatie-gebaseerde onafhankelijkheidstests onder het GANM. De primaire betekenis ligt in het oplossen van de onzekerheid over de efficiëntie van eenvoudige residuele correlatietests. De auteurs tonen aan dat, tegen de intuïtie in, de eenvoud van de Pearson-correlatie op residuen niet ten koste gaat van de statistische efficiëntie; het is juist de semiparametrisch efficiënte schatter. Deze bevinding valideert het gebruik van eenvoudige, interpreteerbare tests in complexe, nietlineaire settings waar flexibele machine learning vereist is om nuisance-functies te modelleren. Het werk overbrugt de kloof tussen semiparametrische theorie en praktische implementatie, en biedt een methode die zowel theoretisch optimaal als computationeel haalbaar is met moderne machine learning-instrumenten.