Semiparametric Efficiency of Residual Correlation Testing under Gaussian Additive Noise Models

Sintesi Tecnica: Efficienza Semiparametrica del Test di Correlazione dei Residui sotto Modelli di Rumore Additivo Gaussiano

Problematica
Il documento affronta il problema del test di indipendenza condizionale tra due variabili casuali $X$ e $Y$ dato un vettore casuale $Z$ ($X \perp Y \mid Z$). Sebbene l'indipendenza condizionale sia centrale in campi statistici quali i modelli grafici, la riduzione della dimensione sufficiente e l'inferenza causale, il suo test risulta complesso quando la relazione tra le variabili e i covariati è non lineare. Gli autori si concentrano specificamente sul Modello di Rumore Additivo Gaussiano (GANM), dove $X$ e $Y$ sono modellati come funzioni non lineari di $Z$ più errori di regressione gaussiani bivariati indipendenti:
$$X = m_X(Z) + \epsilon_X, \quad Y = m_Y(Z) + \epsilon_Y$$
In questo quadro, l'indipendenza condizionale è equivalente all'assenza di correlazione degli errori di regressione ($\rho = \text{corr}(\epsilon_X, \epsilon_Y) = 0$). Un approccio pratico comune prevede la stima delle funzioni di regressione di disturbo $m_X$ e $m_Y$ (spesso tramite metodi di machine learning flessibili), il calcolo dei relativi residui e l'applicazione di un test di correlazione di Pearson ai residui stessi. Tuttavia, il comportamento asintotico e l'efficienza statistica di questo stimatore di "correlazione dei residui" sono rimasti teoricamente irrisolti, in particolare per quanto riguarda se l'errore di stima dalla regressione non parametrica influenzi la distribuzione asintotica del primo ordine e se la procedura raggiunga l'efficienza semiparametrica.

Metodologia
Gli autori sviluppano una rigorosa teoria dell'efficienza semiparametrica per il framework GANM. La metodologia procede attraverso i seguenti passaggi:

1. Formulazione del Modello Semiparametrico: La verosimiglianza viene costruita trattando il coefficiente di correlazione $\rho$ come il parametro di interesse e le funzioni di regressione $m_X, m_Y$, le varianze degli errori e la distribuzione marginale di $Z$ come parametri di disturbo.
2. Derivazione della Teoria dell'Efficienza: Gli autori derivano gli spazi tangenti di disturbo associati ai parametri di disturbo infinitamente dimensionali. Proiettando la funzione di punteggio (score function) per $\rho$ sul complemento ortogonale dello spazio tangente di disturbo, ottengono la funzione di punteggio efficiente e la funzione di influenza efficiente.
3. Costruzione dello Stimatore: Sorprendentemente, lo stimatore derivato dall'equazione di stima efficiente tramite la funzione di influenza efficiente coincide esattamente con il coefficiente di correlazione di Pearson ordinario calcolato dai residui stimati.
4. Suddivisione del Campione e Cross-Fitting: Per stabilire la normalità asintotica senza richiedere espansioni asintotiche esplicite degli algoritmi di machine learning sottostanti utilizzati per $m_X$ e $m_Y$, gli autori impiegano la suddivisione del campione e il cross-fitting. I dati vengono partizionati: una parte stima le funzioni di regressione di disturbo, l'altra costruisce lo stimatore della correlazione dei residui. Lo stimatore finale è la media di due tali stimatori con ruoli scambiati.
5. Analisi Asintotica: Sotto condizioni di convergenza sui regressori non parametrici (specificamente tassi di convergenza $L_2$ più veloci di $n^{-1/4}$), gli autori dimostrano che lo stimatore risultante è asintoticamente lineare e normalmente distribuito con il limite di efficienza semiparametrica.

Contributi Chiave

• Equivalenza degli Stimatori: Il documento stabilisce un sorprendente risultato teorico: lo stimatore semiparametricamente efficiente per $\rho$ sotto il modello GANM è esattamente il coefficiente di correlazione di Pearson dei residui. Ciò implica che il semplice test di correlazione dei residui non è solo un'euristica, ma è teoricamente ottimale all'interno di questa classe di modelli.
• Efficienza con Stima dei Parametri di Disturbo: Gli autori dimostrano che la stima non parametrica delle funzioni di regressione di disturbo (anche utilizzando metodi di machine learning flessibili) non degrada l'efficienza asintotica del primo ordine del test, a condizione che gli stimatori di regressione convergano a un tasso sufficiente. La varianza asintotica del test proposto corrisponde a quella della procedura "oracle" in cui gli errori reali sono noti.
• Framework di Inferenza Robusto: Utilizzando la suddivisione del campione e il cross-fitting, il documento fornisce una procedura di inferenza valida che evita i requisiti complessi di derivare espansioni asintotiche esplicite per specifici algoritmi di machine learning (ad esempio, foreste casuali, reti neurali), basandosi invece su condizioni generali di tasso di convergenza.

Risultati
I risultati teorici sono supportati da estesi studi di simulazione e un'applicazione su dati reali:

• Controllo dell'Errore di Tipo I: Le simulazioni mostrano che i metodi proposti (RPCS e RPCF) mantengono i tassi empirici di errore di Tipo I vicini al livello nominale (0,05) attraverso varie dimensioni campionarie e specifiche del modello. Al contrario, i test standard di indipendenza condizionale non parametrica (RCIT, RCoT) hanno faticato a controllare l'errore di Tipo I in piccoli campioni, e il test di correlazione parziale lineare (PaCo) è fallito significativamente in presenza di forti non linearità.
• Potenza Statistica: I test di correlazione dei residui proposti raggiungono una potenza comparabile al benchmark oracle (utilizzando gli errori reali) e superano significativamente altri test non parametrici, in particolare nel rilevare segnali di dipendenza debole e in campioni di piccole o medie dimensioni.
• Efficienza di Stima: Gli stimatori mostrano bassa distorsione (bias) e varianza, con intervalli di confidenza che raggiungono una copertura quasi nominale. L'approccio di suddivisione del campione comporta solo una perdita di efficienza trascurabile rispetto all'uso dell'intero dataset.
• Applicazione su Dati Reali: Il metodo è stato applicato per analizzare la struttura di dipendenza condizionale dei rendimenti logaritmici giornalieri di 12 titoli azionari statunitensi, condizionando su cinque fattori di mercato. L'analisi ha rivelato dipendenze residue significative tra gli stock appartenenti allo stesso settore (ad esempio, finanziario, energetico) anche dopo aver tenuto conto dei comuni fattori di mercato, dimostrando l'utilità del metodo nel rivelare strutture di dipendenza complesse.

Significatività e Rivendicazioni
Il documento sostiene di fornire una rigorosa base teorica per il test di indipendenza condizionale basato sulla correlazione dei residui sotto il modello GANM. La sua importanza primaria risiede nel risolvere l'incertezza riguardante l'efficienza dei semplici test di correlazione dei residui. Gli autori dimostrano che, contrariamente all'intuizione, la semplicità della correlazione di Pearson sui residui non avviene a scapito dell'efficienza statistica; anzi, essa è lo stimatore semiparametricamente efficiente. Questa scoperta convalida l'uso di test semplici e interpretabili in contesti complessi e non lineari dove è richiesto un machine learning flessibile per modellare le funzioni di disturbo. Il lavoro colma il divario tra la teoria semiparametrica e l'implementazione pratica, offrendo un metodo che è sia teoricamente ottimale che computazionalmente fattibile utilizzando strumenti moderni di machine learning.