Sintesi Tecnica: Clustered Random Forests con Dati Correlati

Definizione del Problema

I dataset del mondo reale esibiscono frequentemente strutture raggruppate (clustered) derivanti da misurazioni ripetute, studi longitudinali o raggruppamenti geografici. In tali contesti, le osservazioni all'interno di un cluster sono spesso correlate, violando l'assunto di indipendenza e identica distribuzione (i.i.d.) tipico di molti algoritmi di machine learning. Sebbene i modelli parametrici a effetti misti possano tenere conto di tali correlazioni, essi si basano su assunti parametrici specifici riguardanti le strutture di media e covarianza; l'errata specificazione di queste strutture può portare a un bias sostanziale e a una stima inconsistente.

Gli approcci non parametrici esistenti, come le Random Forests (RF), tipicamente ignorano le correlazioni intra-cluster o tentano di modellarle tramite strutture di covarianza parametriche rigide (ad esempio, REEM trees, Mixed Effects Random Forests). Questi metodi esistenti soffrono spesso di intratabilità computazionale (complessità cubica) o non riescono a garantire la riduzione della varianza rispetto alle RF standard. Inoltre, esiste una lacuna critica nella comprensione di come l'ottimale stima e l'inferenza si comportino sotto uno shift della distribuzione delle covariate (covariate distribution shift) quando i dati sono correlati. I metodi standard ottimizzati per la distribuzione di training possono performare arbitrariamente male quando la distribuzione di test subisce uno shift, un fenomeno meno studiato nei contesti di dati correlati rispetto a quelli di dati indipendenti.

Metodologia: Clustered Random Forests (CRF)

Gli autori propongono le Clustered Random Forests (CRF), un'estensione non parametrica dell'algoritmo Random Forest progettata specificamente per dati raggruppati. L'innovazione principale risiede nella modifica del meccanismo di predizione foglia-per-foglia dei costituenti alberi decisionali.

Framework Algoritmico

1. Alberi Decisionali Raggruppati (CDT): Invece di utilizzare i Minimi Quadrati Ordinari (OLS) per stimare la media all'interno di una foglia (come nelle RF standard), le CRF utilizzano i Minimi Quadrati Pesati (WLS).
   • La predizione in una foglia è una media ponderata delle osservazioni, dove i pesi sono derivati da una matrice di pesi per cluster $W_i(\rho)$.
   • Questi pesi sono progettati per tenere conto delle correlazioni intra-cluster. Gli autori si concentrano su classi parametriche di pesi, specificamente strutture equicorrelate (scambiabili) e AR(1), che permettono un fitting computazionalmente efficiente.
2. Stima dei Pesi:
   • A differenza dei metodi basati sulla verosimiglianza (ad esempio, REEM, MERF) che stimano i parametri di covarianza tramite massima verosimiglianza sui residui, la CRF stima il parametro di peso $\rho$ per minimizzare l'Errore Quadratico Medio di Predizione (MSPE) sotto una specifica distribuzione target delle covariate $Q$.
   • Ciò consente all'algoritmo di adattarsi allo shift delle covariate. Il peso ottimale $\rho^*$ è una funzione della distribuzione target $Q$.
   • La stima utilizza un ethos "libero dal modello di covarianza", stimando $\rho$ basandosi sulla minimizzazione di un estimatore empirico della varianza integrata sulla distribuzione target $Q$, piuttosto che assumere un modello generativo specifico per gli errori.
3. Onestà e Sottocampionamento:
   • L'algoritmo impone la proprietà di onestà (Wager e Athey, 2018): i dati utilizzati per determinare le divisioni (splits), stimare i pesi e fare le predizioni sono rigorosamente separati.
   • Utilizza una strategia di sottocampionamento "bootstrap of little bags" per costruire la foresta e stimare la varianza, consentendo la costruzione di intervalli di confidenza validi.

Efficienza Computazionale

Un significativo traguardo tecnico è lo sviluppo di algoritmi che adattano le CRF in tempo approssimativamente lineare rispetto al numero di osservazioni. Sfruttando la struttura delle matrici di peso equicorrelate e AR(1), gli autori utilizzano il gradiente coniugato per risolvere i problemi WLS, evitando la complessità $O(M^3)$ associata all'inversione di matrici dense nei metodi di foresta a effetti misti esistenti.

Contributi Teorici Chiave

1. Tassi Asintotici e Ottimalità Minimax

Gli autori derivano i limiti superiori asintotici per il generale MSPE con shift delle covariate $Q$. Dimostrano che esistono regole di splitting e regimi di sottocampionamento all'interno del framework CRF che raggiungono i tassi minimax ottimali per la stima puntuale di funzioni media Lipschitziane. Questi tassi corrispondono a quelli delle standard random forest per dati i.i.d., nonostante la maggiore complessità della correlazione.

2. Shift delle Covariate e Pesi Ottimali

Una scoperta teorica centrale è che, per dati correlati, il parametro di peso ottimale $\rho$ che minimizza l'MSPE non è invariante agli shift delle covariate.

• Il Teorema 2 stabilisce che i pesi ottimali per una distribuzione target $Q$ possono differire arbitrariamente da quelli ottimali per la distribuzione di training.
• Di conseguenza, i metodi che stimano i pesi basandosi esclusivamente sulla distribuzione di training (ad esempio, tramite cross-validazione o massimizzazione della verosimiglianza sui residui di training) possono essere arbitrariamente subottimali sotto lo shift, performando peggio anche delle standard unweighted Random Forests.
• Ciò contrasta con i contesti di dati indipendenti dove gli schemi di ri-pesatura (come l'importance weighting) sono ben compresi; nei contesti di dati correlati, la strategia di pesatura ottimale è intrinsecamente legata alla distribuzione target $Q$.

3. Inferenza e Normalità Asintotica

Il paper dimostra che le CRF che dominano la varianza sono asintoticamente Gaussiane puntualmente e uniformemente su una classe di distribuzioni. Questo risultato è valido sotto specifici tassi di sottocampionamento che garantiscono la dominanza della varianza sul bias. Questa garanzia teorica permette la costruzione di intervalli di confidenza asintoticamente validi per la funzione media condizionale, con ampiezze che convergono a ritmi più rapidi rispetto alle RF standard grazie alla riduzione della varianza ottenuta tenendo conto delle correlazioni.

Risultati Empirici

Gli autori validano i loro risultati teorici attraverso simulazioni e un'applicazione nel mondo reale:

1. Simulazione di Shift delle Covariate: In un contesto di dati equicorrelati, le CRF ottimizzate per una distribuzione di test spostata ($Q = \text{Unif}[1, 2]$) hanno superato significativamente le RF standard, le foreste ottimizzate sull'errore di training (TRAIN) e le foreste basate sulla verosimiglianza (REEM). Notevolmente, le foreste TRAIN e REEM hanno performato peggio delle RF standard sotto lo shift, confermando il rischio teorico di ignorare gli shift distribuzionali nella stima dei pesi.
2. Simulazione di Inferenza: In contesti con errori correlati AR(2), le CRF hanno ottenuto intervalli di confidenza più stretti (riduzione della larghezza) mantenendo al contempo la copertura nominale (95%) rispetto alle RF standard. Ciò ha portato a un errore quadratico medio inferiore per le stime puntuali.
3. Applicazione nel Mondo Reale (Conteggi CD4 HIV): Analizzando i conteggi delle cellule CD4 in soggetti con sieroconversione HIV, le CRF hanno fornito predizioni personalizzate con una riduzione del 20–40% della varianza stimata rispetto alle RF standard, dimostrando l'utilità pratica nelle attività di predizione medica con misurazioni ripetute.

Significato e Rivendicazioni

Il paper sostiene di fornire un'estensione pratica e teoricamente fondata delle Random Forests ai dati raggruppati che:

• Sfrutta la Correlazione: Migliora l'accuratezza della predizione e la precisione dell'inferenza modellando esplicitamente la dipendenza intra-cluster senza fare affidamento su rigidi modelli di media parametrici.
• Affronta lo Shift delle Covariate: Identifica e risolve un difetto critico dei metodi esistenti per dati correlati: il fallimento nell'adattare i pesi alla distribuzione target delle covariate. Gli autori sostengono che l'ottimale stima non parametrica sotto shift delle covariate per dati correlati richiede una distribuzione target specificata dall'utente per determinare i pesi.
• Garantisce la Scalabilità: Supera le barriere computazionali dei precedenti metodi di foresta a effetti misti, offrendo una soluzione con complessità di tempo lineare paragonabile alle standard Random Forests.
• Abilita l'Inferenza Valida: Fornisce la prima teoria asintotica per le foreste raggruppate che dominano la varianza, supportando la costruzione di intervalli di confidenza stretti e validi.

Gli autori posizionano il loro lavoro come un ponte tra la flessibilità del machine learning non parametrico e il rigoroso trattamento delle strutture di dipendenza, offrendo una nuova prospettiva sul problema dello shift delle covariate nel contesto dei dati correlati.