Riepilogo Tecnico: Selezionare o non Selezionare: Prior Predittivamente Coerenti invece della Selezione del Modello

Definizione del Problema

Nei flussi di lavoro di modellazione bayesiana, i professionisti si trovano spesso di fronte a un compromesso tra complessità del modello e generalizzabilità. Il folklore statistico suggerisce che la selezione di modelli più semplici (parsimonia) sia necessaria per evitare l'overfitting, particolarmente in regimi di dati finiti. Tuttavia, la selezione stessa del modello è una fonte di instabilità e può introdurre un bias indotto dalla selezione, potenzialmente favorendo modelli che vanno in overfitting o in underfitting a seconda dei criteri utilizzati.

Il problema centrale affrontato è determinare quando la selezione del modello è necessaria rispetto a quando è superflua o addirittura dannosa per la performance predittiva fuori dal campione. Gli autori indagano se la percezione della necessità di selezionare modelli più semplici derivi dalla struttura del modello stesso o da specifiche di prior scarse che non riescono a rimanere sensate all'aumentare della complessità del modello. Nello specifico, esaminano come la scelta dei prior influenzi la stabilità della performance predittiva con l'aggiunta di covariate o l'aumento della complessità non lineare.

Metodologia

Quadro Teorico

Il documento formalizza il concetto di prior predittivamente coerenti. Gli autori definiscono una sequenza di modelli annidati $\{M_d\}$ con complessità crescente $d$ (ad esempio, numero di predittori o funzioni di base). Introducono due proprietà chiave per i prior in questa sequenza:

1. Coerenza Predittiva del Secondo Ordine: Una sequenza di prior è predittivamente coerente se la varianza della distribuzione del segnale indotto (la componente sistematica $\eta_d$) rimane globalmente limitata e converge a un limite finito per $d \to \infty$. Formalmente, $\sup_{d} \text{Var}_{q_d}(\eta_d) \leq C$ e $\lim_{d \to \infty} \text{Var}_{q_d}(\eta_d) = L$. Ciò assicura che l'aggiunta di componenti al modello non causi l'esplosione della distribuzione predittiva a priori o la sua trasformazione in qualcosa di privo di senso.
2. Parsimonia Predittiva: Una condizione più debole che richiede che la divergenza di Kullback-Leibler (KL) tra le successive distribuzioni del segnale indotto sia sommabile. Gli autori dimostrano che la sola parsimonia predittiva è insufficiente a prevenire l'esplosione della varianza (ad esempio, i prior normali indipendenti soddisfano la parsimonia ma falliscono la coerenza).

Gli autori li mettono a confronto con gli standard prior normali indipendenti (ad esempio, $\beta_j \sim \mathcal{N}(0, \tau^2)$), i quali mostrano spesso di violare la coerenza predittiva perché la varianza totale del segnale cresce linearmente con il numero di predittori ($d\tau^2$), portando a distribuzioni predittive a priori implausibili.

Disegno Sperimentale

Gli autori valutano questi concetti attraverso quattro impostazioni sperimentali utilizzando dati simulati:

1. Aggiunta di Covariate nella Regressione Logistica: Un regime denso dove il processo generatore dei dati (DGP) include tutte le covariate. Confrontano i prior normali indipendenti con i prior R2D2 (che pongono un prior sulla $R^2$ bayesiana).
2. Selezione Stepwise Forward: Un regime sparso dove solo un sottoinsieme di covariate è rilevante. Confrontano la selezione forward utilizzando prior normali indipendenti rispetto ai prior R2D2, insieme all'inferenza predittiva di proiezione (projpred).
3. Aumento della Complessità Non Lineare: Un setting con un singolo predittore con grado polinomiale o funzioni di base crescenti (polinomi grezzi, polinomi ortogonali, spline a piastra sottile e Hilbert Space Approximate Gaussian Processes).
4. Trial Controllati Randomizzati (RCT): Un setting di inferenza causale che stima gli effetti del trattamento condizionando su covariate ad alta dimensionalità. Confrontano i joint prior (R2D2 su tutti i coefficienti) con i split prior (R2D2 per le covariate, normale indipendente per il trattamento).

La performance è misurata tramite la densità predittiva logaritmica attesa (elpd) su dati di test indipendenti, stimata tramite PSIS-LOO-CV laddove i dati di test non sono disponibili.

Contributi Chiave

1. Formalizzazione dei Prior Predittivamente Coerenti: Il documento fornisce una definizione matematica rigorosa per i prior che mantengono stabili le implicazioni predittive al crescere della complessità del modello. Distingue tra "parsimonia" (penalizzare la complessità) e "coerenza predittiva" (controllare la scala della distribuzione predittiva a priori).
2. Dimostrazione della Selezione Dannosa: Gli autori mostrano che, quando si utilizzano prior predittivamente coerenti, selezionare un modello più semplice è spesso inutile. In molti esperimenti, il modello completo con un prior coerente eguaglia o supera le performance dei modelli selezionati più semplici. Al contrario, quando la selezione del modello sembra "aiutare" (ovvero, un modello più semplice performa meglio), ciò indica spesso che il prior sul modello complesso era specificato male (ad esempio, ponendo una massa eccessiva su valori implausibili), piuttosto che la struttura del modello sia intrinsecamente difettosa.
3. R2D2 e i Prior nello Spazio delle Funzioni come Soluzioni: Il documento operazionalizza la coerenza predittiva utilizzando:
   • Prior R2D2: Ponendo un prior sulla proporzione di varianza spiegata ($R^2$), il prior indotto sui coefficienti scala automaticamente per prevenire l'esplosione della varianza all'aggiungersi dei predittori.
   • Prior nello Spazio delle Funzioni: I processi gaussiani e le spline penalizzate sono mostrati essere naturalmente predittivamente coerenti, poiché limitano la varianza marginale della funzione.
4. Implicazioni per l'Inferenza Causale: Nell'esperimento RCT, il documento rivela che un joint prior R2D2 può introdurre bias nella stima dell'effetto del trattamento all'aumentare del numero di covariate ($p$), a causa di un eccessivo shrinkage del coefficiente del trattamento. Questo evidenzia che, sebbene la coerenza predittiva sia cruciale per la predizione, l'inferenza causale può richiedere la divisione dei prior per evitare uno shrinkage indesiderato sui parametri di interesse.

Risultati

• Regressione Lineare e Logistica: Negli esperimenti di aggiunta di covariate, i modelli con prior normali indipendenti hanno mostrato un netto declino della performance predittiva fuori dal campione (elpd) all'aumentare del numero di predittori, a causa dell'esplosione della varianza a priori. Al contrario, i modelli con prior R2D2 hanno mantenuto performance stabili fino alla dimensione reale del modello.
• Selezione Forward: Quando si utilizzano prior normali indipendenti, la selezione forward spesso si interrompe precocemente per evitare l'overfitting, ma i modelli risultanti performano comunque peggio rispetto al modello completo con un prior R2D2. Il prior R2D2 ha permesso l'uso di tutte le covariate senza degradazione delle performance.
• Modellazione Non Lineare: La regressione polinomiale grezza con prior indipendenti ha mostrato una varianza predittiva a priori esplosiva e una performance di test in deterioramento all'aumentare dei gradi. Le spline a piastra sottile penalizzate e gli HSGP (che sono predittivamente coerenti) sono rimasti stabili.
• Inferenza Causale: Nell'esperimento RCT, il joint prior R2D2 ha portato a un severo bias verso il basso nella stima dell'effetto del trattamento all'aumentare delle covariate ($p$), risultando in una scarsa copertura. Lo "split" prior (R2D2 per le covariate, normale fisso per il trattamento) ha ottenuto il miglior equilibrio, fornendo riduzione della varianza dalle covariate senza introdurre bias.

Significato e Rivendicazioni

Il documento sostiene che la tradizionale dipendenza dalla selezione del modello per gestire la complessità è spesso un modo per aggirare una cattiva specificazione dei prior. Gli autori affermano che i prior predittivamente coerenti permettono ai modellatori di espandere in sicurezza i modelli includendo tutte le informazioni disponibili, senza il timore dell'overfitting, a patto che i prior siano specificati per mantenere sensibile la distribuzione predittiva a priori.

I punti chiave per i professionisti includono:

• Specificazione del Prior Congiunto: Le assunzioni di indipendenza tra le componenti del modello non sono un default sicuro; possono implicare joint prior altamente informativi e irrealistici.
• Verifiche dei Prior Predittivi: Controllare le quantità congiunte (come la $R^2$ a priori) è essenziale per rilevare quando i prior pongono troppa massa su valori privi di senso.
• Rivalutazione della Selezione: Se la selezione del modello favorisce un modello più semplice, potrebbe essere l'indicazione di un prior scadente sul modello complesso piuttosto che di una vera necessità di parsimonia.
• Il Contesto Conta: Sebbene la coerenza predittiva sia vitale per la predizione, l'inferenza causale richiede una considerazione attenta di quali parametri debbano subire lo shrinkage. Un prior congiunto che è predittivamente coerente per l'esito può comunque essere distorto per specifici parametri causali.

Gli autori concludono che l'obiettivo deve essere quello di specificare prior che rimangano sensati nello spazio predittivo man mano che i modelli diventano più complessi, piuttosto che imporre la sparsità a livello di componente attraverso la selezione. Questo approccio supporta flussi di lavoro di espansione del modello più sicuri e iterativi.