Robust model selection using likelihood as data

1. Il Problema: Selezione del Modello in Regimi di Specificazione Errata

La selezione del modello è un compito centrale nella statistica, volto a bilanciare la capacità di catturare la struttura dei dati con la semplicità interpretativa. Tuttavia, i metodi standard (come i criteri di informazione AIC/BIC e le distribuzioni posteriori bayesiane) presentano limiti significativi quando il vero processo generatore dei dati (DGP) non è incluso nell'insieme dei modelli candidati (situazione di misspecification o specificazione errata).

• Limiti attuali:
  • I criteri di informazione (AIC, BIC) stimano la vicinanza relativa dei modelli al DGP ma non quantificano l'incertezza su questa stima.
  • Le posteriori bayesiane quantificano l'incertezza sulla scelta del modello, ma non misurano quanto un modello sia "lontano" dalla verità. Un modello può ricevere un'alta probabilità semplicemente perché gli alternativi sono peggiori, anche se tutti sono scarsi.
  • In presenza di misspecification, questi metodi tendono a concentrarsi asintoticamente sul modello con la minima divergenza di Kullback-Leibler (KL), ignorando modelli più semplici che sono quasi altrettanto buoni.
  • Quando più modelli hanno una divergenza KL minima simile (situazione di "parità" o ties), i metodi standard diventano instabili e non forniscono inferenze ben calibrate.

L'obiettivo del paper è sviluppare un approccio che quantifichi l'incertezza sulla qualità di approssimazione di ciascun modello rispetto al DGP, garantendo robustezza anche quando nessun modello è corretto.

2. Metodologia: "Likelihood as Data" (LaD)

Gli autori introducono un nuovo framework chiamato Likelihood as Data (LaD). L'idea fondamentale è trattare i valori di verosimiglianza (o perdita) calcolati per ogni osservazione come dati stessi, anziché come semplici statistiche di sintesi.

2.1 Il Framework LaD

Siano $X_1, \dots, X_n$ osservazioni i.i.d. da una distribuzione sconosciuta $P_0$ e siano $K$ modelli candidati con densità $f_1, \dots, f_K$.
Per ogni osservazione $i$ e modello $k$, si definisce il valore di log-verosimiglianza negativa:
$$Z_{ik} = -\log(f_k(X_i))$$
Questi valori formano una matrice di dati $Z \in \mathbb{R}^{n \times K}$. Ogni riga $Z_i = (Z_{i1}, \dots, Z_{iK})^T$ è trattata come un punto dati multivariato.

La chiave teorica è che l'attesa di $Z_{ik}$, denotata $\mu_k$, è legata alla divergenza KL tra il DGP vero e il modello $k$:
$$\mu_k = E[Z_{ik}] = D_{KL}(P_0 \| f_k) + H(P_0)$$
dove $H(P_0)$ è l'entropia del DGP vero (costante sconosciuta). Quindi, il vettore $\mu = (\mu_1, \dots, \mu_K)^T$ rappresenta le distanze KL relative tra i modelli e la verità.

2.2 Inferenza Bayesiana Multivariata

Invece di stimare $\mu$ tramite medie campionarie classiche, gli autori propongono un modello bayesiano:

1. Si assume che $Z_1, \dots, Z_n \mid \mu, \Sigma \sim \text{i.i.d. } N(\mu, \Sigma)$.
2. Si pone un prior Normal-Inverse-Wishart (NIW) su $(\mu, \Sigma)$.
3. Si ottiene la distribuzione posteriore di $\mu$, che permette di quantificare l'incertezza non solo sui singoli $\mu_k$, ma sulle differenze $\mu_j - \mu_k$ e sulla struttura congiunta.

Questo approccio è robusto perché non richiede che i modelli siano corretti; $\mu_k$ è ben definito come distanza KL anche se il modello è misspecificato.

2.3 Selezione del Modello Robusta e Criterio SLC

L'obiettivo non è solo trovare il modello con il minimo KL, ma identificare il modello più semplice che sia "abbastanza vicino" al minimo KL.

• Definizione di $\delta$-ottimalità: Un modello $k$ è $\delta$-ottimale se la sua divergenza KL è entro una tolleranza $\delta$ dal minimo.
• Criterio di Selezione SLC (Smooth LaD Criterion): Per gestire l'instabilità quando più modelli hanno complessità e KL simili (parità), gli autori introducono un punteggio di selezione "morbido" (soft-selection):
  $$w_\delta(k \mid Z_{1:n}) = P(c^*_\delta(\mu) = c(k) \mid Z_{1:n}) \cdot E[r_{nk}(\mu) \mid Z_{1:n}]$$
  Dove:
  • Il primo fattore è la probabilità che il modello $k$ appartenga alla classe di complessità minima tra i modelli $\delta$-ottimali.
  • Il secondo fattore è una funzione di selezione interna alla classe che penalizza i modelli con KL più alto, ma in modo continuo (usando un parametro di temperatura $\alpha_n$), evitando l'instabilità dei minimi "hard".

2.4 Adattamento ai Parametri e Correzione del Bias

Il metodo si estende a modelli con parametri sconosciuti $\theta_k$ stimati tramite M-estimatori (es. MLE). Poiché l'uso degli stessi dati per stimare i parametri e calcolare la verosimiglianza introduce un bias verso il basso (overfitting), viene proposta una correzione di bias basata sul teorema di Wilks:
$$Z^{bc}_{ik} = Z_{ik} + \frac{d_k}{2n}$$
dove $d_k$ è il numero di parametri del modello $k$.

2.5 Scala Interpretabile ($\tau$)

Per rendere la scelta di $\delta$ interpretabile, viene introdotta una scala relativa $\tau$ confrontando i modelli con un modello "rumore" (es. un modello nullo o uniforme):
$$\tau = \frac{\delta}{\mu_{noise} - \mu_{min}}$$
$\tau$ rappresenta la frazione di miglioramento informativo (rispetto al rumore) che si è disposti a sacrificare per ottenere semplicità.

3. Risultati Teorici ed Empirici

3.1 Risultati Teorici

• Consistenza: È dimostrato che il punteggio SLC converge in probabilità all'insieme vero dei modelli $\delta$-ottimali di minima complessità ($M^*_\delta(\mu_0)$) al crescere di $n$.
• Stabilità nelle Parità: A differenza delle posteriori plug-in o dei criteri a minimo rigido, il punteggio SLC rimane stabile quando più modelli sono equivalenti, distribuendo la massa probabilistica in modo coerente con la struttura della covarianza, evitando selezioni arbitrarie.

3.2 Applicazioni Empiriche

Gli autori testano il metodo su quattro scenari:

1. Mixture di Gaussiane (Dati Shapley): Su dati reali di velocità galattiche, i metodi tradizionali (AIC, BIC, Bayes) tendono a selezionare un numero di componenti $k$ sempre crescente all'aumentare del campione. Il metodo LaD invece stabilizza la selezione, identificando modelli più semplici che catturano la struttura essenziale senza sovrastimare la complessità.
2. Modelli Normali Multivariati Sparsi: In simulazioni, LaD supera i metodi concorrenti (inclusi AIC, BIC, c-posterior) nella selezione del modello corretto, specialmente in presenza di parità tra modelli. Il punteggio SLC è più preciso (minore perdita Brier) e gestisce meglio l'incertezza.
3. Curve di Performance Termica (Ecologia Microbica): Applicato a dati di crescita di Prorocentrum minimum, il metodo seleziona modelli con complessità variabile in base alla tolleranza $\tau$, mostrando come modelli semplici possano essere sufficienti se si accetta una piccola perdita di adattamento.
4. Modelli di Admixture (Genetica): Applicato ai dati di trota farfalla (brook trout) per stimare il numero di popolazioni. Mentre il metodo standard di Evanno suggerisce $k=2$, LaD mostra che $k=2$ non è necessariamente la scelta migliore, ma che modelli con $k=3$ o $4$ offrono guadagni sostanziali, fornendo una mappa chiara del trade-off complessità-adattamento.

4. Contributi Chiave e Significato

• Nuovo Paradigma: Trasformare i valori di verosimiglianza in "dati" permette di applicare l'inferenza statistica multivariata direttamente sulle distanze KL, bypassando la necessità di assumere che un modello sia vero.
• Quantificazione dell'Incertezza: Fornisce non solo una scelta di modello, ma una distribuzione di probabilità su quali modelli siano "buoni" e quanto siano vicini l'uno all'altro in termini di KL.
• Robustezza alla Misspecification: Il metodo è intrinsecamente robusto perché stima parametri ($\mu_k$) che hanno significato fisico (distanza KL) indipendentemente dalla correttezza del modello.
• Gestione delle Parità: Risolve il problema dell'instabilità quando più modelli hanno prestazioni simili, offrendo una selezione stabile e interpretabile.
• Interpretabilità: L'introduzione della scala $\tau$ permette ai ricercatori di scegliere la complessità del modello basandosi su un compromesso quantificabile tra semplicità e adattamento ai dati, piuttosto che su valori arbitrari.

In conclusione, il paper propone un framework metodologicamente solido e computazionalmente efficiente che supera i limiti dei criteri di selezione tradizionali in scenari realistici dove i modelli sono sempre approssimazioni della realtà.