Constrained Weighted Bayesian Bootstrap

Sintesi Tecnica: Constrained Weighted Bayesian Bootstrap

Definizione del Problema
I compiti di apprendimento statistico spesso comportano la massimizzazione di una misura di adattamento soggetta a vincoli (ad esempio, sparsità, restrizioni d'ordine, vincoli di forma o limiti fisici). Mentre la letteratura classica sull'ottimizzazione fornisce algoritmi efficienti per ottenere stime puntuali sotto tali vincoli, la costruzione di una quantificazione dell'incertezza valida (ad esempio, intervalli di confidenza) rimane problematica. La teoria asintotica standard spesso fallisce o richiede procedure complesse di inferenza post-selezione quando i vincoli sono attivi.

I metodi bayesiani offrono un quadro naturale per la quantificazione dell'incertezza tramite la distribuzione a posteriori. Tuttavia, campionare da una distribuzione a posteriori con supporto limitato a un insieme vincolato generale $\tilde{\Theta} \subset \Theta$ è computazionalmente difficile. I popolari campionatori generici come l'Hamiltonian Monte Carlo (HMC) faticano con vincoli non smooth, e il campionamento per rifiuto post-hoc è spesso inefficiente se l'insieme vincolato ha una massa di probabilità ridotta sotto la distribuzione a posteriori non vincolata. Gli approcci di campionamento vincolato esistenti, come la rilassazione dei vincoli (aggiunta di termini di penalità) o i metodi basati sulla proiezione, soffrono spesso di compromessi: i metodi di rilassazione possono produrre campioni al di fuori dell'insieme dei vincoli o non catturare correttamente la covarianza asintotica, mentre i metodi di proiezione possono ignorare la geometria della distribuzione a posteriori o richiedere mappature prossimali costose.

Metodologia
Gli autori propongono il Constrained Weighted Bayesian Bootstrap (CWBB), un adattamento del weighted likelihood bootstrap (Newton e Raftery, 1994) e del weighted Bayesian bootstrap (Newton et al., 2021). L'idea centrale trasforma il problema del campionamento da una distribuzione a posteriori vincolata in una sequenza di problemi di ottimizzazione vincolata.

Dati i dati $x$ generati da $f_\theta$ e un prior $\pi(\theta)$, il CWBB genera campioni $\theta^{(t)}$ tramite:

1. Estrazione di pesi casuali $w_n \sim n \times \text{Dirichlet}(1, \dots, 1)$.
2. Risoluzione del seguente problema di ottimizzazione vincolata:
   $$\theta^{(t)} = \arg \max_{\theta \in \Theta} \sum_{i=1}^n w_{n,i} \ell(x_i | \theta) + \log \pi(\theta) \quad \text{soggetto a} \quad h(\theta) = 0$$
   dove $h(\theta) = 0$ definisce l'insieme dei vincoli $\tilde{\Theta}$.

Questo approccio sfrutta risolutori di ottimizzazione convessa rapidi e pronti all'uso (ad esempio, OSQP, coordinate descent) per gestire i vincoli. A differenza dei metodi di rilassamento che modificano la funzione obiettivo con un parametro di penalità $\rho$, il CWBB impone i vincoli direttamente tramite vincoli di uguaglianza nel passaggio di ottimizzazione.

Contributi Teorici
Il documento stabilisce due risultati teorici primari sotto condizioni di regolarità standard (inclusi identificabilità, regolarità della log-verosimiglianza e dei vincoli, e Jacobiano di pieno rango dei vincoli nel vero parametro $\theta_0$):

1. Consistenza (Teorema 1): I campioni CWBB sono condizionalmente consistenti per il vero parametro $\theta_0$. Al crescere della dimensione del campione $n \to \infty$, la probabilità che la soluzione CWBB si trovi entro un $\delta$-intorno di $\theta_0$ converge a 1 quasi certamente.
2. Distribuzione Asintotica (Teorema 2): La distribuzione asintotica dei campioni scalati CWBB, $\sqrt{n}(\check{\theta}_n - \hat{\theta}_n)$, converge a una distribuzione normale multivariata centrata sullo Stima di Massima Verosimiglianza Restretta (RMLE) $\hat{\theta}_n$. La matrice di covarianza asintotica è:
   $$\Sigma_{CWBB} = J(\theta_0)^{-1} \{ I - U(\theta_0) \}$$
   dove $J(\theta_0)$ è l'informazione di Fisher e $U(\theta_0)$ è una matrice di proiezione derivata dallo Jacobiano dei vincoli. Questa covarianza corrisponde a quella dell'efficiente RMLE, implicando che il CWBB fornisce intervalli di confidenza frequentisti validi e cattura correttamente la riduzione della varianza dovuta ai vincoli.

Gli autori mettono a confronto il metodo con i metodi di rilassamento dei vincoli (ad esempio, $\pi_\rho(\theta) \propto \exp(\sum \log f - \rho q(\theta))$). Essi dimostrano (Proposizione 1) che per un $\rho$ fissato, i metodi di rilassamento possono non raggiungere la corretta covarianza asintotica vincolata come $n \to \infty$, ignorando efficacemente i vincoli nel limite, a meno che la penalità non scali con $n$.

Risultati Empirici
Il metodo viene valutato su tre distinti problemi bayesiani vincolati:

1. Regressione con Vincoli di Ordine e Non-Negatività: In un contesto in cui i coefficienti devono essere non negativi e non decrescenti, il CWBB dimostra probabilità di copertura comparabili a un campionatore di Gibbs non vincolato (che ignora i vincoli), ma con intervalli significativamente più stretti che rispettano i vincoli. Fondamentalmente, il CWBB raggiunge questo risultato con tempi di esecuzione ordini di grandezza più veloci rispetto ai metodi concorrenti come ProxMCMC o la rilassazione dei vincoli, che faticano con il mixing o richiedono un esteso tuning.
2. Stima della Matrice di Precisione Sparsa: Applicando il CWBB al Bayesian Graphical Lasso (e varianti con penalità SCAD/MCP), gli autori mostrano che l'utilizzo dell'intera distribuzione a posteriori da CWBB per classificare le voci non nulle (tramite intervalli di credibilità) produce prestazioni di classificazione superiori (F1-score, precisione, recall) rispetto alle singole stime puntuali. Il metodo è competitivo con i campionatori bayesiani su misura (ad esempio, BDGraph, ssgraph) ma richiede meno iperparametri ed evita complessi tuning del burn-in.
3. Superfici di Prezzo delle Opzioni: Un caso di studio su opzioni call di tipo europeo richiede di soddisfare vincoli di convessità, monotonicità e spread bid-ask. I metodi di campionamento standard falliscono nel produrre campioni ammissibili o presentano un cattivo mixing a causa della complessa geometria dell'insieme dei vincoli. Il CWBB genera con successo 1.000 campioni indipendenti ammissibili in meno di 10 minuti, fornendo stime di incertezza valide per la superficie di prezzo delle opzioni che rispettano i vincoli di mercato.

Significatività e Rivendicazioni
L'articolo sostiene che il CWBB offre un ponte "semplice ma efficace" tra l'espediente computazionale dell'ottimizzazione vincolata e la quantificazione dell'incertezza dell'inferenza bayesiana. La sua significatività risiede in:

• Generalità: Si applica a una vasta classe di vincoli (uguaglianza e disuguaglianza) senza richiedere macchinari di campionamento specializzati come le mappature prossimali o l'HMC su varietà.
• Efficienza: Sfrutta strumenti di ottimizzazione convessa veloci, risultando in tempi di esecuzione significativamente più rapidi rispetto ai metodi di campionamento vincolato esistenti.
• Validità Teorica: Fornisce campioni la cui distribuzione asintotica corrisponde alla efficiente RMLE, garantendo una quantificazione dell'incertezza valida che riflette correttamente l'informazione guadagnata dai vincoli.
• Utilità Pratica: Risolve problemi difficili del mondo reale (come il pricing delle opzioni) dove altri metodi non riescono a produrre campioni ammissibili o soffrono di tempi di esecuzione intrattabili.

Gli autori osservano che, sebbene la teoria attuale si concentri sui vincoli di uguaglianza e sugli aspetti asintotici del primo ordine, la facilità di implementazione del metodo lo rende una soluzione pratica plug-in per qualsiasi compito statistico formulabile come un problema di ottimizzazione vincolata. Suggeriscono che lavori futuri potrebbero estendere la teoria a contesti più ampi e approssimazioni di ordine superiore.