Confidence intervals for functionals in constrained inverse problems via data-adaptive sampling-based calibration

Sintesi Tecnica: Intervalli di Confidenza per Funzionali in Problemi Inversi Vincolati tramite Calibrazione Basata su Campionamento Adattivo ai Dati

Enunciato del Problema
Il saggio affronta la sfida della quantificazione dell'incertezza (UQ) frequentista per problemi inversi mal posti in cui il modello diretto è privo di rango, la dimensione dei parametri supera quella delle osservazioni e i parametri ignoti sono soggetti a vincoli fisici (ad esempio, la non-negatività). L'obiettivo specifico è la costruzione di un intervallo di confidenza $C_\alpha(y)$ per una quantità di interesse (QoI) unidimensionale, $\phi(x^*)$, che soddisfi una garanzia di copertura uniforme a campione finito:
$$P_{x^*}(\phi(x^*) \in C_\alpha(y)) \geq 1 - \alpha$$
per tutti i valori ammissibili $x^* \in X$.

I metodi esistenti, in particolare i "Limiti Rigidi Uno-alla-Volta" (OSB), si basano su calcoli degli endpoint tramite ottimizzazione. Sebbene l'OSB sia computazionalmente fattibile, le sue garanzie di copertura sono teoricamente non provate e spesso falliscono nella pratica a causa della difficoltà di calibrare la soglia della statistica del test ($\psi^2_\alpha$) in presenza di vincoli. L'approccio standard di utilizzare un insieme di confidenza simultaneo per l'intero spazio dei parametri è eccessivamente conservativo, portando a intervalli troppo ampi. Al contrario, adattare l'intervallo a una specifica QoI (l'approccio OSB) introduce un problema di tipo "Congettura di Burrus", in cui la garanzia di copertura è generalmente invalida perché lo spazio dell'ipotesi nulla è composito e potenzialmente illimitato.

Metodologia
Gli autori propongono un framework che combina l'inversione del test, la contrazione dei vincoli adattiva ai dati e il campionamento per la calibrazione. La metodologia centrale procede in tre fasi:

1. Contrazione dei Vincoli Adattiva ai Dati (Insieme di Berger–Boos):
   Per gestire l'illimitatezza e la complessità dell'ipotesi nulla composita, gli autori introducono un sottoinsieme adattivo ai dati dell'insieme dei vincoli, $B_\eta(y)$, ispirato alla costruzione di Berger–Boos per i parametri di disturbo.

   • Definiscono un insieme di confidenza per le osservazioni, $\Gamma_\eta(y) = \{y' : \|y - y'\|^2 \leq \chi^2_{n,\eta}\}$.
   • L'insieme di Berger–Boos è la pre-immagine di questa regione intersecata con i vincoli: $B_\eta(y) = \{x \in X : \|y - f(x)\|^2 \leq \chi^2_{n,\eta}\}$.
   • Questo insieme contiene il vero parametro $x^*$ con probabilità almeno $1-\eta$. Il budget di mis-copertura rimanente ($\alpha - \eta$) è allocato per calibrare il test del rapporto di verosimiglianza (LLR) a un livello $\gamma \leq \alpha - \eta$.

2. Stima dei Quantili tramite Campionamento:
   Invece di tentare di calcolare il quantile massimo della statistica LLR su l'intero spazio (potenzialmente illimitato), il metodo stima la funzione quantile sul set limitato $B_\eta(y)$.

   • Campionamento: Gli autori impiegano campionatori specifici per estrarre punti di design uniformemente da $B_\eta(y)$. Per casi a basso numero di dimensioni e pieno rango, utilizzano il campionatore Voelker–Gosmann–Stewart (VGS). Per casi ad alta dimensionalità o privi di rango, utilizzano un campionatore di Politopi basato sulla passeggiata di Vaidya.
   • Calibrazione: Vengono proposti due algoritmi per stimare la superficie dei quantili:
     • Algoritmo 3.1 (Stima Diretta): Campiona la statistica LLR $N$ volte in ogni punto di design per stimare il quantile empirico.
     • Algoritmo 3.2 (Regressione Quantilica): Campiona la statistica LLR una volta per ogni punto di design e utilizza la regressione quantilica (specificamente il Gradient Boosting con perdita pinball) per apprendere la superficie del quantile condizionale $q_\gamma(x)$. Questo approccio scambia la ripetizione dell'ottimizzazione con un'assunzione di regolarità (smoothness).

3. Costruzione dell'Intervallo:
   Utilizzando i quantili stimati, gli autori definiscono quattro diverse costruzioni di intervalli basate su due tassonomie:

   • Globale vs Sliced (a Fette): I metodi globali massimizzano il quantile su tutto $B_\eta(y)$, mentre i metodi Sliced massimizzano su insiemi di livello di $\phi$ ($\Phi_\mu \cap B_\eta$).
   • Invertito vs Ottimizzato: I metodi invertiti accettano valori funzionali $\mu$ dove l'LLR osservato è inferiore al quantile stimato. I metodi ottimizzati definiscono gli endpoint ottimizzando $\phi(x)$ su una regione definita dalla soglia del quantile stimata.

Contributi Chiave

• Framework Teorico: Il saggio estende il framework di inversione del test di [2] a problemi inversi vincolati, integrando l'insieme di Berger–Boos. Ciò consente di controllare l'errore di Tipo I su una regione limitata e adattiva ai dati, anziché sull'intero spazio dei parametri illimitato.
• Integrazione Novativa: Sebbene gli insiemi di Berger–Boos e la regressione quantilica esistano in letteratura, questo lavoro è il primo a integrarli specificamente per produrre intervalli di confidenza consapevoli dei vincoli per i funzionali in problemi inversi ad alta dimensionalità e potenzialmente illimitati.
• Implementazione Algoritmica: Gli autori forniscono algoritmi pratici per il campionamento dalla complessa geometria dell'insieme di Berger–Boos (che è l'intersezione di un politopo e un ellissoide) e per la stima delle superfici dei quantili utilizzando tecniche di machine learning.
• Giustificazione Teorica: Il saggio dimostra che le costruzioni proposte degli intervalli convergono in probabilità ai veri insiemi di confidenza all'aumentare dei campioni, a condizione che la funzione quantile sia continua e il campionamento copra efficacemente l'insieme.

Risultati
Esperimenti numerici sono stati condotti su modelli gaussiani sintetici e su un problema realistico di deconvolution (unfolding) della fisica delle alte energie (spazio dei parametri a 80 dimensioni, modello diretto privo di rango).

• Copertura: In scenari in cui gli intervalli OSB allo stato dell'arte non riescono a raggiungere la copertura nominale (specificamente in modelli gaussiani vincolati 3D e in contesti avversari ad alta dimensionalità), i metodi proposti raggiungono costantemente la copertura target.
• Lunghezza dell'Intervallo:
  • Nei casi in cui l'OSB raggiunge la copertura nominale, gli intervalli "Sliced" proposti sono competitivi, fornendo spesso lunghezze attese minori (ad esempio, una riduzione del ~11–18% nell'esperimento di deconvolution fluido ad alta dimensionalità).
  • Nei casi in cui l'OSB fallisce, i metodi proposti ottengono la copertura mantenendo al contempo lunghezze attese più brevi rispetto all'OSB.
  • Le costruzioni "Global" tendono a essere più conservative (più ampie) rispetto alle "Sliced", riflettendo il compromesso tra robustezza e compattezza.
• Sensibilità: Gli esperimenti variando $\eta$ (la dimensione dell'insieme di Berger–Boos) suggeriscono che un piccolo valore positivo di $\eta$ (ad esempio, 0.01) offre un compromesso vantaggioso, restringendo il dominio di ottimizzazione quanto basta per migliorare la lunghezza senza gonfiare eccessivamente la soglia del quantile.

Significato e Rivendicazioni
Il saggio sostiene che il suo approccio offre un framework flessibile e teoricamente fondato per l'UQ in problemi inversi vincolati, evitando le trappole del bias di regolarizzazione inerenti ai metodi bayesiani o di regolarizzazione deterministica. Spostando la complessità dalla prova della copertura per insiemi illimitati alla campionatura all'interno di un insieme limitato e adattivo ai dati, il metodo produce intervalli che sono sia computazionalmente fattibili che meno conservativi rispetto ai limiti simultanei.

Gli autori notano con modestia che la scelta del parametro $\eta$ è attualmente euristica (basata su piccoli valori pre-specificati) e che lo sviluppo di una regola di selezione automatica e ottimale per $\eta$ che preservi le garanzie a campione finito è una direzione per il lavoro futuro. Allo stesso modo, sebbene il metodo gestisca efficacemente i problemi ad alta dimensionalità negli esperimenti, l'estensione a dimensioni ancora più elevate richiederà lo sviluppo di tecniche di campionamento per affrontare la maledizione della dimensionalità. Il lavoro non pretende di risolvere tutti i problemi inversi, ma fornisce un percorso specifico e rigoroso per la quantificazione dell'incertezza funzionale dove sono presenti vincoli e mancanza di rango.