Confidence intervals for functionals in constrained inverse problems via data-adaptive sampling-based calibration

Technische Samenvatting: Betrouwbaarheidsintervallen voor Functionalen in Beperkte Inverse Problemen via Data-Adaptieve Steekproefgebaseerde Kalibratie

Probleemstelling
Het artikel behandelt de uitdaging van frequentistische onzekerheidskwantificering (UQ) voor slecht gestelde inverse problemen waarbij het voorwaartse model rang-deficiënt is, de parameterdimensie de observatiedimensie overstijgt, en de onbekende parameters onderworpen zijn aan fysieke beperkingen (bijv. niet-negativiteit). Het specifieke doel is het construeren van een betrouwbaarheidsinterval $C_\alpha(y)$ voor een eendimensionale grootheid van belang (Quantity of Interest, QoI), $\phi(x^*)$, die een uniforme eindelijke-steekproef dekingsgarantie voldoet:
$$P_{x^*}(\phi(x^*) \in C_\alpha(y)) \geq 1 - \alpha$$
voor alle haalbare $x^* \in X$.

Bestaande methoden, met name "One-at-a-Time Strict Bounds" (OSB), vertrouwen op optimalisatiegebaseerde eindpuntberekeningen. Hoewel OSB computationeel haalbaar is, zijn de dekingsgaranties theoretisch niet bewezen en falen ze in de praktijk vaak door de moeilijkheid van het kalibreren van de drempelwaarde van de teststatistiek ($\psi^2_\alpha$) in aanwezigheid van beperkingen. De standaardbenadering van het gebruiken van een simultaan betrouwbaarheidsverzameling voor de gehele parameterruimte is te conservatief, wat leidt tot excessief brede intervallen. Omgekeerd introduceert het afstemmen van het interval op een specifieke QoI (de OSB-benadering) een "Burrus Conjecture"-probleem, waarbij de dekingsgarantie over het algemeen ongeldig is omdat de nulhypotheseruimte samengesteld en potentieel onbegrensd is.

Methodologie
De auteurs stellen een raamwerk voor dat testinversie, data-adaptieve beperkingsverkleining en steekproefgebaseerde kalibratie combineert. De kernmethodologie verloopt in drie stadia:

1. Data-Adaptieve Beperkingsverkleining (Berger–Boos Set):
   Om de onbegrensdheid en complexiteit van de samengestelde nulhypothese aan te pakken, introduceren de auteurs een data-adaptieve deelverzameling van de beperkingsset, $B_\eta(y)$, geïnspireerd door de Berger–Boos-constructie voor nuisance-parameters.

   • Ze definiëren een betrouwbaarheidsverzameling voor de observaties, $\Gamma_\eta(y) = \{y' : \|y - y'\|^2 \leq \chi^2_{n,\eta}\}$.
   • De Berger–Boos-set is de pre-image van deze regio, doorsneden met de beperkingen: $B_\eta(y) = \{x \in X : \|y - f(x)\|^2 \leq \chi^2_{n,\eta}\}$.
   • Deze set bevat de ware parameter $x^*$ met een waarschijnlijkheid van ten minste $1-\eta$. Het resterende miscoveringsbudget ($\alpha - \eta$) wordt toegewezen aan het kalibreren van de likelihood ratio test (LLR) op een niveau $\gamma \leq \alpha - \eta$.

2. Kwantielschatting via Steekproeven:
   In plaats van te proberen de maximale kwantielfunctie van de LLR-statistiek over de gehele (potentieel onbegrensde) ruimte te berekenen, schatten zij de kwantielfunctie over de begrensde set $B_\eta(y)$.

   • Steekproeftrekking: De auteurs gebruiken specifieke samplers om designpunten uniform uit $B_\eta(y)$ te trekken. Voor laagdimensionale full-rank gevallen gebruiken ze de Voelker–Gosmann–Stewart (VGS) sampler. Voor hoogdimensionale of rang-deficiënte gevallen gebruiken ze een aangepaste Polytope-sampler gebaseerd op de Vaidya walk.
   • Kalibratie: Er worden twee algoritmen voorgesteld om de kwantieloppervlakte te schatten:
     • Algoritme 3.1 (Directe Schatting): Trekt $N$ keer een steekproef van de LLR-statistiek op elk designpunt om de empirische kwantiel te schatten.
     • Algoritme 3.2 (Kwantielregressie): Trekt één keer een steekproef van de LLR-statistiek per designpunt en gebruikt kwantielregressie (specifiek Gradient Boosting met pinball loss) om de conditionele kwantieloppervlakte $q_\gamma(x)$ te leren. Deze benadering ruilt herhaalde optimalisatie in voor een aanname van gladheid.

3. Intervalconstructie:
   Gebruikmakend van de geschatte kwantielen, definiëren de auteurs vier verschillende intervalconstructies op basis van twee taxonomieën:

   • Globaal vs. Gesneden (Sliced): Globale methoden maximaliseren het kwantiel over de gehele $B_\eta(y)$, terwijl "Sliced"-methoden het kwantiel maximaliseren over niveausets van de QoI ($\Phi_\mu \cap B_\eta$).
   • Geïnverteerd vs. Geoptimaliseerd: Geïnverteerde methoden accepteren functionele waarden $\mu$ waar de geobserveerde LLR onder het geschatte kwantiel ligt. Geoptimaliseerde methoden definiëren eindpunten door $\phi(x)$ te optimaliseren over een regio gedefinieerd door de geschatte kwantieldrempel.

Belangrijkste Bijdragen

• Theoretisch Raamwerk: Het artikel breidt het testinversie-raamwerk van [2] uit naar beperkte, slecht gestelde problemen door de integratie van de Berger–Boos-set. Dit maakt controle over de Type I-fout mogelijk over een begrensde, data-adaptieve regio in plaats van de gehele onbegrensde parameterruimte.
• Nieuwe Integratie: Hoewel Berger–Boos-sets en kwantielregressie in de literatuur voorkomen, is dit werk de eerste die ze specifelijk integreert voor het produceren van beperkingsbewuste betrouwbaarheidsintervallen voor functionalen in hoogdimensionale, potentieel onbegrensde inverse problemen.
• Algoritmische Implementatie: De auteurs bieden praktische algoritmen voor het trekken van steekproeven uit de complexe geometrie van de Berger–Boos-set (die een doorsnijding is van een polytoop en een ellipsoïde) en voor het schatten van de noodzakelijke kwantieloppervlaktes met behulp van machine learning technieken.
• Theoretische Rechtvaardiging: Zij bewijzen dat de voorgestelde intervalconstructies in waarschijnlijkheid convergeren naar de ware betrouwbaarheidsverzamelingen naarmate het aantal steekproeven toeneemt, mits de kwantielfunctie continu is en de steekproef de set effectief dekt.

Resultaten
Numerieke experimenten werden uitgevoerd op synthetische Gaussische modellen en een realistisch hoogenergetisch deeltjesfysica-unfolding probleem (80-dimensionale parameterruimte, rang-deficiënt voorwaarts model).

• Dekking: In scenario's waar de state-of-the-art OSB-intervallen falen om de nominale dekking te bereiken (met name in 3D beperkte Gaussische en adversariële hoogdimensionale settings), bereiken de voorgestelde methoden consistent de beoogde dekking.
• Intervallengte:
  • In gevallen waar OSB de nominale dekking bereikt, zijn de voorgestelde "Sliced" intervallen competitief en bieden ze vaak kortere verwachte lengtes (bijv. een reductie van ~11–18% in het gladde hoogdimensionale deconvolution experiment).
  • In gevallen waar OSB faalt, bereiken de voorgestelde methoden de dekking terwijl ze kortere verwachte lengtes behouden dan OSB.
  • De "Global" constructies neigen conservatiever (breder) te zijn dan de "Sliced" constructies, wat de afweging tussen robuustheid en nauwkeurigheid weerspiegelt.
• Gevoeligheid: Experimenten waarbij de parameter $\eta$ (de grootte van de Berger–Boos-set) varieert, suggereren dat een kleine positieve $\eta$ (bijv. 0,01) een gunstige afweging biedt, waarbij het optimalisatiedomein voldoende wordt verkleind om de lengte te verbeteren zonder de kwantieldrempel excessief op te blazen.

Betekenis en Claims
Het artikel claimt dat de voorgestelde aanpak een flexibel, theoretisch gefundeerd raamwerk biedt voor UQ in beperkte inverse problemen dat de valkuilen van regularisatiebias inherent aan Bayesiaanse of deterministische regularisatiemethoden vermijdt. Door de complexiteit te verschuiven van het bewijzen van dekking voor onbegrensde sets naar het trekken van steekproeven binnen een data-adaptieve begrensde set, produceert de methode intervallen die zowel computationeel haalbaar als minder conservatief zijn dan simultane grenzen.

De auteurs merken bescheiden op dat de keuze van de parameter $\eta$ momenteel heuristisch is (gebaseerd op kleine vooraf gespecificeerde waarden) en dat het ontwikkelen van een geautomatiseerde, optimale selectieregel voor $\eta$ die eindige-steekproefgaranties behoudt, een richting is voor toekomstig werk. Evenzo, hoewel de methode hoogdimensionale problemen effectief afhandelt in de experimenten, vereist het uitbreiden naar nog hogere dimensies verdere ontwikkeling van steekproeftechnieken om de vloek van dimensionaliteit aan te pakken. Het werk claimt niet alle inverse problemen op te lossen, maar biedt een specifiek, rigoureus pad voor functionele onzekerheidskwantificering waar beperkingen en rang-deficiëntie aanwezig zijn.