Confidence intervals for functionals in constrained inverse problems via data-adaptive sampling-based calibration

Technische Zusammenfassung: Konfidenzintervalle für Funktionale in beschränkten inversen Problemen mittels datenadaptiver, samplingbasierter Kalibrierung

Problemstellung
Die vorliegende Arbeit befasst sich mit der Herausforderung der frequentistischen Unsicherheitsquantifizierung (UQ) für schlecht gestellte inverse Probleme, bei denen das Vorwärtsmodell rangdefizient ist, die Dimension der Parameter die Dimension der Beobachtungen übersteigt und die unbekannten Parameter physikalischen Beschränkungen unterliegen (z. B. Nicht-Negativität). Das spezifische Ziel besteht darin, ein Konfidenzintervall $C_\alpha(y)$ für eine eindimensionale Größe von Interesse (Quantity of Interest, QoI), $\phi(x^*)$, zu konstruieren, das eine uniforme Finite-Sample-Abdeckungsgarantie erfüllt:
$$P_{x^*}(\phi(x^*) \in C_\alpha(y)) \geq 1 - \alpha$$
für alle zulässigen $x^* \in X$.

Bestehende Methoden, insbesondere "One-at-a-Time Strict Bounds" (OSB), stützen sich auf Optimierungs-basierte Endpunktberechnungen. Obwohl OSB rechentechnisch machbar ist, sind seine Abdeckungsgarantien theoretisch nicht bewiesen und scheitern in der Praxis häufig aufgrund der Schwierigkeit, den Schwellenwert der Teststatistik ($\psi^2_\alpha$) unter Berücksichtigung der Beschränkungen zu kalibrieren. Der Standardansatz, ein simultanes Konfidenzset für den gesamten Parameterraum zu verwenden, ist übermäßig konservativ und führt zu exzessiv breiten Intervallen. Umgekehrt führt die Anpassung des Intervalls an eine spezifische QoI (der OSB-Ansatz) zu einem "Burrus-Konjektur"-Problem, da die Nullhypothesenmenge zusammengesetzt und potenziell unbeschränkt ist, wodurch die Abdeckungsgarantie im Allgemeinen ungültig wird.

Methodik
Die Autoren schlagen ein Framework vor, das Testinversion, datenadaptive Beschränkungs-Schrumpfung (Constraint Shrinking) und samplingbasierte Kalibrierung kombiniert. Die Kernmethodik verläuft in drei Stufen:

1. Datenadaptive Beschränkungs-Schrumpfung (Berger–Boos Set):
   Um die Unbeschränktheit und Komplexität der zusammengesetzten Nullhypothese zu handhaben, führen die Autoren eine datenadaptive Teilmenge der Beschränkungsmenge ein, $B_\eta(y)$, die vom Berger–Boos-Konstrukt für Störparameter (Nuisance Parameters) inspiriert ist.

• Sie definieren eine Konfidenzmenge für die Beobachtungen, $\Gamma_\eta(y) = \{y' : \|y - y'\|^2 \leq \chi^2_{n,\eta}\}$.
• Die Berger–Boos-Menge ist das Präbild dieser Region, geschnitten mit den Beschränkungen: $B_\eta(y) = \{x \in X : \|y - f(x)\|^2 \leq \chi^2_{n,\eta}\}$.
• Diese Menge enthält den wahren Parameter $x^*$ mit einer Wahrscheinlichkeit von mindestens $1-\eta$. Das verbleibende Fehlabdeckungsbudget ($\alpha - \eta$) wird zur Kalibrierung des Likelihood-Ratio-Tests (LLR) auf einem Niveau $\gamma \leq \alpha - \eta$ verwendet.

2. Quantilsabschätzung mittels Sampling:
   Anstatt zu versuchen, das maximale Quantil der LLR-Statistik über den gesamten (potenziell unbeschrankten) Raum zu berechnen, schätzt die Methode die Quantilsfunktion über die beschränkte Menge $B_\eta(y)$ ab.

• Sampling: Die Autoren verwenden spezifische Sampler, um Designpunkte gleichmäßig aus $B_\eta(y)$ zu ziehen. Für niederdimensionale Vollrang-Fälle nutzen sie den Voelker–Gosmann–Stewart (VGS) Sampler. Für hochdimensionale oder rangdefiziente Fälle verwenden sie einen benutzerdefinierten Polytop-Sampler basierend auf dem Vaidya-Walk.
• Kalibrierung: Es werden zwei Algorithmen zur Schätzung der Quantilsoberfläche vorgeschlagen:
  • Algorithmus 3.1 (Direkte Schätzung): Sample die LLR-Statistik $N$-mal an jedem Designpunkt, um das empirische Quantil zu schätzen.
  • Algorithmus 3.2 (Quantilsregression): Sample die LLR-Statistik einmal pro Designpunkt und verwende Quantilsregression (speziell Gradient Boosting mit Pinball-Loss), um die bedingte Quantilsoberfläche $q_\gamma(x)$ zu lernen. Dieser Ansatz tauscht wiederholte Optimierung gegen eine Glattheitsannahme ein.

3. Intervallkonstruktion:
   Unter Verwendung der geschätzten Quantile definieren die Autoren vier verschiedene Intervallkonstruktionen basierend auf zwei Taxonomien:

• Global vs. Sliced: Globale Methoden maximieren das Quantil über das gesamte $B_\eta(y)$, während "Sliced"-Methoden das Maximum über die Level-Sets des QoI ($\Phi_\mu \cap B_\eta$) suchen.
• Invertiert vs. Optimiert: Invertierte Methoden akzeptieren Funktionswerte $\mu$, bei denen der beobachtete LLR unter dem geschätzten Quantil liegt. Optimierte Methoden definieren Endpunkte durch die Optimierung von $\phi(x)$ über einer Region, die durch den geschätzten Quantils-Schwellenwert definiert ist.

Wesentliche Beiträge

• Theoretisches Framework: Die Arbeit erweitert das Testinversions-Framework von [2] auf beschränkte, schlecht gestellte Probleme durch die Integration des Berger–Boos-Sets. Dies ermöglicht die Kontrolle des Typ-I-Fehlers über eine datenadaptive beschränkte Region statt über den gesamten unbeschrankten Parameterraum.
• Neuartige Integration: Obwohl Berger–Boos-Sets und Quantilsregression in der Literatur existieren, ist dies die erste Arbeit, die sie spezifisch für die Erzeugung beschränkungsbewusster Konfidenzintervalle für Funktionale in hochdimensionalen, potenziell unbeschrankten inversen Problemen integriert.
• Algorithmische Implementierung: Die Autoren stellen praktische Algorithmen für das Sampling aus der komplexen Geometrie des Berger–Boos-Sets (welches das Schnittprodukt eines Polytops und eines Ellipsoids ist) sowie für die Schätzung der notwendigen Quantilsoberflächen mittels Techniken des maschinellen Lernens bereit.
• Theoretische Rechtfertigung: Die Autoren beweisen, dass die vorgeschlagenen Intervallkonstruktionen mit zunehmender Anzahl der Samples gegen die wahren Konfidenzmenge konvergieren, vorausgesetzt, die Quantilsfunktion ist stetig und das Sampling deckt die Menge effektiv ab.

Ergebnisse
Numerische Experimente wurden an synthetischen Gaußschen Modellen und einem realistischen Problem der Hochenergiephysik-Unfolding durchgeführt (80-dimensionaler Parameterraum, rangdefizientes Vorwärtsmodell).

• Abdeckung (Coverage): In Szenarien, in denen die State-of-the-Art OSB-Intervalle die nominelle Abdeckung nicht erreichen (insbesondere in 3D-beschränkten Gaußschen und adversen hochdimensionalen Settings), erreichen die vorgeschlagenen Methoden konsistent die Zielabdeckung.
• Intervalllänge:
  • In Fällen, in denen OSB die nominelle Abdeckung erreicht, sind die vorgeschlagenen "Sliced"-Intervalle konkurrenzfähig und bieten oft kürzere erwartete Längen (z. B. ~11–18 % Reduktion im glatten hochdimensionalen Dekonvolutions-Experiment).
  • In Fällen, in denen OSB versagt, erreichen die vorgeschlagenen Methoden die Abdeckung bei gleichzeitig kürzeren erwarteten Längen als OSB.
  • Die "Globalen" Konstruktionen tendieren dazu, konservativer (breiter) zu sein als die "Sliced"-Varianten, was den Trade-off zwischen Robustheit und Tightness widerspiegelt.
• Sensitivität: Experimente zur Variation des Parameters $\eta$ (die Größe des Berger–Boos-Sets) legen nahe, dass ein kleines positives $\eta$ (z. B. 0,01) einen vorteilhaften Kompromiss bietet, indem es den Optimierungsbereich ausreichend einschränkt, um die Länge zu verbessern, ohne den Quantils-Schwellenwert übermäßig aufzublähen.

Bedeutung und Ansprüche
Die Arbeit behauptet, dass ihr Ansatz ein flexibles, theoretisch fundiertes Framework für die UQ in beschränkten inversen Problemen bietet, das die inhärenten Regularisierungs-Biases deterministischer oder Bayesianischer Regularisierungsmethoden vermeidet. Durch die Verlagerung der Komplexität von der Beweisbarkeit der Abdeckung für unbeschrankte Mengen hin zum Sampling innerhalb einer datenadaptiven beschränkten Menge erzeugt die Methode Intervalle, die sowohl rechentechnisch machbar als auch weniger konservativ als simultane Bounds sind.

Die Autoren merken bescheiden an, dass die Wahl des Parameters $\eta$ derzeit heuristisch ist (basierend auf kleinen vordefinierten Werten) und dass die Entwicklung einer automatisierten, optimalen Auswahlregel für $\eta$, die die Finite-Sample-Garantien bewahrt, eine Richtung für zukünftige Arbeiten darstellt. Ebenso erfordert die Erweiterung der Methode auf noch höhere Dimensionen, obwohl sie hochdimensionale Probleme in den Experimenten effektiv handhabt, eine weitere Entwicklung der Sampling-Techniken, um dem Fluch der Dimensionalität zu begegnen. Die Arbeit beansprucht nicht, alle inversen Probleme zu lösen, sondern bietet einen spezifischen, rigorosen Pfad für die funktionale Unsicherheitsquantifizierung, bei der Beschränkungen und Rangdefizienz vorhanden sind.