Self-Certifying Transport MCMC via Dual Spectral-Gap Certificates

Technische Samenvatting: Zelf-certificerende Transport MCMC via Duale Spectrale-Gap Certificaten

1. Probleemstelling

Markov Chain Monte Carlo (MCMC) blijft de standaard voor Bayesiaanse berekeningen, maar het verifiëren van convergentie blijft een open uitdaging. Praktici vertrouwen op heuristische diagnostiek (bijv. $\hat{R}$, trace plots, schattingen van de effectieve steekproefomvang) die pathologieën kunnen detecteren, maar die convergentie niet rigoureus kunnen certificeren. Hoewel spectrale-gap-grenzen theoretisch dergelijke certificaten bieden, zijn ze zelden praktisch gebleken omdat ze een nauwkeurige controle vereisen van grootheden (zoals de oscillatie van de belangheidsgewichten) die afhangen van de onbekende doelverdeling.

Dit probleem wordt verergerd door de opkomst van geleerde, adaptieve voorstellen, specifiek die met normaliserende flows voor Independence Metropolis–Hastings (IMH). Hoewel deze flows de empirische menging verbeteren, wordt de transitie-kernel zelf een geleerd, hoogdimensionaal object, wat auditering bemoeilijkt. De centrale vraag die wordt geadresseerd is: Kan een geleerd voorstel zijn eigen convergentie certificeren?

2. Methodologie: Het CerT-MCMC Framework

De auteurs stellen CerT-MCMC voor, een framework dat geleerde-transport MCMC uitrust met automatische, rigoureuze convergentiecertificaten afgeleid van dezelfde normaliserende flow die als IMH-voorstel wordt gebruikt.

Kernmechanisme:
Een normaliserende flow $T_\phi$ brengt een Gaussische referentie $q_0$ in kaart naar een benadering van de doel-posterior $\pi$. In de latente $z$-ruimte hangt de IMH-acceptatiekans af van de belangheidsgewicht-ratio $w(z) = \pi_z(z)/q_0(z) = e^{r(z)}$, waarbij $r(z)$ de log-gewicht-residue is. Als $T_\phi$ perfect is, is $r(z)$ constant; als het niet zo is, meet de oscillatie van $r(z)$ de kwaliteit van het transport. Het Mengersen–Tweedie theorema stelt dat de spectrale gap $\gamma$ van de IMH-kernel ondergrenzen heeft van $2/(1 + e^C)$, waarbij $C = \text{osc}(r)$ de oscillatie van de log-gewicht over de ondersteuning van het voorstel is.

Het framework ontwikkelt twee complementaire certificaten om deze oscillatie te begrenzen:

Certificaat I: Het Dekkingscertificaat (Covering Certificate)

• Aanpak: Begrenst de oscillatie over de volledige ondersteuning van het voorstel met behulp van een eindige-steekproef dekking-argument. Het voegt een Lipschitz-correctieterm toe aan het geobserveerde bereik van de steekproef om de hiaten tussen steekproefpunten te compensen.
• Schaalbaarheid: De correctieradius schaalt als $O(n^{-1/D})$, waarbij $n$ het aantal certificeringssteekproeven is en $D$ de dimensie.
• Beperking: Vanwege de vloek van dimensionaliteit wordt dit certificaat triviaal (biedt geen nuttig criterium meer) voor matige dimensies ($D \gtrsim 6$) bij praktische steekproefgroottes. De auteurs bewijzen een ondergrens die aantoont dat geen enkel puntgewijs evaluatie-algoritme de oscillatie over de volledige ondersteuning sneller kan certificeren dan $\Omega(n^{-1/D})$.

Certificaat II: Het Kwantiel-Kern Certificaat (Quantile-Core Certificate)

• Aanpak: Erkent dat voor goed getrainde flows de residu $r(z)$ sterk geconcentreerd is, waarbij de volledige oscillatie wordt gedreven door zeldzame uitschieters in de staarten. Dit certificaat beperkt de aandacht tot een "data-gedefinieerde residu-kern" $\tilde{G}_\rho$, die de centrale $(1-2\rho)$ massa van het voorstel bevat, gedefinieerd door de empirische kwantielen van $r(z)$.
• Schaalbaarheid: De foutmarge voor de kwantielschatting is $O(n^{-1/2})$, afgeleid van de Dvoretzky–Kiefer–Wolfowitz ongelijkheid, wat onafhankelijk is van de omgevingdimensie $D$.
• Resultaat: Het biedt een berekenbare, betrouwbare spectrale-gap ondergrens voor de IMH-kernel beperkt tot deze kern. De normaliserende constanten van de beperkte gewichten vallen exact weg, waardoor het Mengersen–Tweedie theorema direct kan worden toegepast.

Duaal-Certificaat Framework:
De twee certificaten zijn complementair. Certificaat I biedt een worst-case garantie over de volledige ondersteuning waar dat hanteerbaar is ($D \lesssim 5$). Certificaat II biedt een garantie over een kern met hoge massa in alle dimensies, waarbij eerlijk verslag wordt doet van het ongecertificeerde staartfractie. Samen vormen zij een diagnostische taxonomie die onderscheid maakt tussen:

1. Succes van het volledige certificaat: Beide zijn niet-triviaal.
2. Succes van het kern-certificaat: Certificaat II is niet-triviaal, Certificaat I is triviaal (de flow is goed; het bewijs-probleem ligt bij de dekking).
3. Transport degradatie: Certificaat II is niet-triviaal maar zwak (werkelijke achteruitgang van de flow-kwaliteit).
4. Transport falen: Certificaat II is triviaal (slechte flow).

3. Belangrijkste Bijdragen

1. CerT-MCMC Framework: Een systeem dat automatische, dimensie-bewuste convergentiecertificaten biedt voor geleerde-transport MCMC met behulp van de voorstel-flow zelf.
2. Covering Certificate (I): Formaliseert de dekkingsbarrière en bewijst een worst-case $\Omega(n^{-1/D})$ ondergrens voor puntgewijze certificering over de volledige ondersteuning, wat de noodzaak voor een andere aanpak in hogere dimensies motiveert.
3. Quantile-Core Certificate (II): Ontwikkelt een dimensie-onafhankelijk certificaat ($O(n^{-1/2})$ slack) dat de oscillatie op een kern met hoge waarschijnlijkheid begrenst met behulp van empirische kwantielen.
4. Empirische Validatie: Demonstreert dat de spectrale-gap proxy van Certificaat II de werkelijke meng-efficiëntie (Effectieve Steekproefomvang) volgt binnen een marge van 7% bij Bayesiaanse logistische regressie ($D=20$).
5. Onderscheidend Vermogen: Toont via negatieve controle-experimenten aan dat Certificaat II de kwaliteit van de flow onderscheidt met een factor die groter is dan $10\times$, terwijl de standaard acceptatiekansen slechts een verschil van $1.15\times$ vertonen.

4. Experimentele Resultaten

Het framework werd geëvalueerd op:

• Synthetische Doelverdelingen: Banana-targets ($D=2$ tot $20$). Certificaat I werd triviaal bij $D \ge 6$, terwijl Certificaat II niet-triviaal en stabiel bleef tot $D=10$, en een niet-triviale grens bood bij $D=20$, zelfs toen de capaciteit van de flow achteruitging.
• Structurele Engineering Posteriors: Sailboat ($D=6$) en Shear building ($D=8$) modellen. Certificaat I was triviaal voor beide, maar Certificaat II onthulde dat de flow de $D=8$ target beter leerde dan de $D=6$ target, een onderscheid dat Certificaat I miste.
• Real-Data Logistische Regressie: Heart Disease dataset ($D=13$). Certificaat II leverde een sterke spectrale gap ($\gamma \approx 0.64$), terwijl Certificaat I zwak bleef.
• Negatieve Controle: Vergelijking van goed getrainde, ondergetrainde en misgespecificeerde flows op de banana target ($D=10$). Certificaat II identificeerde de slechte flows (lage $\gamma$) succesvol, ondanks vergelijkbare acceptatiekansen.

5. Betekenis en Claims

Het artikel claimt het eerste duale-certificaat framework voor geleerde-transport MCMC te bieden dat automatische, dimensie-bewuste convergentiecertificaten biedt. De primaire betekenis ligt in:

• Auditeerbare Bayesiaanse Berekening: Het transformeert geleerd transport van een "black-box versneller" naar een auditeerbaar object waarbij de kaart die de stappen voorstelt, ook de residu-geometrie blootlegt voor convergentiecertificering.
• Onderscheid van Falingsmodi: Het maakt expliciet onderscheid tussen "beperkingen van de bewijstechniek" (de dekkingsbarrière in hogere dimensies) en "werkelijk transportfalen". Standaard diagnostiek kan dit onderscheid niet maken.
• Praktisch Nut: Het biedt een berekenbare spectrale-gap ondergrens die de empirische meng-efficiëntie volgt, wat een rigoureus alternatief biedt voor heuristische diagnostiek voor problemen met matige dimensies.

De auteurs blijven bescheiden over de beperkingen: het certificat is van toepassing op de kern-beperkte kernel in plaats van de volledige keten (hoewel de kern het overgrote deel van de massa bevat), en het framework is momenteel specifiek voor Independence Metropolis–Hastings. Ze merken op dat voor zeer hoog-dimensionale real-data targets ($D \ge 30$), standaard preconditioning vaak nodig is voordat de flow de geometrie effectief kan benaderen.