Asymptotics of cut distributions and robust modular inference using Posterior Bootstrap

Dit artikel onderzoekt de asymptotische eigenschappen van cut-verdelingen, bewijst een Bernstein-von Mises-stelling en stelt een algoritme op basis van Posterior Bootstrap voor dat betrouwbare credible regions biedt voor robuuste modulaire Bayesiaanse inferentie.

De kern

Titel: Hoe je twee aparte experts samen laat werken zonder dat ze elkaar verwarren

Stel je voor dat je een groot, complex probleem moet oplossen, zoals het voorspellen van het weer of het begrijpen van waarom mensen ziek worden. In de statistiek (en dus ook in deze paper) doen we dit vaak door een groot model te bouwen dat uit verschillende onderdelen bestaat.

Laten we dit probleem op een simpele manier uitleggen, alsof we een team van twee specialisten hebben: Expert A en Expert B.

Het Probleem: De "Gedwongen Vriendschap"

In de traditionele manier van werken (de "standaard Bayesiaanse aanpak"), worden Expert A en Expert B gedwongen om als één team te werken. Ze zitten in dezelfde kamer, delen alles wat ze weten en beïnvloeden elkaar continu.

• Expert A kijkt naar de basisgegevens (bijvoorbeeld: "Wat is de kans dat iemand rookt?").
• Expert B kijkt naar de uitkomst (bijvoorbeeld: "Heeft die persoon longkanker?").

Het probleem is: wat als Expert A een beetje gek is of een fout maakt? In de traditionele aanpak "springt" die fout direct over naar Expert B. Expert B begint dan ook fouten te maken, en omdat ze elkaar beïnvloeden, kan het hele team in de war raken. Het is alsof je een goede kok (Expert B) laat koken met een slechte ingrediëntenleverancier (Expert A); als de leverancier rotte tomaten stuurt, wordt de hele maaltijd bedorven, zelfs als de kok perfect is.

De Oplossing: "Afsnijden" (Cutting Feedback)

De auteurs van dit paper stellen een slimme oplossing voor: Modulaire Inference.

In plaats van één grote kamer, geven we Expert A en Expert B elk hun eigen kamer.

1. Stap 1: Expert A doet zijn werk, maakt een rapport en sluit zijn deur.
2. Stap 2: Expert B neemt dat rapport over, gebruikt het als feiten, maar mag niet terugkijken naar Expert A om te vragen of hij het zeker weet.

Dit noemen ze in het paper "Cutting Feedback" (terugkoppeling afsnijden). Het is alsof je een chef-kok een recept geeft van een leverancier en zegt: "Gebruik dit, maar twijfel niet aan de leverancier, en laat de leverancier niet weten dat jij twijfelt."

Dit voorkomt dat fouten in het eerste deel het tweede deel verpesten.

De Uitdaging: Hoe rekenen we dit uit?

Nu is het makkelijker gezegd dan gedaan. Hoe bereken je de onzekerheid als je twee aparte kamers hebt? De wiskunde hierachter is heel ingewikkeld. De auteurs in dit paper doen drie belangrijke dingen om dit op te lossen:

1. De "Grootte-Check" (Asymptotics)

De auteurs kijken naar wat er gebeurt als je oneindig veel data hebt. Ze bewijzen wiskundig dat deze "gescheiden" methode werkt en dat de resultaten betrouwbaar zijn, zelfs als het model niet perfect is. Ze zeggen eigenlijk: "Zorg dat je team groot genoeg is, dan werkt deze methode net zo goed als de traditionele, maar dan zonder de gevaarlijke fouten."

2. De "Snel-Rekenmethode" (Laplace Benadering)

Het berekenen van de resultaten van deze gescheiden kamers is vaak erg lastig en duurt lang (alsof je een ingewikkeld puzzelstukje moet oplossen). De auteurs bieden een snelle manier aan om een goede schatting te maken, een soort "snel-rekenformule" (de Laplace-benadering). Het is alsof je in plaats van het hele huis te bouwen, eerst een schets maakt die al 95% van de details goed heeft, maar veel sneller is.

3. De "Willekeurige Simulatie" (Posterior Bootstrap)

Dit is misschien wel het coolste deel. De auteurs bedenken een nieuwe manier om te rekenen die ze Posterior Bootstrap noemen.

• Hoe het werkt: In plaats van één keer te rekenen, laten ze Expert A en Expert B duizenden keren hun werk doen, maar elke keer met een klein beetje "willekeur" (net alsof ze een dobbelsteen gooien om hun prioriteit te bepalen).
• Het resultaat: Door al die duizenden pogingen te combineren, krijgen ze een heel nauwkeurig beeld van wat er gebeurt.
• De meerwaarde: Deze methode is vaak makkelijker te programmeren dan de traditionele methoden en geeft je zelfs een eerlijker beeld van hoe zeker je kunt zijn (de "frequentistische dekking"). Het is alsof je in plaats van één expert te vragen, 1000 experts laat brainstormen en dan het gemiddelde neemt.

Waarom is dit belangrijk? (Voorbeelden uit het echt)

De auteurs tonen dit aan met echte voorbeelden:

• Medische studies: Stel je wilt weten of een medicijn werkt. Je hebt eerst een groep mensen nodig om te kijken wie er ziek wordt (Expert A), en dan een groep om te kijken of het medicijn helpt (Expert B). Als je ze te veel laat praten, kan het zijn dat je denkt dat het medicijn werkt, terwijl het eigenlijk alleen maar de ziekte van de eerste groep heeft "gecorrigeerd" in je berekening. Met deze methode houd je de twee stappen strikt gescheiden, zodat je eerlijk blijft.
• Economische studies: Net als bij de medische studies, wil je soms eerst de "kans" op een gebeurtenis berekenen (bijv. kans op werkloosheid) en daarna kijken wat het effect is op het inkomen. Als je de twee stappen door elkaar haalt, krijg je vaak een vertekend beeld.

Samenvatting in één zin

Deze paper leert ons hoe we complexe statistische modellen in losse blokken kunnen bouwen zodat fouten in het ene blok niet het hele systeem laten crashen, en biedt slimme, snelle manieren om die losse blokken toch samen te voegen tot een betrouwbaar antwoord.

Het is de kunst van modulair bouwen: bouw sterke muren tussen je kamers, zodat als er ergens een lek is, het water niet de hele villa overstroomt.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Asymptotics of cut distributions and robust modular inference using Posterior Bootstrap" van Pompe, Kasprzak en Jacob, in het Nederlands.

1. Probleemstelling

Bayesiaanse inferentie biedt een krachtig raamwerk om verschillende modelcomponenten (modules) te combineren via gedeelde parameters, wat gezamenlijke onzekerheidsschatting mogelijk maakt. Echter, in de praktijk is het vaak zo dat een deel van het model verkeerd gespecificeerd is (misspecification). In een standaard Bayesiaanse aanpak (joint model) kan deze fout zich door het hele model verspreiden ("feedback"), wat leidt tot onbevredigende resultaten en vertekende schattingen.

Om dit te omzeilen, wordt modulaire inferentie gebruikt. Hierbij wordt de informatiestroom tussen bepaalde modules onderbroken ("cutting feedback"). Een parameter wordt geschat in de eerste module en vervolgens als vast gegeven gebruikt in de tweede module, zonder dat de tweede module de schatting van de eerste module beïnvloedt. Dit resulteert in een cut posterior.

De uitdagingen in dit domein zijn:

• Asymptotisch gedrag: Het is niet triviaal om het asymptotische gedrag van cut posteriors te begrijpen, vooral onder modelverkeerspecificatie.
• Berekeningskosten: Het berekenen van cut posteriors is vaak computationally intractable (moeilijk te berekenen) vanwege de aanwezigheid van een ingewikkeld feedback-term in de likelihood, wat MCMC-methoden (Markov Chain Monte Carlo) inefficiënt maakt.
• Frequentistische dekking: Het is onzeker of credible intervals (geloofsbare intervallen) afgeleid van cut posteriors de nominale frequentistische dekking behouden, vooral als het model verkeerd gespecificeerd is.

2. Methodologie

De auteurs analyseren een model bestaande uit twee modules met parameters $\theta_1$ en $\theta_2$ en datasets $x_1$ en $x_2$. Ze ontwikkelen drie hoofdcomponenten:

A. Asymptotische Theorie (Bernstein-von Mises)

De auteurs bewijzen een Bernstein-von Mises (BvM) stelling voor cut posteriors. Dit theorem stelt dat, onder reguliere voorwaarden, de verdeling van $\sqrt{n}(\theta - \hat{\theta})$ convergeert naar een multivariate Normale verdeling.

• Ze leiden een expliciete uitdrukking af voor de asymptotische covariantiematrix ($H^{-1}$).
• Ze tonen aan dat deze matrix verschilt van de covariantie van de standaard Bayesiaanse posterior en ook van de "Two-Step M-estimator" (2SM), tenzij specifieke onafhankelijkheidsvoorwaarden gelden.
• Ze analyseren het geval waarbij de datasetgroottes van de modules verschillend zijn ($n_1 \neq n_2$).

B. Laplace Benadering (Cut-Laplace)

Om de cut posterior numeriek te benaderen, stellen de auteurs een Laplace-benadering voor.

• In plaats van de onberekenbare Hessian van de volledige cut posterior te gebruiken, benutten ze de structuur van de modules om een benaderende covariantiematrix te construeren die alleen afhangt van de afgeleiden van de individuele log-likelihoods.
• Ze leveren kwantitatieve foutgrenzen (non-asymptotische bounds) voor de totale variatie-afstand (TV) tussen de ware cut posterior en deze Laplace-benadering.

C. Posterior Bootstrap voor Modulaire Inferentie (PBMI)

De auteurs introduceren een nieuw algoritme, PBMI, gebaseerd op de Posterior Bootstrap (een variant van de Weighted Likelihood Bootstrap).

• Algoritme: Het trekt gewichten uit een Exponentiële verdeling, optimaliseert de log-posterior in de eerste module, en gebruikt deze geschatte parameter om de tweede module te optimaliseren met dezelfde gewichten.
• Voordeel: Dit vereist alleen optimalisatie (geen MCMC-sampling) en is dus veel sneller en makkelijker te implementeren.
• Asymptotiek: Ze bewijzen dat PBMI convergeert naar een Normale verdeling met de zelfde asymptotische variantie als de Two-Step M-estimator (2SM), en niet noodzakelijk die van de cut posterior.

3. Belangrijkste Bijdragen

1. Theoretische Fundamenten: De eerste expliciete BvM-stelling voor cut posteriors in een modulair kader, inclusief de exacte vorm van de asymptotische variantie onder modelverkeerspecificatie.
2. Foutanalyse: Rigouze niet-asymptotische foutgrenzen voor de Laplace-benadering van cut posteriors, wat de betrouwbaarheid van deze snelle benadering kwantificeert.
3. Nieuw Algoritme (PBMI): Een computatie-efficiënt alternatief dat geen MCMC vereist. Cruciaal is dat PBMI nominale frequentistische dekking biedt voor de parameters, zelfs als het model verkeerd gespecificeerd is, terwijl de cut posterior dit niet altijd garandeert.
4. Vergelijkende Analyse: Een diepgaande vergelijking tussen de cut posterior, de Laplace-benadering en PBMI, inclusief hun voorspellende prestaties.

4. Resultaten

• Asymptotische Dekking:
  • De cut posterior concentreert zich rond de 2SM-schatting, maar de afgeleide credible intervals hebben niet altijd de nominale frequentistische dekking (bijvoorbeeld in Scenario 2 van het voorbeeld met propensiteitscores, waar de dekking voor $\theta_2$ daalt tot 0.90 in plaats van 0.95).
  • PBMI levert credible intervals die asymptotisch de nominale frequentistische dekking behouden (bijv. 0.95), omdat de asymptotische variantie van PBMI overeenkomt met die van de 2SM-schatting.
• Rekenkosten: PBMI is aanzienlijk sneller dan MCMC-gebaseerde cut posteriors en vergelijkbaar met variational inference, maar biedt een betere benadering van de onzekerheid in niet-lineaire of scheef verdeelde situaties.
• Voorbeelden:
  • Toy Example: Toont aan dat PBMI en cut posterior vergelijkbaar zijn bij onafhankelijke modules, maar dat PBMI meer onzekerheid weergeeft bij afhankelijke modules.
  • Causale Inferentie: Toepassing op propensiteitscores. Hier is de tweede module discontinu ten opzichte van de eerste, waardoor Laplace-benadering niet goed werkt. PBMI werkt hier echter uitstekend.
  • Epidemiologie: Toepassing op HPV-gegevens. De cut posterior is hier scheef (skewed), wat door de Normale Laplace-benadering niet wordt gevangen, maar wel door PBMI.

5. Betekenis en Conclusie

Dit artikel is van groot belang voor de statistische gemeenschap omdat het een brug slaat tussen de theoretische wens om feedback in modellen te "snijden" (voor robustheid) en de praktische noodzaak om dit efficiënt en met gegarandeerde frequentistische eigenschappen te doen.

• Robuustheid: Het biedt een theoretisch onderbouwd kader om modelverkeerspecificatie te hanteren zonder de voordelen van Bayesiaanse onzekerheidspropagatie volledig te verliezen.
• Praktische Toepasbaarheid: De introductie van PBMI maakt modulaire inferentie toegankelijk voor complexe modellen waar MCMC te traag is of waar de likelihood niet glad is (zoals bij discretisatie in propensiteitscores).
• Keuzegids: De auteurs geven richtlijnen: als het doel is om frequentistische betrouwbaarheid te garanderen, is PBMI de voorkeursmethode. Als men puur Bayesiaanse interpretatie wenst en de schaal toelaat, kan de cut posterior (of Cut-Laplace) gebruikt worden, maar dan moet men rekening houden met mogelijke onderdekking van intervallen bij verkeerde specificatie.

Kortom, het werk levert zowel de wiskundige onderbouwing als de praktische tools om modulaire Bayesiaanse inferentie robuust en schaalbaar te maken.