Likelihood-Free Inference via Structured Score Matching

Titel: Likelihood-Free Inference via Structured Score Matching

Auteurs: Haoyu Jiang, Yuexi Wang, en Yun Yang
Datum: 1 april 2026

---

1. Het Probleem

In veel statistische toepassingen (zoals astrofysica, epidemiologie, ecologie en genetica) worden complexe fenomenen gemodelleerd via forward simulators. Deze simulators genereren data op basis van een parameter $\theta$, maar de onderliggende kansdichtheidsfunctie (likelihood) $p(X|\theta)$ is analytisch niet hanteerbaar (intractable).

Dit creëert een fundamenteel probleem voor klassieke statistische methoden:

• Maximum Likelihood Estimation (MLE) vereist de expliciete vorm van de likelihood-functie om de parameter te schatten.
• Bestaande Likelihood-Free Inference (LFI) methoden, zoals Approximate Bayesian Computation (ABC) of Synthetic Likelihood, proberen dit te omzeilen door de likelihood te benaderen of te vervangen. Deze methoden leiden echter vaak tot een verlies in statistische efficiëntie, vertekende posterior-verdelingen, of vereisen enorme simulatiebudgetten.
• Er is een behoefte aan een frequentistische methode die directe parameter-schatting en betrouwbare onzekerheidskwantificatie (betrouwbaarheidsintervallen) biedt zonder de likelihood-functie te hoeven evalueren.

2. Methodologie

De auteurs stellen een nieuw raamwerk voor dat Score Matching combineert met gebaseerde optimalisatie en bootstrap-procedures. De kernidee is om niet de likelihood-functie zelf te benaderen, maar de likelihood score-functie ($\nabla_\theta \log p(X|\theta)$), waarvan de MLE bekend staat als de wortel (nulpunt).

A. Gestructureerde Score Matching (Structured Score Matching)

In plaats van een generieke niet-lineaire functie te leren, worden specifieke statistische eigenschappen van de ware score-functie direct ingebouwd in de architectuur en het trainingsdoel van het neurale netwerk. Dit vermindert de complexiteit en verbetert de nauwkeurigheid. Drie cruciale eigenschappen worden geïmplementeerd:

1. Additieve Structuur: De score van een dataset is de som van de scores van individuele observaties:
   $$s^*(\theta, X_n) = \sum_{i=1}^n s^*(\theta, X_i)$$
   Het netwerk leert dus de score voor één observatie, wat de dimensie van het leerprobleem drastisch verlaagt.
2. Kromme-structuur (Curvature Structure): Dit relateert aan de Fisher-informatie matrix en de eigenschap dat de verwachte som van de score en zijn gradient nul is:
   $$E[s^*(\theta, X)s^*(\theta, X)^\top + \nabla_\theta s^*(\theta, X)] = 0$$
   Dit wordt opgelegd als een regularisatie-penalty tijdens het trainen van het netwerk.
3. Gemiddelde-nul Structuur (Mean-Zero Structure): De verwachte waarde van de score is nul:
   $$E[s^*(\theta, X)] = 0$$
   Dit wordt bereikt via een tweede stap van debiasing-regressie na de initiële training.

B. Schatter en Optimalisatie

• Schatter: De geschatte parameter $\hat{\theta}_n$ wordt gedefinieerd als de wortel van de geschatte score-functie $\hat{s}(\theta, X_n) = 0$.
• Iteratief Algorithm: Omdat de geschatte score niet noodzakelijk de gradient is van een functie, wordt $\hat{\theta}_n$ numeriek gevonden via een iteratief schema dat lijkt op gepreconditioneerde gradient-ascent (of Newton-Raphson):
  $$\theta^{(t+1)} = \theta^{(t)} + \alpha H_t \hat{s}(\theta^{(t)}, X_n)$$
  Waarbij $H_t$ een preconditionering matrix is (bijv. de inverse van de Jacobiaan van de score). Door de kromme-structuur te forceren, convergeert dit algoritme lokaal met een exponentiële snelheid.

C. Onzekerheidskwantificatie

Om betrouwbaarheidsintervallen te construeren, worden drie methoden voorgesteld:

1. Informatiematrix Plug-in: Schatting van de Fisher-informatie via de Jacobiaan van de geschatte score.
2. Sandwich Covariantie (Huber): Een robuustere methode die rekening houdt met mogelijke modelmisspecificatie (aangezien de geschatte score niet perfect is).
3. Multiplier Bootstrap: Een resampling-methode waarbij gewogen score-vergelijkingen worden opgelost om de verdeling van de schatter te benaderen.

3. Belangrijkste Bijdragen

• Nieuwe Schatter: Een frequentistische schatter die de MLE benadert door de score-functie te leren in plaats van de likelihood.
• Structuur-Integratie: De innovatieve integratie van fundamentele statistische eigenschappen (additiviteit, kromming, gemiddelde-nul) in het diepe leerproces, wat leidt tot betere schattingen en schaalbaarheid.
• Theoretische Garantieën:
  • Bewijs van consistentie en asymptotische normaliteit van de schatter.
  • Bewijs dat de schatter asymptotisch equivalent is aan de MLE.
  • Bewijs van de consistentie van de bootstrap-procedure.
  • Bewijs van exponentiële convergentie van het iteratieve optimalisatie-algoritme.
• Praktische Implementatie: Een tweerond-procedure wordt voorgesteld om de schatting te verfijnen door de simulatie-verdeling te concentreren rond een initiële schatting.

4. Resultaten

De methode is getest op zowel synthetische data als real-world datasets en vergeleken met bestaande methoden zoals Synthetic Likelihood (SL), Neural Likelihood Estimator (NLE) en Iterative Local Score Matching (ILSM).

• M/G/1 Wachtrijmodel: De voorgestelde methode bereikte de laagste schattingsfouten en leverde geldige frequentistische betrouwbaarheidsintervallen (95% dekking). De Quasi-Newton-optimalisatie convergeerde aanzienlijk sneller (gemiddeld 4 iteraties) dan gradient descent (81 iteraties).
• Aandelenvolatiliteit: De methode presteerde superieur aan NLE en SL in termen van schattingsnauwkeurigheid voor alle parameters. De betrouwbaarheidsintervallen hadden een dekking dicht bij het nominale niveau en waren smaller dan die van de concurrenten.
• g-and-k Model (Real Data): Toegepast op wisselkoersdata. De methode paste het model beter aan de zware staarten van de data dan een normale verdeling. De tweerond-procedure verbeterde de schattingen aanzienlijk.
• Efficiëntie: Hoewel het trainen van neurale netwerken rekenintensief is, vereist de methode minder simulaties dan SL en levert het nauwkeurigere resultaten dan NLE.

5. Betekenis en Conclusie

Dit werk biedt een krachtig alternatief voor traditionele LFI-methoden door de brug te slaan tussen klassieke statistiek (MLE-theorie) en moderne machine learning (score matching).

• Statistische Zuiverheid: Door de structuur van de score-functie te respecteren, behoudt de methode de asymptotische eigenschappen van de MLE (efficiëntie en normaliteit), wat vaak verloren gaat bij "black-box" benaderingen.
• Robuustheid: De combinatie van gestructureerde score matching met sandwich-covariantie en bootstrap zorgt voor betrouwbare onzekerheidskwantificatie, zelfs bij beperkte simulatiebudgetten.
• Toepasbaarheid: De methode is breed toepasbaar op complexe modellen in wetenschappelijke domeinen waar simulatie mogelijk is maar likelihood-berekening onmogelijk is.

Samenvattend biedt deze paper een theoretisch onderbouwde en empirisch geteste oplossing voor het probleem van likelihood-vrije inferentie, met een sterke focus op nauwkeurige parameterschatting en betrouwbare onzekerheidsmeting.