MCMC Methods for Parameter Inference in Structurally Nonidentifiable Models

Technische Samenvatting: MCMC-methoden voor parameterinferentie in structureel niet-identificeerbare modellen

Probleemstelling
Het artikel behandelt de uitdaging van parameterinferentie in gewone differentiaalvergelijking (ODE) modellen die structurele niet-identificeerbaarheid vertonen. In dergelijke modellen resulteren verschillende parametervarianten in identieke observeerbare outputs, wat leidt tot lagerdimensionale manifolds van observationeel equivalente oplossingen binnen de parameterruimte. Dit fenomeen komt veel voor in vakgebieden zoals regeltechniek, systeembiologie en volksgezondheid (bijv. infectieziektemodellering).

Standaard Bayesiaanse inferentie en Markov chain Monte Carlo (MCMC) methoden worstelen in deze context. Omdat de likelihood-functie constant blijft langs deze niet-identificeerbare manifolds, wordt de posterior-distributie volledig ondersteund op deze manifolds (bepaald door de prior). Als gevolg hiervan raken standaard random-walk MCMC-algoritmen gevangen, wat leidt tot slechte mixing, trage convergentie en hoge autocorrelatie, omdat ze er niet in slagen de manifold efficiënt te verkennen.

Methodologie
De auteurs stellen twee MCMC-frameworks voor die expliciet gebruikmaken van informatie afgeleid van structurele identificeerbaarheidsanalyse. Laat $\xi(\theta)$ de afbeelding zijn van de volledige parameterruimte $\Theta$ naar een ruimte van structureel identificeerbare combinaties $C$. De niveausets $M_c = \{\theta \in \Theta : \xi(\theta) = c\}$ representeren de niet-identificeerbare manifolds.

1. Identificeerbaarheidsbewuste Geometrische MCMC:
   Deze methode opereert direct op de volledige parameterruimte $\Theta$, maar maakt gebruik van de geometrische structuur van de manifolds $M_c$. Het hanteert een tweestaps-voorstelmechanisme:

• Teleportatie-stap (Teleportation Move): Gebruikt geconstreinde Hamiltoniaanse dynamica (specifiek de RATTLE-integraat) om voorstellen te genereren die bewegen langs de manifold $M_c$. Dit maakt grote, efficiënte sprongen mogelijk binnen de niet-identificeerbare richtingen, terwijl de beperking $\xi(\theta) = c$ behouden blijft.
• Transitie-stap (Transition Move): Stelt bewegingen voor die transversaal aan de manifold staan om verschillende identificeerbare combinaties te verkennen. Hiervoor wordt een anisotrope voorstelverdeling gebruikt die richtingen loodrecht op de manifold bevoordeelt, geconstrueerd met behulp van de Jacobiaan van $\xi$.
  De combinatie van deze stappen wordt gecorrigeerd via een Metropolis–Hastings acceptatiestap om ervoor te zorgen dat de keten de correcte posterior-distributie target.

2. Identificeerbaarheidsbewuste Pseudo-marginale MCMC:
   Deze methode voert inferentie uit op de lagerdimensionale ruimte van identificeerbare combinaties $C$ in plaats van op de volledige parameterruimte. Het volgt een tweetrapsproces:

• Marginale Sampling: Een Metropolis–Hastings algoritme samplet de identificeerbare combinaties $c \sim \pi_C(c)$. Omdat de marginale likelihood een onhandelbare integraal bevat over de manifold $M_c$, gebruiken de auteurs een pseudo-marginale benadering. Zij construeren een onbevooroordeelde estimator van de marginale likelihood met behulp van importance sampling op de manifold.
• Reconstructie: Gegeven een geaccepteerde $c$, wordt de volledige parametervector $\theta$ gereconstrueerd door te samplen uit de conditionele distributie $\pi(\theta | c)$ op de manifold $M_c$. Dit omvat het oplossen van het algebraïsche systeem $\xi(\theta) = c$ (vaak via polynoomwortelberekening) en het gebruik van importance resampling om een representatieve parametersample te selecteren.

Belangrijkste Bijdragen

• Algoritmische Ontwikkeling: Het artikel introduceert twee nieuwe MCMC-algoritmen die zijn afgestemd op rationele ODE-modellen met structurele niet-identificeerbaarheid. De geometrische methode breidt bestaande frameworks uit naar algemene rationele ODE's met behulp van symplectische integratoren, terwijl de pseudo-marginale methode likelihood-geïnformeerde subspace-benaderingen generaliseert naar niet-lineaire manifolds.
• Theoretische Garanties: De auteurs bieden rigoureuze convergentiebewijzen voor beide methoden. Zij demonstreren dat de geometrische MCMC-kernel uniform geometrisch ergodisch is onder standaard compactheids- en continuïteitsaannames. Voor de pseudo-marginale methode vestigen zij Harris-ergodiciteit en bieden zij foutdecompositie-bounds die de mixing-fout van de marginale keten scheiden van de reconstructiefout van de conditionele samples.
• Dimensiereductie: De pseudo-marginale benadering reduceert effectief de dimensionaliteit van het inferentieprobleem door identificeerbare en niet-identificeerbare richtingen te scheiden, wat de numerieke instabiliteiten geassocieerd met niet-identificeerbare parameters mitigeert.

Resultaten
De methoden werden geëvalueerd op twee casestudy's: een Susceptible–Infectious (SI) model en een HIV-infectiemodel, die beide bekende structurele niet-identificeerbaarheden bezitten.

• SI-model: De baseline random-walk MCMC vertoonde een slechte mixing met effectieve samplegroottes (ESS) tussen 64 en 76. De geometrische MCMC (Algoritme 2) verbeterde de ESS met een orde van grootte. De pseudo-marginale MCMC (Algoritme 4) bereikte de hoogste efficiëntie, met een ESS van meer dan 4.500 voor alle parameters en geïntegreerde autocorrelatietijden (IACT) gereduceerd tot ongeveer 18–22.
• HIV-model: Vergelijkbare trends werden waargenomen. De voorgestelde methoden presteerden significant beter dan de baseline voor niet-identificeerbare parameters ($\lambda$ en $N$), waarbij de IACT werd verminderd van meer dan 1.100 naar minder dan 30. Cruciaal was dat de resultaten aantoonden dat, hoewel individuele niet-identificeerbare parameters diffuus blijven (consistent met de theorie), de voorgestelde methoden de posterior-distributies van identificeerbare parametercombinaties (bijv. $\lambda N / c$) nauwkeurig herstellen, waar de baseline-methode daarin faalde.

Betekenis en Claims
Het artikel claimt dat structurele identificeerbaarheidsanalyse niet louter als een diagnostisch hulpmiddel voor modelkalibratie moet dienen, maar kan fungeren als een fundamenteel fundament voor het ontwerpen van efficiënte Bayesiaanse computationele algoritmen. Door de geometrische structuur te exploiteren die wordt geïnduceerd door identificeerbare combinaties, maken de voorgestelde methoden statistisch geldige en computationeel efficiënte inferentie mogelijk in settings waar conventionele sampling-algoritmen falen.

De auteurs merken op dat hoewel deze methoden de sampling-efficiëntie verbeteren, ze het fundamentele gebrek aan informatie over niet-identificeerbare parameters niet oplossen; in plaats daarvan karakteriseren ze de posterior-onzekerheid correct. De pseudo-marginale benadering wordt specifelt benadrukt als effectief voor modellen met een klein aantal parameters waar globale oplossingen voor het algebraïsche systeem computationeel haalbaar zijn. Het werk suggereert een weg naar het integreren van identificeerbaarheidsanalyse direct in de inferentie-loop voor complexe wiskundige modellen.