Weak Information Geometry: Riemannian Structures from Distributional Inference Functions and Stein Discrepancies

Technische Samenvatting: Zwakke Informatiegeometrie

Probleemstelling
De klassieke differentiaal-geometrische theorie van statistische modellen, gepionierd door Fisher, Rao, Amari en anderen, steunt op de Fisher–Rao-metriek. Deze metriek wordt gedefinieerd via de Fisher-informatie-matrix, die de existentie van een kansdichtheidsfunctie met betrekking tot een dominerende $\sigma$-eindige maat, de differentieerbaarheid van de log-likelihood en de eindigheid van de informatie-matrix vereist. Deze voorwaarden falen in verschillende belangrijke klassen van statistische modellen:

1. Parameter-afhankelijke ondersteuning: Modellen waarbij de ondersteuning van de distributie verandert met de parameter (bijv. uniforme schaal, verschoven exponentieel), waardoor de scorefunctie vertekend of ongedefinieerd is.
2. Afwezigheid van dominerende maten: Singuliere continue families (bijv. Cantor-locatiemodellen) waar geen likelihood of scorefunctie bestaat.
3. Afwezigheid van momenten: Modellen met zware staarten (bijv. Student $t$ met $\nu \le 1$, $\alpha$-stabiele processen) waar klassieke momenten divergeren.
4. Vertekende scores in gedomineerde modellen: Gestratificeerde eindige mengsels waarbij de scorefunctie een vertekende inferentiefunctie is, wat leidt tot inconsistente maximum likelihood-schatters ondanks het bestaan van een formele likelihood.

In deze scenario's is de Fisher–Rao-constructie ofwel niet beschikbaar of inferentieel betekenisloos, wat de toepassing van informatiegeometrische instrumenten zoals geodeten, krommingsanalyse en natuurlijke gradiëntmethoden verhindert.

Methodologie
Het artikel stelt een generalisatie van statistische modellen voor door de representatie van een kanswet te verschuiven van een dichtheid naar een getempereerde distributie $T_\theta \in \mathcal{S}'(\mathbb{R}^k)$. In dit kader wordt een wet geïdentificeerd als de continue lineaire functionaal die een testfunctie $g \in \mathcal{S}(\mathbb{R}^k)$ koppelt aan de verwachting $\langle T_\theta, g \rangle = \mathbb{E}_\theta[g(X)]$.

Informatie wordt niet gewonnen uit het lokale gedrag van een likelihood, maar via een instrument (of meetapparaat). Het artikel maakt gebruik van twee klassen instrumenten:

1. Zwakke Reguliere Inferentiefuncties: Generalisaties van Godambe's reguliere inferentiefuncties waarbij onbevooroordeeldheid en differentieerbaarheid worden uitgedrukt als koppelingen tussen de distributionele representatie $T_\theta$ en testfuncties, in plaats van puntwijze identiteiten met dichtheden.
2. Zwakke Stein-representaties: Operatoren $A_\theta$ die werken op testfuncties zodanig dat $\langle T_\theta, A_\theta g \rangle = 0$.

Voor een gekozen instrument $\psi(\cdot, \theta)$ definieert het artikel de zwakke sensitiviteit $S(\theta) = -\mathbb{E}_\theta[\partial_\theta \psi]$ en de zwakke variabiliteit $V(\theta) = \mathbb{E}_\theta[\psi \psi^\top]$. De Godambe-informatie-matrix wordt vervolgens geconstrueerd als:
$$G(\theta) = S(\theta)^\top V(\theta)^{-1} S(\theta)$$
Deze matrix dient als een Riemanniaanse metriek op de parameterruimte $\Theta$. Het kader rust op de aanname dat de modelkaart $\theta \mapsto \langle T_\theta, g \rangle$ zwak differentieerbaar is (Aanname 2.3), wat het gebruik van een zwakke Bartlett-identiteit mogelijk maakt om de sensitiviteit te relateren aan de afgeleide van de distributie.

Belangrijkste Bijdragen en Resultaten

1. Extensie van Riemanniaanse Statistische Modellen (Stelling 1.1):
   Het artikel bewijst dat indien een parametrische familie is uitgerust met een instrument met volledige-rang sensitiviteit en positief-definiete variabiliteit, de Godambe-informatie $G(\theta)$ een gladde Riemanniaanse metriek definieert. Dit breidt de klasse van modellen die een Riemanniaanse structuur toelaten ver voorbij de Fisher–Rao-klasse.

   • Herstel van Fisher–Rao: Wanneer een dichtheid bestaat en de scorefunctie een admissible instrument is, komt $G(\theta)$ overeen met de Fisher-informatie $I(\theta)$.
   • Loewner-ordening: Telkens wanneer de Fisher-informatie bestaat, geldt $G(\theta) \preceq I(\theta)$ in de Loewner-orde. Gelijkheid houdt in en slechts in het geval dat het instrument een niet-singuliere lineaire transformatie van de score is.

2. Existentie van Instrumenten in Niet-Reguliere Modellen (Propositie 1.2):
   Het artikel demonstreert dat geschikte instrumenten bestaan voor modellen die falen voor de Fisher–Ro-voorwaarden om verschillende redenen:

   • Uniforme Schaal & Verschuiven: Parameter-afhankelijke ondersteuning wordt afgehandeld via moment-gebaseerde of transform-gebaseerde (karakteristieke functie) instrumenten, wat gladde metrieken oplevert.
   • Cantor Locatiefamilie: Een singulier continu model zonder dominerende maat die een Godambe-metriek toelaat via begrensde transform-instrumenten (sinusoïden) of moment-instrumenten. De metriek is vlak ($G(\theta) \equiv 8$) voor het moment-instrument.
   • Gestratificeerde Eindige Mengsels: In gedomineerde modellen waar de score vertekend is, herstellen "stratificatie-agnostische" instrumenten (onbevooroordeeld onder elke componentwet) een geldige Riemanniaanse metriek, terwijl de likelihood-route faalt.
   • $\alpha$-Stabiel Lattice SPDE: Een dynamisch systeem gedreven door $\alpha$-stabiele ruis (waarbij variantie ongedefinieerd is) staat een Godambe-metriek in gesloten vorm toe, afgeleid van eigenmode-probes.

3. Stein-discrepantie Equivalentie (Sectie 6):
   Het artikel stelt vast dat kwadratische Stein-discrepanties dezelfde lokale geometrie induceren als Godambe-metrieken. Specifiek, indien een Stein-discrepantie wordt gedefinieerd via een kwadratische vorm van verwachtingsresiduen met een optimale weging $V(\theta)^{-1}$, is de resulterende metriek exact de Godambe-informatie. Dit koppelt Stein-methoden direct aan informatiegeometrie. Verder wordt aangetoond dat RKHS Stein-discrepanties een hiërarchie van geometrieën genereren, die een continuüm van identiteiten aggregeren.

4. Geometrische Stabiliteit en Spectrale Kloven (Sectie 5):
   In het voorbeeld van de lattice stochastische warmtevergelijking laat het artikel zien dat de snelheid waarmee de Godambe-metriek stabiliseert naar zijn stationaire waarde, wordt beheerst door de spectrale kloof van de onderliggende discrete Laplaciaan. Dit biedt een kwantitatieve brug tussen de dynamische stabiliteit van het systeem en de geometrische stabiliteit van het statistische model.

5. Inferentiële Separatie en Blokdiagonaalheid (Sectie 8):
   Het artikel biedt een geometrische karakterisering van inferentiële separatie (nonformation). Het verdwijnen van het off-diagonaal blok van de Godambe-metriek ($G_{\alpha\beta} = 0$) komt overeen met de orthogonaliteit van interesse- en nuisance-parameters.

   • Automatische Orthogonaliteit: In symmetrische locatie-schaal modellen levert het gebruik van paren van oneven (sinus) en even (cosinus) instrumenten automatisch een blokdiagonaal metriek op, wat exacte inferentiële separatie bereikt, zelfs in modellen zonder scores (bijv. Cauchy, Cantor).
   • Bhapkar–Godambe Projectie: Een constructieve methode wordt gepresenteerd om de metriek blokdiagonaal te maken door het interesse-instrument te projecteren op het orthocomplement van de nuisance-instrumenten.

Betekenis en Claims
Het artikel claimt dat de differentiaal-geometrische behandeling van statistische modellen overleeft bij het verwijderen van de dichtheids-gebaseerde representatie, mits de metriek wordt afgeleid van een instrument in plaats van een likelihood.

• Existentie vs. Canoniciteit: Deze extensie ruilt de Chentsov–Markov invariantie (uniciteit van de Fisher-metriek) in voor existentie. In niet-reguliere modellen is er geen canonieke metriek; in plaats daarvan is er een familie van Godambe-metrieken geïndexeerd door de keuze van het instrument.
• Instrument-Relatieve Geometrie: De metriek wordt geïnterpreteerd als de geometrie van het model zoals gezien door een specif으로 instrument. Verschillende instrumenten kunnen verschillende geometrieën opleveren, en in niet-reguliere modellen (zoals de uniforme schaal), kan de familie een maximaal element ontbreken (geen Fisher-type bovengrens), wat fenomenen zoals superefficiëntie reflecteert.
• Nut: Het kader maakt de toepassing van geometrische instrumenten (geodeten, kromming, natuurlijke gradiënten) mogelijk op modellen die voorheen als "pathologisch" of ontoegankelijk werden beschouwd, inclusief modellen met parameter-afhankelijke ondersteuning, singuliere maten en oneindige variantie.

Het artikel concludeert dat de Godambe–Riemanniaanse structuur een verenigde, op inferentiefuncties gebaseerde karakterisering van statistische modellen biedt, waarbij de existentie van een geometrische structuur wordt ontkoppeld van de existentie van een likelihoodfunctie.