The geometry of Stein's method of moments: A canonical decomposition via score matching

Probleemstelling

De statistische inferentie voor niet-genormaliseerde modellen (ook wel energie-gebaseerde modellen genoemd) vormt een fundamentele uitdaging. Deze modellen hebben een kansdichtheid van de vorm $q_\theta(x) = \frac{1}{Z(\theta)} \tilde{q}_\theta(x)$, waarbij de normalisatieconstante $Z(\theta)$ vaak computationeel onberekenbaar is. Hierdoor is de Maximum Likelihood Schatter (MLE) vaak niet toepasbaar.

Bestaande alternatieven zijn:

1. Score Matching (SM): Minimaliseert de afstand tussen de geschatte en de ware scorefunctie ($\nabla_x \log q_\theta$). Dit omzeilt de normalisatieconstante, maar de statistische efficiëntie (asymptotische variantie) is niet altijd optimaal vergeleken met de MLE.
2. Stein's Method of Moments (SMoM): Een recentere methode die gebruikmaakt van een Stein-operator $A_\theta$ en testfuncties om schatters te construeren die eveneens onafhankelijk zijn van $Z(\theta)$.

Het centrale probleem dat in dit artikel wordt aangepakt, is het gebrek aan inzicht in de geometrische structuur van SMoM-schatters en hoe deze zich verhouden tot Score Matching. Daarnaast is er behoefte aan een methode om de asymptotische variantie van de Score Matching-schatter te verbeteren wanneer deze niet asymptotisch efficiënt is.

Methodologie

De auteurs ontwikkelen een nieuw geometrisch raamwerk gebaseerd op de Stein-operator en Wasserstein-geometrie.

1. Stein-operator en Testfuncties:
   Ze gebruiken de divergentie-gebaseerde Stein-operator:
   $$A_\theta f_\theta := \frac{\nabla_x \cdot (q_\theta f_\theta)}{q_\theta}$$
   Onder geschikte randvoorwaarden geldt $E_\theta[A_\theta f_\theta] = 0$. De SMoM-schatter $\hat{\theta}_{SMoM}$ wordt gevonden door de empirische gemiddelden van $A_\theta f_{\theta, j}$ te minimaliseren voor een gekozen set testfuncties $f_{\theta, j}$.

2. Canonieke Decompositie:
   De kern van de analyse is een canonieke decompositie van de SMoM-schatter na centrering rond de Score Matching-schatter ($\hat{\theta}_{SM}$). De auteurs introduceren twee soorten orthogonaliteit:

   • W-orthogonaliteit: Orthogonaliteit met betrekking tot het inproduct $E[\langle f, g \rangle]$.
   • $A_{\theta^*}$-orthogonaliteit: Orthogonaliteit met betrekking tot het inproduct $E[(A_{\theta^*}f)(A_{\theta^*}g)]$.

   Ze tonen aan dat elke SMoM-schatter kan worden geschreven als:
   $$\hat{\theta}_{SMoM} - \theta^* = (\hat{\theta}_{SM} - \theta^*) - G^{-1} \frac{1}{n} \sum A_{\theta^*} u^*_k + o_p(n^{-1/2})$$
   waarbij $u^*_k$ termen zijn die W-orthogonaal zijn aan de testfuncties van Score Matching. Cruciaal is dat W-orthogonaliteit niet impliceert dat de termen ook $A_{\theta^*}$-orthogonaal zijn. Dit verschil biedt de ruimte voor verbetering.

3. Constructie van een Verbeterde Schatter:
   Door specifieke $u^*_k$-termen toe te voegen die W-orthogonaal zijn aan de Score Matching-testfuncties, kunnen de auteurs een nieuwe SMoM-schatter construeren die een lagere asymptotische variantie heeft dan de standaard Score Matching-schatter.

4. Verbinding met Wasserstein-geometrie:
   De auteurs introduceren de Wasserstein score-functie $\Phi_{\theta, j}$, gedefinieerd als de oplossing van $A_\theta (\nabla_x \Phi_{\theta, j}) = -\partial_{\theta_j} \log q_\theta$. Ze tonen aan dat de MLE (die computationeel onbereikbaar is) overeenkomt met een SMoM-schatter gebaseerd op $-\nabla_x \Phi_{\theta, j}$.

Belangrijkste Bijdragen

1. Canonieke Decompositie (Stelling 1):
   De auteurs leveren een wiskundige decompositie die laat zien dat de asymptotische lineaire representatie van SMoM-schatters volledig wordt gekenmerkt door hun "W-orthogonale" componenten ten opzichte van de Score Matching-schatter.

2. Verbeterde Schatter (Stelling 2):
   Ze construeren een nieuwe SMoM-schatter die de asymptotische variantie van de Score Matching-schatter verbetert. De verbetering wordt kwantitatief uitgedrukt als een positief semi-definiete matrix:
   $$AVar[\hat{\theta}_{SM}] - AVar[\hat{\theta}_{[ \theta^* ]}] = G^{-1} S_{\theta^*} T_{\theta^*}^{-1} S_{\theta^*}^\top G^{-1} \succeq 0$$
   Dit bewijst dat Score Matching niet altijd optimaal is en dat er ruimte is voor verbetering via de toevoeging van geoptimaliseerde testfuncties.

3. Voorwaarde voor Asymptotische Efficiëntie (Stelling 3):
   Een fundamenteel resultaat is dat de Score Matching-schatter asymptotisch efficiënt is (d.w.z. gelijk aan de MLE) dan en slechts dan als de ruimte opgespannen door de Fisher score-functies ($\nabla_x \partial_{\theta_j} \log q_\theta$) identiek is aan de ruimte opgespannen door de Wasserstein score-functies ($\nabla_x \Phi_{\theta, j}$).

   • Dit verklaart waarom Score Matching efficiënt is voor normale verdelingen (waar deze ruimtes samenvallen).
   • Het biedt een geometrische interpretatie van de "gap" in variantie tussen Score Matching en MLE voor andere verdelingen.

4. Numerieke Validatie:
   De theorie wordt getest op de Generalized Normal Distribution en het Polynomially Tilted Pairwise Interaction (PPI) model. De resultaten tonen aan dat de geconstrueerde schatter in eindige steekproeven een lagere Mean Squared Error (MSE) heeft dan de standaard Score Matching-schatter, en dat de efficiëntie toeneemt naarmate het aantal orthogonale componenten ($K$) toeneemt (tot een punt van numerieke instabiliteit).

Resultaten

• Theoretisch: De paper legt een brug tussen Stein's method of moments, Score Matching en de recente ontwikkelingen in Wasserstein-statistiek. Het toont aan dat de "gap" in efficiëntie tussen Score Matching en MLE geometrisch kan worden geïnterpreteerd als de projectie van de Fisher score-functies op de orthogonale complementen van de Wasserstein score-functies.
• Praktisch: De voorgestelde methode om de testfuncties te optimaliseren (via neural networks in de experimenten) resulteert in schatters met een lagere variantie dan de traditionele Score Matching, zonder de noodzaak om de normalisatieconstante te berekenen.
• Grenzen: De verbetering is afhankelijk van de keuze van de extra testfuncties en het aantal componenten $K$. Bij te grote $K$ kan numerieke instabiliteit optreden.

Significantie

Dit werk is significant omdat het:

1. De theorie van niet-genormaliseerde modellen verrijkt: Het biedt een dieper geometrisch inzicht in waarom Score Matching werkt en wanneer het faalt in termen van efficiëntie.
2. Een nieuwe weg opent voor schatters: Het biedt een systematische procedure om Score Matching te "upgraden" naar een efficiëntere schatter binnen het SMoM-raamwerk, dichter bij de MLE-prestaties.
3. Verbindingen legt: Het verbindt drie belangrijke geometrieën in de statistiek: de Fisher-Rao-geometrie (MLE), de geometrie van Score Matching, en de Wasserstein-geometrie. Dit kan leiden tot verdere ontwikkelingen in machine learning en statistische inferentie op complexe domeinen (zoals Riemannse variëteiten).

Kortom, de paper transformeert Stein's method of moments van een verzameling heuristische schatters naar een gestructureerd, geometrisch onderbouwd raamwerk met bewezen optimalisatiemogelijkheden.