Inference Functionals and Observation Operators for Distributional Statistical Models

Technische Samenvatting: Inferentiefuncties en Observatieoperatoren voor Distributie-Statistische Modellen

Probleemstelling
Klassieke statistische inferentie is sterk afhankelijk van het bestaan van kansdichtheden en eindige momenten om likelihood-functies en schattingsvergelijkingen te definiëren. Veel statistische modellen echter, met name die welke zware staarten vertonen (bijv. Cauchy-verdelingen, stabiele wetten) of niet-punt-observaties omvatten (bijv. interval-gecensureerde, vage of op transformaties gebaseerde data), missen klassieke dichtheden of eindige momenten. Hoewel Godambes (1960) theorie van inferentiefuncties de maximum-likelihood-schatting generaliseert door zich te richten op de structurele eigenschappen van schattingsvergelijkingen (onbevooroordeeldheid, gevoeligheid, variabiliteit) in plaats van likelihood-maximalisatie, gaat deze theorie traditioneel uit van punt-gevalideerde observaties en klassieke integreerbaarheid.

Het centrale probleem dat in dit artikel wordt aangepakt, is het ontbreken van een unifyend kader voor statistische inferentie in distributie-statistische modellen, waarbij kansmaten worden voorgesteld door distributie-kernparen $(T_\theta, \phi) \in \mathcal{S}'(\mathbb{R}) \times \mathcal{S}(\mathbb{R})$. In dergelijke modellen zijn klassieke punt-evaluaties vaak fysiek onrealistisch of wiskundig slecht gedefinieerd. Het artikel streeft ernaar het concept van inferentiefuncties te generaliseren om deze distributieve representaties te accommoderen en de rol van het observatiemechanisme zelf als wiskundige operator te formaliseren.

Methodologie
Het artikel bouwt een algemeen operator-theoretisch kader voor statistische inferentie op, door middel van drie conceptuele lagen:

1. Distributieve Representaties en Zwake Verwachtingen:
   Op basis van begeleidend werk [12] definieert het artikel een kansmaat via een getemperde distributie $T_\theta$ en een vaste Schwartz-kern $\phi$. De klassieke verwachting $E[\psi(X)]$ wordt vervangen door de zwake verwachting $\langle T_\theta, \psi\phi \rangle$. Deze koppeling is goed gedefinieerd voor alle polynomen en exponentiële functies, waardoor "zwake momenten" en "zwake karakteristieke functies" bestaan, zelfs wanneer klassieke momenten ontbreken.

2. Observatieoperatoren:
   Het artikel introduceert observatieoperatoren $O: \mathcal{S}'(\mathbb{R}) \to \mathcal{Y}$, die het latente distributieve model afbeelden op een observatieruimte $\mathcal{Y}$. Dit generaliseert het klassieke begrip observatie (punt-evaluatie) tot het omvatten van:

   • Kern-observaties: Lokale gemiddelden gewogen door een responsprofiel.
   • Interval-observaties: Integratie over een verzameling (gecensureerde data).
   • Convolutie-observaties: Gladdening of vervaging van de distributie.
   • Transformatie-observaties: Evaluatie van de zwakke karakteristieke functie bij specifieke frequenties.

   De operator $O$ induceert een pushforward-model $\{P^O_\theta\}$ op de observatieruimte. Het artikel onderscheidt tussen deterministische lineaire operatoren (Niveau 1), deterministische niet-lineaire operatoren (Niveau 2) en stochastische operatoren (Niveau 3), waarbij de asymptotische theorie zich voornamelijk richt op de eerste twee.

3. Inferentiefuncties:
   Een inferentiefunctie $\Psi: \mathcal{Y} \times \Theta \to \mathbb{R}^p$ wordt gedefinieerd als een meetbare functie die werkt op de geobserveerde data $Y = O(T_X)$. De schatter $\hat{\theta}_n$ is de wortel van de empirische schattingsvergelijking $\frac{1}{n}\sum \Psi(Y_i, \theta) = 0$. Het artikel categoriseert deze in drie lagen:

   • Laag I: Operator-waardige vergelijkingen (bijv. interval-gecensureerde data).
   • Laag II: Transformatie-gebaseerde vergelijkingen die punt-data gebruiken maar distributieve identiteiten (bijv. sinusvormige inferentie voor zware staarten).
   • Laag III: Kern-gewogen klassieke vergelijkingen.

Belangrijkste Bijdragen en Resultaten

• Asymptotische Theorie: Het artikel vestigt consistentie en asymptotische normaliteit voor schatters die zijn afgeleid van reguliere inferentiefuncties. Onder milde voorwaarden (Glivenko–Cantelli-eigenschap, identificatie en differentieerbaarheid) voldoet de schatter aan:
  $$\sqrt{n}(\hat{\theta}_n - \theta_0) \xrightarrow{D} N(0, S(\theta_0)^{-1} V(\theta_0) S(\theta_0)^{-\top})$$
  waarbij $S$ de gevoeligheidsmatrix is en $V$ de variabiliteitsmatrix. De Godambe-informatie wordt gedefinieerd als $G_\Psi = S^\top V^{-1} S$.

• De Informatiehiërarchie en Convolutiestelling:
  Een centraal theoretisch resultaat is de afleiding van een strikte hiërarchie van informatiegrenzen via de Hájek–Le Cam convolutiestelling. Voor een reguliere schatter gebaseerd op een pushforward-model met Fisher-informatie $I_O(\theta)$, is de asymptotische verdeling een convolutie van een Gaussisch component (variantie $I_O^{-1}$) en een ruisverdeling $M$:
  $$\sqrt{n}(\hat{\theta}_n - \theta_0) \xrightarrow{D} N(0, I_O(\theta)^{-1}) * M$$
  Dit leidt tot de ongelijkheid:
  $$I_{\text{klassiek}}(\theta) \geq I_O(\theta) \geq G_\Psi(\theta)$$

  • $I_{\text{klassiek}} - I_O$ kwantificeert informatie verloren door het observatiemechanisme (bijv. censering of vervaging).
  • $I_O - G_\Psi$ kwantificeert informatie verloren door de keuze van inferentiefunctie.

  Het artikel betoogt dat het maximaliseren van Godambe-informatie niet zomaar een willekeurig optimaliteitscriterium is, maar een structurele noodzaak: het is equivalent aan het minimaliseren van de niet-Gaussische ruis $M$ in de limietverdeling.

• Nuisance-parameters en Orthogonaliteit:
  Het kader wordt uitgebreid naar nuisance-parameters met behulp van een tweestapsconstructie van de nuisance-tangentiële ruimte (distributieve afgeleiden gevolgd door Hilbert-ruimte-projectie). Het artikel toont aan dat bepaalde inferentiefuncties (bijv. sinusvormige functies in symmetrische locatie-schaalmodellen) automatische orthogonaliteit bereiken ten opzichte van de nuisance-tangentiële ruimte, waardoor expliciete Bhapkar–Godambe-projecties overbodig worden.

• Concrete Voorbeelden:
  De theorie wordt toegepast op:

  • Modellen met zware staarten: Sinusvormige inferentiefuncties voor Student $t$- en Cauchy-verdelingen, die geen evaluatie van de dichtheid vereisen en stabiel blijven waar het steekproefgemiddelde faalt.
  • Interval-gecensureerde data: Het formuleren van locatie-inferentie direct vanuit interval-indicatoren.
  • Multivariate elliptisch afgeronde verdelingen: Het afleiden van Godambe-informatie voor lineaire functionalen van de locatieparameter.
  • Simulatie: Een studie die de sinusvormige schatter vergelijkt met het gemiddelde en de mediaan in Student $t$-modellen, waarbij de stabiliteit van de sinusvormige schatter onder zware staarten wordt aangetoond.

Betekenis en Aanspraken
Het artikel claimt de methodologie van schattingsfuncties op een fundament te plaatsen dat geen klassieke dichtheden of eindige momenten vereist. De primaire betekenis ligt in:

1. Conceptuele Unificatie: Het verenigt diverse schattingsstrategieën (punt-observaties, interval-censering, transformatiemethoden) onder één operator-theoretisch kader.
2. Structurele Rechtvaardiging: Het biedt een rigoureuze rechtvaardiging voor het Godambe-optimaliteitscriterium via de convolutiestelling, waarmee langdurige spanningen rond de asymptotische validiteit van inferentiefuncties worden opgelost.
3. Omgaan met Slecht Gestelde Modellen: Het biedt een wiskundig rigoureuze aanpak voor inferentie bij modellen waarbij klassieke likelihoods ongedefinieerd zijn of waar observaties inherent niet-puntsgewijs zijn (distributief).

De auteurs positioneren dit werk als onderdeel van een bredere reeks: begeleidende papers [12] en [13] vestigen respectievelijk de probabilistische fundamenten en de schatting van zwakke momenten, terwijl dit artikel het algemene operator-theoretische kader en de asymptotische theorie biedt. Het artikel erkent dat de ontwikkeling van een theorie voor zwakke empirische processen en een volledig rigoureuze semiparametrische theorie voor distributieve nuisance-parameters toekomstig werk blijft.