Weak Information Geometry: Riemannian Structures from Distributional Inference Functions and Stein Discrepancies

Sintesi Tecnica: Geometria dell'Informazione Debole

Enunciato del Problema
La teoria geometrico-differenziale classica dei modelli statistici, pionieristica di Fisher, Rao, Amari e altri, si basa sulla metrica di Fisher–Rao. Questa metrica è definita tramite la matrice dell'informazione di Fisher, la quale richiede l'esistenza di una funzione di densità di probabilità rispetto a una misura $\sigma$-finita dominante, la differenziabilità del log-likelihood e la finitezza della matrice dell'informazione. Tali condizioni falliscono in diverse classi importanti di modelli statistici:

1. Supporto dipendente dai parametri: Modelli in cui il supporto della distribuzione cambia con il parametro (es. uniforme di scala, esponenziale traslata), rendendo la funzione di score viesata o indefinita.
2. Assenza di misure dominanti: Famiglie singolari continue (es. modelli di posizione Cantor) dove non esiste alcuna verosimiglianza o funzione di score.
3. Assenza di momenti: Modelli con code pesanti (es. Student $t$ con $\nu \le 1$, processi $\alpha$-stabili) dove i momenti classici divergono.
4. Score viesati in modelli dominati: Miscele finite stratificate dove la funzione di score è una funzione di inferenza viesata, portando a stimatori di massima verosimiglianza inconsistenti nonostante l'esistenza di una verosimiglianza formale.

In questi scenari, la costruzione di Fisher–Rao è o indisponibile o inferenzialmente priva di senso, impedendo l'applicazione di strumenti di geometria dell'informazione quali geodetiche, analisi della curvatura e metodi del gradiente naturale.

Metodologia
Il documento propone una generalizzazione dei modelli statistici spostando la rappresentazione di una legge di probabilità da una densità a una distribuzione temperata $T_\theta \in \mathcal{S}'(\mathbb{R}^k)$. In questo framework, una legge è identificata con il funzionale lineare continuo che mappa una funzione di test $g \in \mathcal{S}(\mathbb{R}^k)$ nel suo valore atteso $\langle T_\theta, g \rangle = \mathbb{E}_\theta[g(X)]$.

L'informazione viene estratta non dal comportamento locale di una verosimiglianza, ma attraverso un strumento (o dispositivo di misura). Il documento utilizza due classi di strumenti:

1. Funzioni di Inferenza Regolari Deboli: Generalizzazioni delle funzioni di inferenza regolari di Godambe dove l'imparzialità e la differenziabilità sono espresse come accoppiamenti tra la rappresentazione distributiva $T_\theta$ e le funzioni di test, piuttosto che come identità puntuali che coinvolgono densità.
2. Rappresentazioni Stein Deboli: Operatori $A_\theta$ che agiscono sulle funzioni di test tali che $\langle T_\theta, A_\theta g \rangle = 0$.

Per un dato strumento scelto $\psi(\cdot, \theta)$, il documento definisce la sensibilità debole $S(\theta) = -\mathbb{E}_\theta[\partial_\theta \psi]$ e la variabilità debole $V(\theta) = \mathbb{E}_\theta[\psi \psi^\top]$. La matrice dell'informazione di Godambe è quindi costruita come:
$$G(\theta) = S(\theta)^\top V(\theta)^{-1} S(\theta)$$
Questa matrice funge da metrica Riemanniana sullo spazio dei parametri $\Theta$. Il framework si basa sull'assunto che la mappa del modello $\theta \mapsto \langle T_\theta, g \rangle$ sia debolmente differenziabile (Assunto 2.3), permettendo l'uso di un'identità di Bartlett debole per relazionare la sensibilità alla derivata della distribuzione.

Contributi Chiave e Risultati

1. Estensione dei Modelli Statistici Riemanniani (Teorema 1.1):
   Il documento dimostra che se una famiglia parametrica è dotata di uno strumento dotato di sensibilità a pieno rango e variabilità definita positiva, l'informazione di Godambe $G(\theta)$ definisce una metrica Riemanniana regolare. Ciò estende la classe di modelli che ammettono una struttura Riemanniana ben oltre la classe Fisher–Rao.

   • Recupero di Fisher–Rao: Quando esiste una densità e la funzione di score è uno strumento ammissibile, $G(\theta)$ coincide con l'informazione di Fisher $I(\theta)$.
   • Ordinamento di Loewner: Ogni volta che l'informazione di Fisher esiste, $G(\theta) \preceq I(\theta)$ nell'ordine di Loewner. L'uguaglianza si verifica se e solo se lo strumento è una trasformazione lineare non singolare dello score.

2. Esistenza di Strumenti in Modelli Non Regolari (Proposizione 1.2):
   Il documento dimostra che strumenti adeguati esistono per modelli che falliscono le condizioni di Fisher–Rao per ragioni distinte:

   • Scala Uniforme e Esponenziale Traslata: Il supporto dipendente dai parametri è gestito tramite strumenti basati sui momenti o sulle trasformazioni (funzione caratteristica), producendo metriche regolari.
   • Famiglia di Posizione Cantor: Un modello continuo singolare senza misura dominante che ammette una metrica di Godambe tramite strumenti di trasformazione limitata (sinusoidi) o strumenti di momento. La metrica è piatta ($G(\theta) \equiv 8$) per lo strumento di momento.
   • Miscele Finite Stratificate: In modelli dominati dove lo score è viesato, strumenti "agnostici rispetto alla stratificazione" (imparziali rispetto a ogni legge componente) recuperano una metrica Riemanniana valida, laddove il percorso basato sulla verosimiglianza fallisce.
   • SPDE a Reticolo $\alpha$-Stabile: Un sistema dinamico guidato da rumore $\alpha$-stabile (dove la varianza è indefinita) ammette una metrica di Godabe in forma chiusa derivata da sonde di automoduli.

3. Equivalenza della Discrepanza di Stein (Sezione 6):
   Il documento stabilisce che le discrepanze di Stein quadratiche inducono la stessa geometria locale delle metriche di Godambe. Nello specifico, se una discrepanza di Stein è definita tramite una forma quadratica di residui di aspettativa con il peso ottimale $V(\theta)^{-1}$, la metrica risultante è esattamente l'informazione di Godambe. Ciò collega direttamente i metodi di Stein alla geometria dell'informazione. Si dimostra inoltre che le discrepanze di Stein in spazi di Hilbert con kernel riproducenti (RKHS) generano una gerarchia di geometrie, aggregando un continuum di identità.

4. Stabilità Geometrica e Gap Spettrali (Sezione 5):
   Nell'esempio dell'equazione del calore stocastica su reticolo, il documento mostra che la velocità con cui la metrica di Godambe si stabilizza al suo valore stazionario è governata dal gap spettrale del Laplaciano discreto sottostante. Ciò fornisce un ponte quantitativo tra la stabilità dinamica del sistema e la stabilità geometrica del modello statistico.

5. Separazione Inferenziale e Blocco-Diagonalità (Sezione 8):
   Il documento fornisce una caratterizzazione geometrica della separazione inferenziale (non-formazione). L'annullamento del blocco fuori diagonale della metrica di Godambe ($G_{\alpha\beta} = 0$) corrisponde all'ortogonalità tra parametri di interesse e di disturbo.

   • Ortogonalità Automatica: Nei modelli di posizione-scala simmetrici, l'uso di coppie di strumenti dispari (seno) e pari (coseno) produce automaticamente una metrica a blocchi diagonali, ottenendo una separazione inferenziale esatta anche in modelli privi di score (es. Cauchy, Cantor).
   • Proiezione Bhapkar–Godambe: Viene presentato un metodo costruttivo per diagonalizzare a blocchi la metrica tramite la proiezione dello strumento di interesse sul complemento ortogonale degli strumenti di disturbo.

Significatività e Rivendicazioni
Il documento sostiene che il trattamento geometrico-differenziale dei modelli statistici sopravvive alla rimozione della rappresentazione basata sulla densità, a condizione che la metrica sia derivata da uno strumento anziché da una verosimiglianza.

• Esistenza vs Canonicità: L'estensione scambia l'invarianza di Chentsov–Markov (unicità della metrica di Fisher) con l'esistenza. Nei modelli non regolari, non esiste una metrica canonica; esiste invece una famiglia di metriche di Godambe indicizzate dalla scelta dello strumento.
• Geometria Relativa allo Strumento: La metrica è interpretata come la geometria del modello vista attraverso uno specifico strumento. Diversi strumenti possono produrre geometrie diverse e, nei modelli non regolari (come la scala uniforme), la famiglia può mancare di un elemento massimale (nessun limite di tipo Fisher), riflettendo fenomeni come la superefficienza.
• Utilità: Il framework permette l'applicazione di strumenti geometrici (geodetiche, curvatura, gradienti naturali) a modelli precedentemente considerati "patologici" o inaccessibili, inclusi quelli con supporto dipendente dai parametri, misure singolari e varianza infinita.

Il documento conclude che la struttura Riemanniana di Godambe fornisce una caratterizzazione unificata dei modelli statistici basata sulle funzioni di inferenza, scindendo l'esistenza di una struttura geometrica dall'esistenza di una funzione di verosimiglianza.