A Global Characterization of $f$-Divergences Yielding PSD Mutual-Information Matrices

Riepilogo Tecnico: Una Caratterizzazione Globale delle Divergenze f che Generano Matrici di Informazione Mutua Semidefinite Positive

Enunciato del Problema
Il lavoro affronta una domanda fondamentale nelle misure di dipendenza e nei metodi a kernel: date $n$ variabili casuali $X_1, \dots, X_n$, sotto quali condizioni la matrice delle informazioni mutue a coppie $f$, definita come $M^{(f)}_{ij} := I_f(X_i; X_j)$, costituisce un kernel semidefinito positivo (PSD)?

Sebbene l'informazione mutua sia ampiamente utilizzata nell'analisi fattoriale, nei test di indipendenza e nell'estrazione di caratteristiche, la proprietà PSD della matrice risultante non è garantita per tutte le $f$-divergenze. Il lavoro distingue questo problema dalle proprietà metriche delle divergenze tra distribuzioni (ad esempio, se $\sqrt{JS}$ è una metrica). Al contrario, si concentra sulla natura PSD della matrice indicizzata dalle variabili $M^{(f)}$. Gli autori osservano che mentre la divergenza $\chi^2$ genera matrici PSD, l'informazione mutua di Shannon (basata su $f(t) = t \log t$) non soddisfa questo requisito per $n \ge 4$, e questa indefiniteness può verificarsi anche sotto dipendenze a coppie arbitrariamente deboli.

Metodologia
Il lavoro impiega una combinazione di costruzioni probabilistiche, analisi funzionale e caratterizzazione algebrica per derivare condizioni necessarie e sufficienti.

1. Invarianza per Trasformazione Lineare: Gli autori stabiliscono innanzitutto che le $f$-divergenze sono invarianti sotto la trasformazione lineare $f(t) \mapsto f(t) + c(t-1)$. Di conseguenza, la caratterizzazione viene eseguita sul rappresentante normalizzato $\bar{f}(t)$ dove $\bar{f}(1) = \bar{f}'(1) = 0$.
2. Sufficienza tramite Incorporamento di Repliche: Per dimostrare che una specifica classe di funzioni genera matrici PSD, gli autori utilizzano un "incorporamento di repliche". Mostrano che per generatori monomiali $f_m(t) = (t-1)^m$ con $m \ge 2$, la matrice dell'informazione mutua può essere realizzata come una matrice di Gram di funzioni specifiche derivate da copie indipendenti (repliche) delle variabili casuali. Poiché le miscele non negative di matrici PSD rimangono PSD, qualsiasi funzione rappresentabile come una miscela non negativa di questi monomi è generatrice di PSD.
3. Necessità tramite Estrazione Locale e Propagazione Globale:
   • Estrazione Locale: Gli autori costruiscono una famiglia di variabili latenti sbilanciate (kernel a tre punti $H_a$) per estrarre le proprietà locali di $f$ in $t=1$. Applicando il teorema di Belton–Guillot–Khare–Putinar (BGKP) sui preservatori di positività di Hankel a rango basso, dimostrano che se la matrice è PSD, lo sviluppo di Taylor locale di $f$ in $t=1$ deve avere coefficienti non negativi per tutti gli ordini $m \ge 2$.
   • Propagazione Globale: Per estendere questa condizione locale all'intero dominio $(0, \infty)$, gli autori analizzano le "fette di Bernoulli". Mostrano che per variabili di Bernoulli con covarianza $\rho$, l'informazione mutua $H_p(\rho)$ è una combinazione lineare di $f$ valutata su argomenti traslati. Utilizzando il fatto che la PSD globale implica l'analiticità locale tramite test BGKP traslati, risolvono algebricamente per $f(t)$ per dimostrare che $f$ deve essere analitica su $(0, \infty)$.
   • Raggio di Convergenza: Infine, viene applicato il teorema di Vivanti–Pringsheim. Poiché i coefficienti di Taylor sono non negativi, un raggio di convergenza finito implicherebbe una singolarità al confine positivo. Tuttavia, l'analiticità stabilita su $(0, \infty)$ preclude tale singolarità, costringendo il raggio di convergenza a essere infinito.

Contributi e Risultati Chiave
Il risultato principale è il Teorema II.1, che fornisce una caratterizzazione completa delle $f$-divergenze generatrici di PSD per famiglie a alfabeto finito.

Teorema: Sia $f: (0, \infty) \to \mathbb{R}$ convessa, finita, con $f(1)=0$ e valore al confine finito $f(0)$. La matrice $M^{(f)}_{ij} = I_f(X_i; X_j)$ è PSD per ogni famiglia a alfabeto finito se e solo se il rappresentante normalizzato $\bar{f}(t) = f(t) + c(t-1)$ ammette uno sviluppo convergente globalmente su $(0, \infty)$:
$$\bar{f}(t) = \sum_{m \ge 2} a_m (t-1)^m, \quad \text{con } a_m \ge 0.$$

Implicazioni ed Esempi:

• Casi di Successo: La divergenza $\chi^2$ ($f(t) = (t-1)^2$) è generatrice di PSD. Più in generale, qualsiasi miscela intera non negativa di monomi $(t-1)^m$ per $m \ge 2$ (ad esempio, $f(t) = \cosh(t-1) - 1$) ha successo senza richiedere una restrizione di "quasi-indipendenza".
• Casi di Fallimento:
  • Informazione Mutua di Shannon: Il generatore $f(t) = t \log t$ si sviluppa in $(t-1) + \frac{1}{2}(t-1)^2 - \frac{1}{6}(t-1)^3 + \dots$. Il coefficiente cubico negativo ($a_3 < 0$) viola la condizione, spiegando perché le matrici MI di Shannon non sono PSD per $n \ge 4$.
  • Divergenza di Jensen–Shannon: Analogamente, il suo sviluppo contiene un termine cubico negativo, escludendola.
  • Generatori Non Analitici: Funzioni che sono convesse ma non analitiche in $t=1$, come la Variazione Totale ($f(t) = \frac{1}{2}|t-1|$) o ReLU ($f(t) = (t-1)_+$), sono escluse. Il lavoro fornisce un controesempio specifico utilizzando quattro variabili, dove la matrice kernel risultante per la Variazione Totale è indefinita.

Significato
Il lavoro afferma di risolvere un "problema di caratterizzazione del kernel" distinto dalle proprietà metriche. Spiega le ragioni strutturali dietro il successo delle misure basate su $\chi^2$ e il fallimento delle misure di Shannon e Jensen–Shannon nei contesti a kernel. Il risultato evidenzia che la generazione di PSD per matrici indicizzate dalle variabili è "eccezionalmente fragile" per le misure di dipendenza teorico-informative, richiedendo analiticità globale e coefficienti di Taylor non negativi, piuttosto che semplice convessità locale. Gli autori notano che, sebbene il risultato sia stabilito per alfabeti finiti, le estensioni a modelli continui richiederebbero ipotesi aggiuntive di teoria della misura, ma l'ostruzione a alfabeto finito fornisce già un chiaro confine teorico.