A Global Characterization of $f$-Divergences Yielding PSD Mutual-Information Matrices

Technische Zusammenfassung: Eine globale Charakterisierung von f-Divergenzen, die PSD-Mutual-Information-Matrizen ergeben

Problemstellung
Der Artikel adressiert eine fundamentale Frage in Abhängigkeitsmaßen und Kernel-Methoden: Unter welchen Bedingungen bildet die Matrix der paarweisen f-Mutual-Informationen, definiert als $M^{(f)}_{ij} := I_f(X_i; X_j)$, für $n$ Zufallsvariablen $X_1, \dots, X_n$ einen positiv semidefiniten (PSD) Kernel?

Während Mutual Information in der Faktorenanalyse, Unabhängigkeitstests und Merkmalsextraktion weit verbreitet ist, ist die PSD-Eigenschaft der resultierenden Matrix nicht für alle f-Divergenzen garantiert. Der Artikel unterscheidet dieses Problem von den metrischen Eigenschaften von Divergenzen zwischen Verteilungen (z. B. ob $\sqrt{JS}$ eine Metrik ist). Stattdessen konzentriert er sich auf die PSD-Natur der variablenindizierten Matrix $M^{(f)}$. Die Autoren stellen fest, dass zwar die $\chi^2$-Divergenz PSD-Matrizen liefert, die Shannon-Mutual-Information (basierend auf $f(t) = t \log t$) diese Anforderung jedoch für $n \ge 4$ nicht erfüllt, und dass diese Indefinitheit sogar unter beliebig schwacher paarweiser Abhängigkeit auftreten kann.

Methodik
Der Artikel kombiniert probabilistische Konstruktionen, Funktionalanalysis und algebraische Charakterisierung, um notwendige und hinreichende Bedingungen abzuleiten.

1. Invarianz unter linearer Transformation: Die Autoren etablieren zunächst, dass f-Divergenzen invariant unter der linearen Transformation $f(t) \mapsto f(t) + c(t-1)$ sind. Folglich wird die Charakterisierung für den normalisierten Repräsentanten $\bar{f}(t)$ durchgeführt, wobei $\bar{f}(1) = \bar{f}'(1) = 0$ gilt.
2. Hinreichendheit durch Replica-Einbettung: Um zu beweisen, dass eine bestimmte Klasse von Funktionen PSD-Matrizen erzeugt, nutzen die Autoren eine „Replica-Einbettung". Sie zeigen, dass für monomiale Generatoren $f_m(t) = (t-1)^m$ mit $m \ge 2$ die Mutual-Information-Matrix als Gram-Matrix spezifischer Funktionen realisiert werden kann, die von unabhängigen Kopien (Replicas) der Zufallsvariablen abgeleitet sind. Da nichtnegative Mischungen von PSD-Matrizen weiterhin PSD sind, ist jede Funktion, die als nichtnegative Mischung dieser Monome darstellbar ist, PSD-erzeugend.
3. Notwendigkeit durch lokale Extraktion und globale Propagation:
   • Lokale Extraktion: Die Autoren konstruieren eine verzerrte Familie latenter Variablen (Dreipunkt-Kernel $H_a$), um lokale Eigenschaften von $f$ bei $t=1$ zu extrahieren. Durch Anwendung des Belton–Guillot–Khare–Putinar (BGKP)-Theorems über niedrigrangige Hankel-Positivitäts-Erhalter zeigen sie, dass, wenn die Matrix PSD ist, die lokale Taylor-Entwicklung von $f$ bei $t=1$ nichtnegative Koeffizienten für alle Ordnungen $m \ge 2$ aufweisen muss.
   • Globale Propagation: Um diese lokale Bedingung auf den gesamten Definitionsbereich $(0, \infty)$ zu erweitern, analysieren die Autoren „Bernoulli-Scheiben". Sie zeigen, dass für Bernoulli-Variablen mit Kovarianz $\rho$ die Mutual-Information $H_p(\rho)$ eine Linearkombination von $f$, ausgewertet an verschobenen Argumenten, ist. Unter Verwendung der Tatsache, dass globale PSD-Lokalität über verschobene BGKP-Tests analytische Eigenschaften impliziert, lösen sie algebraisch nach $f(t)$ auf, um zu beweisen, dass $f$ auf $(0, \infty)$ analytisch sein muss.
   • Konvergenzradius: Schließlich wird das Vivanti–Pringsheim-Theorem angewendet. Da die Taylor-Koeffizienten nichtnegativ sind, würde ein endlicher Konvergenzradius eine Singularität an der positiven Grenze implizieren. Da jedoch die etablierte Analytizität auf $(0, \infty)$ eine solche Singularität ausschließt, muss der Konvergenzradius unendlich sein.

Hauptbeiträge und Ergebnisse
Das Hauptergebnis ist Satz II.1, der eine vollständige Charakterisierung von PSD-erzeugenden f-Divergenzen für Familien mit endlichem Alphabet liefert.

Satz: Sei $f: (0, \infty) \to \mathbb{R}$ konvex, endlich, mit $f(1)=0$ und endlichem Randwert $f(0)$. Die Matrix $M^{(f)}_{ij} = I_f(X_i; X_j)$ ist für jede Familie mit endlichem Alphabet genau dann PSD, wenn der normalisierte Repräsentant $\bar{f}(t) = f(t) + c(t-1)$ eine auf $(0, \infty)$ global konvergente Entwicklung zulässt:
$$\bar{f}(t) = \sum_{m \ge 2} a_m (t-1)^m, \quad \text{mit } a_m \ge 0.$$

Implikationen und Beispiele:

• Erfolgsfälle: Die $\chi^2$-Divergenz ($f(t) = (t-1)^2$) ist PSD-erzeugend. Allgemeiner ist jede nichtnegative ganze Mischung von Monomen $(t-1)^m$ für $m \ge 2$ (z. B. $f(t) = \cosh(t-1) - 1$) erfolgreich, ohne eine „nahe-Unabhängigkeits"-Einschränkung zu erfordern.
• Fehlschläge:
  • Shannon-Mutual-Information: Der Generator $f(t) = t \log t$ entwickelt sich zu $(t-1) + \frac{1}{2}(t-1)^2 - \frac{1}{6}(t-1)^3 + \dots$. Der negative kubische Koeffizient ($a_3 < 0$) verletzt die Bedingung, was erklärt, warum Shannon-MI-Matrizen für $n \ge 4$ nicht PSD sind.
  • Jensen–Shannon-Divergenz: Ebenso enthält ihre Entwicklung einen negativen kubischen Term, was sie ausschließt.
  • Nicht-analytische Generatoren: Funktionen, die konvex, aber bei $t=1$ nicht-analytisch sind, wie die Totale Variation ($f(t) = \frac{1}{2}|t-1|$) oder ReLU ($f(t) = (t-1)_+$), sind ausgeschlossen. Der Artikel liefert ein spezifisches Gegenbeispiel mit vier Variablen, bei dem die resultierende Kernel-Matrix für die Totale Variation indefinit ist.

Bedeutung
Der Artikel beansprucht, ein „Kernel-Charakterisierungsproblem" zu lösen, das sich von metrischen Eigenschaften unterscheidet. Er erklärt die strukturellen Gründe für den Erfolg von $\chi^2$-basierten Maßen und das Versagen von Shannon- und Jensen–Shannon-Maßen in Kernel-Kontexten. Das Ergebnis unterstreicht, dass die PSD-Generierung für variablenindizierte Matrizen für informationstheoretische Abhängigkeitsmaße „außergewöhnlich brüchig" ist und globale Analytizität sowie nichtnegative Taylor-Koeffizienten erfordert, nicht nur lokale Konvexität. Die Autoren stellen fest, dass das Ergebnis zwar für endliche Alphabete etabliert ist, Erweiterungen auf kontinuierliche Modelle jedoch zusätzliche maßtheoretische Hypothesen erfordern würden, die Hindernisse für endliche Alphabete jedoch bereits eine klare theoretische Grenze setzen.