A Global Characterization of $f$-Divergences Yielding PSD Mutual-Information Matrices

Technische Samenvatting: Een Globale Karakterisering van f-Divergenties die PSD-Mutual-Information-Matrices Opbrengen

Probleemstelling
Het artikel adresseert een fundamentele vraag op het gebied van afhankelijkheidsmaten en kernmethoden: onder welke voorwaarden vormt de matrix van paarsgewijze $f$-mutuele informatie, gedefinieerd als $M^{(f)}_{ij} := I_f(X_i; X_j)$, voor $n$ willekeurige variabelen $X_1, \dots, X_n$, een positief semidefiniete (PSD) kern?

Hoewel mutuele informatie veel wordt gebruikt in factoranalyse, onafhankelijkheidstesten en kenmerkextractie, is de PSD-eigenschap van de resulterende matrix niet gegarandeerd voor alle $f$-divergenties. Het artikel onderscheidt dit probleem van de metriek-eigenschappen van divergenties tussen verdelingen (bijvoorbeeld of $\sqrt{JS}$ een metriek is). In plaats daarvan richt het zich op de PSD-natuur van de door variabelen geïndexeerde matrix $M^{(f)}$. De auteurs merken op dat hoewel de $\chi^2$-divergentie PSD-matrices oplevert, de Shannon-mutuele informatie (gebaseerd op $f(t) = t \log t$) niet aan deze eis voldoet voor $n \ge 4$, en dat deze onbepaaldheid zelfs kan optreden onder willekeurig zwakke paarsgewijze afhankelijkheid.

Methodologie
Het artikel maakt gebruik van een combinatie van probabilistische constructies, functionaalanalyse en algebraïsche karakterisering om noodzakelijke en voldoende voorwaarden af te leiden.

1. Invariantie onder Lineaire Transformatie: De auteurs stellen eerst vast dat $f$-divergenties invariant zijn onder de lineaire transformatie $f(t) \mapsto f(t) + c(t-1)$. Bijgevolg wordt de karakterisering uitgevoerd op de genormaliseerde vertegenwoordiger $\bar{f}(t)$ waarbij $\bar{f}(1) = \bar{f}'(1) = 0$.
2. Voldoende via Replica-Embedding: Om te bewijzen dat een specifieke klasse van functies PSD-matrices oplevert, maken de auteurs gebruik van een "replica-embedding". Zij tonen aan dat voor monomiale generatoren $f_m(t) = (t-1)^m$ met $m \ge 2$, de mutuele-informatiematrix kan worden gerealiseerd als een Gram-matrix van specifieke functies die zijn afgeleid van onafhankelijke kopieën (replica's) van de willekeurige variabelen. Aangezien niet-negatieve mengsels van PSD-matrices PSD blijven, is elke functie die kan worden voorgesteld als een niet-negatief mengsel van deze monomen PSD-genererend.
3. Noodzakelijkheid via Lokale Extractie en Globale Propagatie:
   • Lokale Extractie: De auteurs construeren een familie van bevooroordeelde latente variabelen (drie-puntskernen $H_a$) om lokale eigenschappen van $f$ bij $t=1$ te extraheren. Door het Belton–Guillot–Khare–Putinar (BGKP)-theorema over rangverminderende Hankel-positiviteitsbehouders toe te passen, tonen zij aan dat als de matrix PSD is, de lokale Taylor-ontwikkeling van $f$ bij $t=1$ niet-negatieve coëfficiënten moet hebben voor alle orden $m \ge 2$.
   • Globale Propagatie: Om deze lokale voorwaarde uit te breiden naar het gehele domein $(0, \infty)$, analyseren de auteurs "Bernoulli-schijven". Zij tonen aan dat voor Bernoulli-variabelen met covariantie $\rho$, de mutuele informatie $H_p(\rho)$ een lineaire combinatie is van $f$ geëvalueerd bij verschoven argumenten. Met behulp van het feit dat globale PSD lokale analyticiteit impliceert via verschoven BGKP-tests, lossen zij algebraïsch op voor $f(t)$ om te bewijzen dat $f$ analytisch moet zijn op $(0, \infty)$.
   • Convergentieradius: Ten slotte wordt het Vivanti–Pringsheim-theorema toegepast. Aangezien de Taylor-coëfficiënten niet-negatief zijn, zou een eindige convergentieradius een singulariteit bij de positieve rand impliceren. Echter, de vastgestelde analyticiteit op $(0, \infty)$ sluit een dergelijke singulariteit uit, waardoor de convergentieradius oneindig moet zijn.

Belangrijkste Bijdragen en Resultaten
Het hoofdresultaat is Stelling II.1, die een volledige karakterisering biedt van PSD-genererende $f$-divergenties voor families met een eindig alfabet.

Stelling: Laat $f: (0, \infty) \to \mathbb{R}$ convex en eindig zijn, met $f(1)=0$ en een eindige randwaarde $f(0)$. De matrix $M^{(f)}_{ij} = I_f(X_i; X_j)$ is PSD voor elke familie met een eindig alfabet dan en slechts dan als de genormaliseerde vertegenwoordiger $\bar{f}(t) = f(t) + c(t-1)$ een globaal convergente expansie toestaat op $(0, \infty)$:
$$\bar{f}(t) = \sum_{m \ge 2} a_m (t-1)^m, \quad \text{met } a_m \ge 0.$$

Implicaties en Voorbeelden:

• Succesgevallen: De $\chi^2$-divergentie ($f(t) = (t-1)^2$) is PSD-genererend. Meer algemeen is elk niet-negatief geheel mengsel van monomen $(t-1)^m$ voor $m \ge 2$ (bijvoorbeeld $f(t) = \cosh(t-1) - 1$) succesvol zonder dat een beperking tot "bijna-onafhankelijkheid" vereist is.
• Mislukte Gevallen:
  • Shannon-mutuele Informatie: De generator $f(t) = t \log t$ ontwikkelt zich tot $(t-1) + \frac{1}{2}(t-1)^2 - \frac{1}{6}(t-1)^3 + \dots$. De negatieve kubische coëfficiënt ($a_3 < 0$) schendt de voorwaarde, wat verklaart waarom Shannon MI-matrices niet PSD zijn voor $n \ge 4$.
  • Jensen–Shannon Divergentie: Evenzo bevat de expansie hiervan een negatieve kubische term, waardoor deze wordt uitgesloten.
  • Niet-analytische Generatoren: Functies die convex zijn maar niet-analytisch bij $t=1$, zoals Totale Variatie ($f(t) = \frac{1}{2}|t-1|$) of ReLU ($f(t) = (t-1)_+$), worden uitgesloten. Het artikel levert een specifiek tegenvoorbeeld met vier variabelen waaruit blijkt dat de resulterende kernmatrix voor Totale Variatie onbepaald is.

Betekenis
Het artikel claimt een "kernkarakteriseringsprobleem" op te lossen dat verschilt van metriek-eigenschappen. Het verklaart de structurele redenen achter het succes van op $\chi^2$ gebaseerde maten en het falen van Shannon- en Jensen–Shannon-maten in kerncontexten. Het resultaat benadrukt dat PSD-generatie voor door variabelen geïndexeerde matrices "bijzonder breekbaar" is voor op informatietheorie gebaseerde afhankelijkheidsmaten, waarbij globale analyticiteit en niet-negatieve Taylor-coëfficiënten vereist zijn, in plaats van louter lokale convexiteit. De auteurs merken op dat hoewel het resultaat is vastgesteld voor eindige alfabetten, uitbreidingen naar continue modellen aanvullende maattheoretische hypothesen zouden vereisen, maar dat de obstructie voor eindige alfabetten al een duidelijke theoretische grens biedt.