A Global Characterization of $f$-Divergences Yielding PSD Mutual-Information Matrices

Resumen Técnico: Una Caracterización Global de las Divergencias f que Producen Matrices de Información Mutua Semidefinidas Positivas

Planteamiento del Problema
El artículo aborda una pregunta fundamental en medidas de dependencia y métodos de kernel: Dadas $n$ variables aleatorias $X_1, \dots, X_n$, ¿bajo qué condiciones la matriz de informaciones mutuas pares $f$, definida como $M^{(f)}_{ij} := I_f(X_i; X_j)$, constituye un kernel semidefinido positivo (PSD)?

Si bien la información mutua se utiliza ampliamente en análisis factorial, pruebas de independencia y extracción de características, la propiedad PSD de la matriz resultante no está garantizada para todas las divergencias $f$. El artículo distingue este problema de las propiedades métricas de las divergencias entre distribuciones (por ejemplo, si $\sqrt{JS}$ es una métrica). En cambio, se centra en la naturaleza PSD de la matriz indexada por variables $M^{(f)}$. Los autores señalan que, aunque la divergencia $\chi^2$ produce matrices PSD, la información mutua de Shannon (basada en $f(t) = t \log t$) no cumple este requisito para $n \ge 4$, y esta indefinición puede ocurrir incluso bajo dependencias pares arbitrariamente débiles.

Metodología
El artículo emplea una combinación de construcciones probabilísticas, análisis funcional y caracterización algebraica para derivar condiciones necesarias y suficientes.

1. Invarianza bajo Transformación Lineal: Los autores establecen primero que las divergencias $f$ son invariantes bajo la transformación lineal $f(t) \mapsto f(t) + c(t-1)$. En consecuencia, la caracterización se realiza sobre el representante normalizado $\bar{f}(t)$ donde $\bar{f}(1) = \bar{f}'(1) = 0$.
2. Suficiencia mediante Incrustación de Réplicas: Para demostrar que una clase específica de funciones produce matrices PSD, los autores utilizan una "incrustación de réplicas". Muestran que para generadores monomiales $f_m(t) = (t-1)^m$ con $m \ge 2$, la matriz de información mutua puede realizarse como una matriz de Gram de funciones específicas derivadas de copias independientes (réplicas) de las variables aleatorias. Dado que las mezclas no negativas de matrices PSD permanecen PSD, cualquier función representable como una mezcla no negativa de estos monomios es generadora de PSD.
3. Necesidad mediante Extracción Local y Propagación Global:
   • Extracción Local: Los autores construyen una familia de variables latentes sesgadas (kernels de tres puntos $H_a$) para extraer propiedades locales de $f$ en $t=1$. Al aplicar el teorema de Belton–Guillot–Khare–Putinar (BGKP) sobre preservadores de positividad de Hankel de rango bajo, demuestran que si la matriz es PSD, la expansión de Taylor local de $f$ en $t=1$ debe tener coeficientes no negativos para todos los órdenes $m \ge 2$.
   • Propagación Global: Para extender esta condición local a todo el dominio $(0, \infty)$, los autores analizan "rebanadas de Bernoulli". Muestran que para variables de Bernoulli con covarianza $\rho$, la información mutua $H_p(\rho)$ es una combinación lineal de $f$ evaluada en argumentos desplazados. Utilizando el hecho de que la PSD global implica analiticidad local mediante pruebas BGKP desplazadas, resuelven algebraicamente para $f(t)$ y demuestran que $f$ debe ser analítica en $(0, \infty)$.
   • Radio de Convergencia: Finalmente, se aplica el teorema de Vivanti–Pringsheim. Dado que los coeficientes de Taylor son no negativos, un radio de convergencia finito implicaría una singularidad en el límite positivo. Sin embargo, la analiticidad establecida en $(0, \infty)$ previene dicha singularidad, forzando que el radio de convergencia sea infinito.

Contribuciones y Resultados Clave
El resultado principal es el Teorema II.1, que proporciona una caracterización completa de las divergencias $f$ generadoras de PSD para familias de alfabetos finitos.

Teorema: Sea $f: (0, \infty) \to \mathbb{R}$ convexa, finita, con $f(1)=0$ y valor límite finito $f(0)$. La matriz $M^{(f)}_{ij} = I_f(X_i; X_j)$ es PSD para toda familia de alfabetos finitos si y solo si el representante normalizado $\bar{f}(t) = f(t) + c(t-1)$ admite una expansión convergente global en $(0, \infty)$:
$$\bar{f}(t) = \sum_{m \ge 2} a_m (t-1)^m, \quad \text{con } a_m \ge 0.$$

Implicaciones y Ejemplos:

• Casos de Éxito: La divergencia $\chi^2$ ($f(t) = (t-1)^2$) es generadora de PSD. Más generalmente, cualquier mezcla entera no negativa de monomios $(t-1)^m$ para $m \ge 2$ (por ejemplo, $f(t) = \cosh(t-1) - 1$) tiene éxito sin requerir una restricción de "cercanía a la independencia".
• Casos de Fallo:
  • Información Mutua de Shannon: El generador $f(t) = t \log t$ se expande a $(t-1) + \frac{1}{2}(t-1)^2 - \frac{1}{6}(t-1)^3 + \dots$. El coeficiente cúbico negativo ($a_3 < 0$) viola la condición, explicando por qué las matrices de IM de Shannon no son PSD para $n \ge 4$.
  • Divergencia de Jensen–Shannon: De manera similar, su expansión contiene un término cúbico negativo, lo que la descarta.
  • Generadores No Analíticos: Las funciones que son convexas pero no analíticas en $t=1$, como la Variación Total ($f(t) = \frac{1}{2}|t-1|$) o ReLU ($f(t) = (t-1)_+$), están excluidas. El artículo proporciona un contraejemplo específico utilizando cuatro variables donde la matriz kernel resultante para la Variación Total es indefinida.

Significado
El artículo afirma resolver un "problema de caracterización de kernel" distinto de las propiedades métricas. Explica las razones estructurales detrás del éxito de las medidas basadas en $\chi^2$ y el fracaso de las medidas de Shannon y Jensen–Shannon en contextos de kernel. El resultado destaca que la generación de PSD para matrices indexadas por variables es "excepcionalmente frágil" para las medidas de dependencia teóricas de la información, requiriendo analiticidad global y coeficientes de Taylor no negativos, en lugar de solo convexidad local. Los autores señalan que, aunque el resultado se establece para alfabetos finitos, las extensiones a modelos continuos requerirían hipótesis adicionales de teoría de la medida, pero la obstrucción de alfabeto finito ya proporciona un límite teórico claro.