A Global Characterization of $f$-Divergences Yielding PSD Mutual-Information Matrices

Resumo Técnico: Uma Caracterização Global de Divergências f que Produzem Matrizes de Informação Mútua PSD

Declaração do Problema
O artigo aborda uma questão fundamental em medidas de dependência e métodos de kernel: Dadas $n$ variáveis aleatórias $X_1, \dots, X_n$, sob quais condições a matriz de informações mútuas $f$-par, definida como $M^{(f)}_{ij} := I_f(X_i; X_j)$, constitui um kernel positivo semidefinido (PSD)?

Embora a informação mútua seja amplamente utilizada em análise fatorial, testes de independência e extração de características, a propriedade PSD da matriz resultante não é garantida para todas as $f$-divergências. O artigo distingue este problema das propriedades métricas de divergências entre distribuições (por exemplo, se $\sqrt{JS}$ é uma métrica). Em vez disso, foca na natureza PSD da matriz indexada por variáveis $M^{(f)}$. Os autores observam que, enquanto a divergência $\chi^2$ produz matrizes PSD, a informação mútua de Shannon (baseada em $f(t) = t \log t$) falha neste requisito para $n \ge 4$, e essa indefinição pode ocorrer mesmo sob dependência par arbitrariamente fraca.

Metodologia
O artigo emprega uma combinação de construções probabilísticas, análise funcional e caracterização algébrica para derivar condições necessárias e suficientes.

1. Invariância sob Transformação Linear: Os autores estabelecem primeiro que as $f$-divergências são invariantes sob a transformação linear $f(t) \mapsto f(t) + c(t-1)$. Consequentemente, a caracterização é realizada no representante normalizado $\bar{f}(t)$ onde $\bar{f}(1) = \bar{f}'(1) = 0$.
2. Suficiência via Incorporação de Réplicas: Para provar que uma classe específica de funções produz matrizes PSD, os autores utilizam uma "incorporação de réplicas". Eles mostram que, para geradores monomiais $f_m(t) = (t-1)^m$ com $m \ge 2$, a matriz de informação mútua pode ser realizada como uma matriz de Gram de funções específicas derivadas de cópias independentes (réplicas) das variáveis aleatórias. Como misturas não negativas de matrizes PSD permanecem PSD, qualquer função representável como uma mistura não negativa desses monômios é geradora de PSD.
3. Necessidade via Extração Local e Propagação Global:
   • Extração Local: Os autores constroem uma família de variáveis latentes enviesadas (kernels de três pontos $H_a$) para extrair propriedades locais de $f$ em $t=1$. Ao aplicar o teorema de Belton–Guillot–Khare–Putinar (BGKP) sobre preservadores de positividade de Hankel de baixo posto, eles demonstram que, se a matriz for PSD, a expansão de Taylor local de $f$ em $t=1$ deve ter coeficientes não negativos para todas as ordens $m \ge 2$.
   • Propagação Global: Para estender esta condição local a todo o domínio $(0, \infty)$, os autores analisam "fatias de Bernoulli". Eles mostram que, para variáveis de Bernoulli com covariância $\rho$, a informação mútua $H_p(\rho)$ é uma combinação linear de $f$ avaliada em argumentos deslocados. Usando o fato de que a PSD global implica analiticidade local via testes BGKP deslocados, eles resolvem algebricamente para $f(t)$ para provar que $f$ deve ser analítica em $(0, \infty)$.
   • Raio de Convergência: Finalmente, o teorema de Vivanti–Pringsheim é aplicado. Como os coeficientes de Taylor são não negativos, um raio de convergência finito implicaria uma singularidade na fronteira positiva. No entanto, a analiticidade estabelecida em $(0, \infty)$ previne tal singularidade, forçando o raio de convergência a ser infinito.

Principais Contribuições e Resultados
O resultado principal é o Teorema II.1, que fornece uma caracterização completa das $f$-divergências geradoras de PSD para famílias de alfabetos finitos.

Teorema: Seja $f: (0, \infty) \to \mathbb{R}$ convexa, finita, com $f(1)=0$ e valor de fronteira finito $f(0)$. A matriz $M^{(f)}_{ij} = I_f(X_i; X_j)$ é PSD para toda família de alfabetos finitos se e somente se o representante normalizado $\bar{f}(t) = f(t) + c(t-1)$ admitir uma expansão globalmente convergente em $(0, \infty)$:
$$\bar{f}(t) = \sum_{m \ge 2} a_m (t-1)^m, \quad \text{com } a_m \ge 0.$$

Implicações e Exemplos:

• Casos de Sucesso: A divergência $\chi^2$ ($f(t) = (t-1)^2$) é geradora de PSD. Mais geralmente, qualquer mistura inteira não negativa de monômios $(t-1)^m$ para $m \ge 2$ (por exemplo, $f(t) = \cosh(t-1) - 1$) tem sucesso sem exigir uma restrição de "quase-independência".
• Casos de Falha:
  • Informação Mútua de Shannon: O gerador $f(t) = t \log t$ expande-se para $(t-1) + \frac{1}{2}(t-1)^2 - \frac{1}{6}(t-1)^3 + \dots$. O coeficiente cúbico negativo ($a_3 < 0$) viola a condição, explicando por que as matrizes de IM de Shannon não são PSD para $n \ge 4$.
  • Divergência de Jensen–Shannon: Da mesma forma, sua expansão contém um termo cúbico negativo, excluindo-a.
  • Geradores Não Analíticos: Funções que são convexas, mas não analíticas em $t=1$, como Variação Total ($f(t) = \frac{1}{2}|t-1|$) ou ReLU ($f(t) = (t-1)_+$), são excluídas. O artigo fornece um contraexemplo específico usando quatro variáveis onde a matriz de kernel resultante para Variação Total é indefinida.

Significado
O artigo afirma resolver um "problema de caracterização de kernel" distinto das propriedades métricas. Ele explica as razões estruturais por trás do sucesso das medidas baseadas em $\chi^2$ e da falha das medidas de Shannon e Jensen–Shannon em contextos de kernel. O resultado destaca que a geração de PSD para matrizes indexadas por variáveis é "excepcionalmente frágil" para medidas de dependência da teoria da informação, exigindo analiticidade global e coeficientes de Taylor não negativos, em vez de apenas convexidade local. Os autores observam que, embora o resultado seja estabelecido para alfabetos finitos, extensões para modelos contínuos exigiriam hipóteses adicionais de teoria da medida, mas a obstrução de alfabetos finitos já fornece um limite teórico claro.