Higher-order Common Information

Resumo Técnico: Informação Comum de Ordem Superior

Enunciado do Problema
Caracterizar a informação compartilhada dentro de uma coleção de $n$ variáveis aleatórias ($X_1, \dots, X_n$) permanece um desafio significativo para $n > 2$. Embora a informação mútua de Shannon $I(X_1; X_2)$ quantifique efetivamente a dependência de pares, não existe uma extensão canônica única para interações de ordem superior. As abordagens existentes frequentemente dependem de resumos de pares (por exemplo, o mínimo da informação mútua de pares), que podem ser enganosos, pois não determinam se a mesma parcela de informação está presente em todas as variáveis simultaneamente.

Outras noções estabelecidas de informação comum, como a informação comum de Wyner ($C_W$) e a informação comum de Gács–Körner ($C_{GK}$), possuem limitações. $C_W$ quantifica a aleatoriedade necessária para simular uma distribuição conjunta via uma variável latente, frequentemente resultando em valores maiores que a informação mútua. $C_{GK}$ captura apenas partes comuns determinísticas, podendo ser zero mesmo quando as variáveis são estatisticamente dependentes. Além disso, muitas medidas existentes para variáveis contínuas (como a entropia de informação comum) podem divergir, e as medidas de Decomposição de Informação Parcial (PID) frequentemente exigem uma variável alvo externa ou suposições de modelos restritivas (como a gaussianidade conjunta). Há uma necessidade de uma medida que capture a estrutura compartilhada intrínseca entre $n$ variáveis sem referência a um alvo externo, que esteja localmente presente em cada variável e permaneça significativa tanto para distribuições discretas quanto contínuas.

Metodologia
O artigo introduz a Informação Comum de Ordem Superior (HCI), denotada por $R(X_1, \dots, X_n)$. A metodologia central é uma construção de gargalo de informação (information-bottleneck) iterativa baseada em restrições de Markov aninhadas.

1. Construção Iterativa: A definição começa fixando uma variável de referência $X_i$ e uma ordenação das variáveis restantes. Uma variável auxiliar $T$ é construída através de uma sequência de estágios. Em cada estágio $\ell$, uma nova auxiliar $T_{\ell+1}$ é derivada da auxiliar anterior $T_\ell$ de tal forma que:

   • Restrição de Markov: $T_{\ell+1} - T_\ell - X$ ocorre (onde $X$ é o conjunto de todas as variáveis).
   • Restrição de Correspondência de Informação: A informação mútua é preservada entre a auxiliar atual e a próxima variável na sequência: $I(T_{\ell+1}; T_\ell) = I(T_\ell; X_{\pi(\ell)})$.
   • Otimização: A construção minimiza a informação mútua entre a nova auxiliar e o conjunto completo de variáveis $X$, eliminando efetivamente a informação privada enquanto retém a informação compartilhada.

2. Definição de HCI: A HCI final é definida minimizando sobre todas as possíveis variáveis de referência $X_i$ e supremizando sobre todas as permutações das variáveis restantes e todos os auxiliares terminais válidos. Formalmente:
   $$R(X_1, \dots, X_n) \triangleq \min_i \sup_{T \in \mathcal{T}_i(X)} \min_j I(T; X_j)$$
   Isso garante que a medida seja invariante à escolha da referência e capture a taxa máxima na qual uma representação comprimida única pode preservar simultaneamente a informação sobre todas as variáveis.

3. Aproximação para Fontes Gerais: Para distribuições arbitrárias onde soluções de forma fechada não estão disponíveis, o artigo propõe um procedimento numérico prático. Isso envolve a construção de variáveis auxiliares degradadas adicionando ruído (por exemplo, ruído Gaussiano) para satisfazer as restrições de correspondência de informação empiricamente. Isso gera um limite inferior computável para a HCI.

Principais Contribuições e Resultados

• Expressões de Forma Fechada:

  • Fontes Gaussianas: Para variáveis conjuntamente Gaussianas com coeficientes de correlação $\rho_{jk}$, o artigo deriva uma expressão de forma fechada envolvendo as estatísticas de ordem dos coeficientes de correlação absolutos. Especificamente, para uma referência $i$, a HCI depende do produto das menores correlações no conjunto.
  • Fontes de Bernoulli: Para fontes binárias geradas por uma fonte comum $U$ corrompida por ruído independente ($X_j = U \oplus N_j$), uma expressão de forma fechada é derivada. Notavelmente, para essas fontes, a informação comum de Gács–Körner é zero, enquanto a HCI proposta é estritamente positiva para todo $n$ finito, demonstrando sua capacidade de capturar a estrutura compartilhada estatística (não determinística).
  • Fontes Discretas Gerais: Para variáveis construídas a partir de componentes independentes, mostra-se que a HCI é igual à entropia da interseção dos conjuntos de componentes.

• Propriedades Teóricas:

  • Limites: O artigo estabelece que $R(X_1, \dots, X_n) \leq I(X_i; X_j) \leq C_W(X_1, \dots, X_n)$ e $R(X_1, \dots, X_n) \leq DTC(X_1, \dots, X_n) \leq TC(X_1, \dots, X_n)$.
  • Consistência: Para $n=2$, $R(X_1, X_2)$ reduz-se exatamente à informação mútua padrão $I(X_1; X_2)$.
  • Não-crescente: Adicionar mais variáveis ao conjunto não pode aumentar a HCI; $R(X_1, \dots, X_n) \leq R(X_1, \dots, X_{n-1})$.
  • Vanecimento: Se qualquer par de variáveis for independente, a HCI torna-se nula.

• Aplicação Empírica (Dados de EEG):
  Os autores aplicaram o método de aproximação numérica a um conjunto de dados do mundo real envolvendo registros de EEG de escalpo de 64 canais durante uma tarefa de atenção auditiva. Eles analisaram a relação entre os sinais de EEG (dos eletrodos temporais) e os envelopes dos fluxos de fala de alvo e distrator.

  • Descobertas: O estudo demonstrou que a informação comum de terceira ordem ($R_3$) contém informação significativa sobre as respostas de rastreamento neural que não é explicada pelo mínimo das informações mútuas de pares ($R_2$).
  • Significância Estatística: Análises de regressão mostraram que $R_3$ explicou uma variância significativa nas respostas de rastreamento neural além do que foi capturado por $R_2$, confirmando a presença de dependências de ordem superior na resposta neural à fala.

Significância
O artigo afirma que a HCI fornece uma medida fundamentalmente local de estrutura compartilhada que é intrínseca à coleção de variáveis, distinta de abordagens que dependem de alvos externos ou simulação de variáveis latentes. Ao restringir estritamente a caracterização da redundância em comparação com limites existentes (especificamente sendo estritamente menor que a informação mútua de pares e a informação comum de Wyner em muitos casos), a HCI revela a estrutura compartilhada que as medidas existentes perdem. A capacidade de derivar soluções de forma fechada para fontes Gaussianas e de Bernoulli, combinada com um procedimento de estimação prático para dados gerais, oferece uma nova ferramenta para descobrir dependências multivariadas inerentes em sistemas complexos, como demonstrado pela análise de dados neurais.