A scalable estimator of higher-order information in complex dynamical systems

1. O Problema

A compreensão de sistemas complexos (como redes biológicas, dinâmicas sociais e processos físicos) depende da capacidade de caracterizar como eles realizam computação distribuída e integram informação. Um aspecto fundamental desses sistemas é o surgimento de dinâmicas coletivas não lineares que vão além de simples relações par a par (interdependências de ordem superior).

Apesar do avanço de medidas teóricas para descrever essas estruturas de informação, a aplicação prática em grandes sistemas enfrenta dois obstáculos principais:

1. Escalabilidade: A maioria das técnicas existentes não escala eficientemente com o tamanho do sistema, tornando o cálculo computacionalmente proibitivo para grandes conjuntos de dados.
2. Foco em Séries Temporais: Existem poucas medidas projetadas especificamente para séries temporais multivariadas dinâmicas, que são essenciais para modelar a evolução conjunta de partes de um sistema ao longo do tempo.
3. Separação de Contribuições: Muitas abordagens atuais apenas expressam contribuições de ordem superior como parte de um balanço com dependências de ordem inferior, sem isolá-las explicitamente.

2. Metodologia: Informação M (M-information)

Os autores introduzem uma nova medida chamada Informação M (M-information), que quantifica a integração de informação de ordem superior em sistemas dinâmicos complexos.

Fundamentos Teóricos

• Base na Informação de União (Union Information): O método expande o conceito de "informação de união" ($I_\cup$), que captura a informação compartilhada entre fontes e um alvo baseada apenas em marginais pareados.
• Definição Formal:
  • Seja $X$ o vetor de fontes (ex: estado passado do sistema) e $Y$ o vetor de alvos (ex: estado futuro).
  • Define-se a Informação W ($W(X; Y)$) como a informação mútua mínima entre $X$ e $Y$ sobre todas as distribuições de probabilidade $Q$ que preservam as mesmas marginais pareadas da distribuição original $P$. Matematicamente:
    $$W(X; Y) := \min_{Q \in \Delta_P} I_Q(X; Y)$$
    onde $\Delta_P$ é o conjunto de distribuições com as mesmas marginais pareadas que $P$.
  • A Informação M é definida como o resíduo:
    $$M(X; Y) := I(X; Y) - W(X; Y)$$
  • Sob certas suposições (dependência pareada, não-negatividade e existência de uma distribuição sem informação de ordem superior), $W$ representa a informação de ordem inferior (pareada) e $M$ representa a informação de ordem superior (além do pareado).

Algoritmo e Otimização Convexa

• Suposição Gaussiana: Para tornar o problema tratável, os autores restringem a análise a sistemas onde $X$ e $Y$ seguem uma distribuição conjunta Gaussiana.
• Formulação Convexa: Eles demonstram que a minimização para calcular $W$ pode ser resolvida via otimização convexa.
• Parametrização: O problema é reformulado utilizando a decomposição de Cholesky da matriz de covariância. Ao parametrizar a matriz de covariância da distribuição otimizada ($Q$) de forma a manter as marginais pareadas fixas, o problema de otimização restrita é transformado em um problema de otimização irrestrita sobre números reais.
• Escalabilidade: O algoritmo utiliza métodos baseados em gradiente (como Adam) e escala de forma eficiente com o tamanho do sistema, permitindo a análise de dados de alta dimensão.

3. Contribuições Principais

1. Nova Medida Teórica: Introdução da Informação M como uma medida multivariada de dependências de ordem superior, complementada pela Informação W para dependências de ordem inferior.
2. Algoritmo Eficiente: Desenvolvimento de um algoritmo robusto baseado em otimização convexa para Gaussianos, que é escalável para grandes sistemas.
3. Validação em Dados Sintéticos e Reais: Demonstração da eficácia da medida em modelos sintéticos (lineares e não lineares) e em dados neurocientíficos reais.
4. Integração com Decomposição de Informação: Incorporação da Informação M em frameworks existentes de decomposição de informação parcial (PID), especificamente criando uma taxonomia mais fina chamada BROJA-$\Phi$ID, que permite decompor o fluxo de informação em 16 modos distintos (redundância, unicidade e sinergia entre múltiplas fontes e alvos).

4. Resultados

Dados Sintéticos

• Sistemas Toy: A medida corretamente identificou que sistemas do tipo "XOR" contêm informação de ordem superior, enquanto sistemas de "cópia" ou "transferência" simples não.
• Processos Autoregressivos (VAR): A Informação M capturou dinâmicas de cooperação não mediadas por ruído. Mostrou-se mais sensível a parâmetros de acoplamento e correlação de ruído do que medidas existentes como Informação O (O-information) e o Índice de Redundância-Sinergia (RSI).
• Dinâmica Neural Não-Linear (Wilson-Cowan): Mesmo aplicando o estimador Gaussiano a um modelo não-linear, a Informação M foi capaz de identificar o regime crítico de oscilações periódicas sustentadas e mostrou robustez ao ruído.

Dados Empíricos (Neurociência)

• Macaco (Consciência): Aplicado a registros ECoG de macacos em estados de vigília, sono e sedação (anestesia).
  • Resultado: A Informação M foi consistentemente maior durante a vigília do que durante o sono ou sedação.
  • Interpretação: A redução do nível de consciência correlaciona-se com a redução da integração de informação de ordem superior, enquanto as dependências de ordem inferior (W) não mostraram diferenças significativas. Isso sugere que a consciência depende de interações de ordem superior.
• Camundongo (Tomada de Decisão Visual): Aplicado a dados de Neuropixels durante uma tarefa de discriminação visual.
  • Resultado: A Informação M foi mais alta em ensaios onde o camundongo tomou decisões corretas em comparação com erros ou ensaios passivos.
  • Dinâmica Temporal: A Informação M diminuiu ao longo do tempo dentro de uma sessão de ensaios, sugerindo que o desempenho inicial depende de cooperação distribuída (ordem superior), enquanto o desempenho consolidado é "descarregado" para elementos de ordem inferior.
  • Anatomia: Foram observados aumentos significativos de ordem superior dentro do neocórtex e entre o neocórtex e estruturas como o tálamo e gânglios da base durante decisões corretas.

5. Significado e Conclusão

O artigo apresenta a Informação M como uma ferramenta poderosa e escalável para desvendar a computação coletiva em sistemas complexos de alta dimensão.

• Viabilidade Prática: Ao resolver o problema de escalabilidade através da otimização convexa em distribuições Gaussianas, o método torna viável a análise de dados neurocientíficos modernos (como fMRI e Neuropixels) que antes eram inacessíveis a medidas de ordem superior.
• Insights Biológicos: Os resultados validam a hipótese de que estados de consciência e desempenho cognitivo preciso são caracterizados por uma maior integração de informação de ordem superior, distinguindo-se de meras correlações pareadas.
• Futuro: A metodologia abre caminho para o uso de medidas de informação de ordem superior como funções objetivo em aprendizado de máquina e para uma compreensão mais profunda da arquitetura informacional do cérebro e de outros sistemas complexos.

Em suma, o trabalho preenche uma lacuna crítica entre a teoria da informação complexa e a aplicação prática em grandes sistemas dinâmicos, oferecendo uma taxonomia unificada para analisar como a informação é processada, integrada e emergente em redes complexas.