Quantifying information stored in synaptic connections rather than in firing activities of neural networks

1. Declaração do Problema

Embora a teoria da informação tenha sido usada há muito tempo para quantificar informações codificadas nas atividades de disparo de neurônios (tanto biológicos quanto artificiais), existe uma lacuna teórica significativa quanto à quantificação de informações armazenadas diretamente na distribuição de conexões sinápticas (pesos).

• Limitações Atuais: Abordagens existentes ou fornecem limites superiores frouxos (por exemplo, via injeção de ruído em aprendizado de máquina) ou dependem da inferência de codificação sináptica indiretamente através de padrões de disparo neural (por exemplo, dividindo a capacidade total de armazenamento pelo número de sinapses em redes de Hopfield).
• O Desafio Central: Diferentemente do disparo neural, que possui um mapeamento explícito para dados, os pesos sinápticos surgem implicitamente do processo de aprendizado. Isso torna a derivação de uma expressão de forma fechada para a informação mútua entre padrões de dados e distribuições de pesos matematicamente opaca.
• Objetivo: Desenvolver um quadro teórico que quantifique analiticamente a informação mútua de Shannon (IM) entre padrões de dados e conjuntos de conexões sinápticas, indo além da perspectiva de "atividade de disparo" para uma perspectiva de "conectividade".

2. Metodologia

Os autores propõem um quadro baseado em redes hebbianas densamente conectadas executando tarefas de memória autoassociativa.

• Configuração do Modelo:

  • Dados: $N$ padrões de dados independentes e $d$-dimensionais $\{x_1, ..., x_N\}$ são modelados como distribuições log-normal multivariadas. Essa escolha reflete as estatísticas de cauda pesada observadas em populações neurais biológicas.
  • Rede: Uma rede totalmente conectada onde os pesos sinápticos $w_{ij}$ são determinados pela regra de aprendizado hebbiana:
    $$w_{ij} = \sum_{k=1}^{N} x_i^k x_j^k$$
  • Objetivo: Calcular a Informação Mútua $MI(w; x_l)$ entre um conjunto de pesos sinápticos $w$ e um padrão de dados específico $x_l$.

• Derivação Analítica:

  • Aproximação: Como a soma de variáveis log-normais não possui uma distribuição de forma fechada, os autores empregam a aproximação de Fenton-Wilkinson. Este método aproxima a soma de variáveis log-normais independentes como uma única variável log-normal, ajustando os dois primeiros momentos (média e variância).
  • Conexão Única: Eles derivam a distribuição de probabilidade $p(w_{ij})$ e a distribuição condicional $p(w_{ij}|x_l)$ (que é uma versão deslocada da soma excluindo o padrão $l$).
  • Conjuntos: O quadro é estendido de conexões únicas para pares e $n$-tuplas arbitrárias de conexões. A distribuição conjunta do logaritmo dos pesos é aproximada como uma Gaussiana multivariada.
  • Fórmulas: Os autores derivam expressões analíticas de forma fechada para a Informação Mútua para:
    1. Conexões únicas ($MI(w_{ij}; x_l)$).
    2. Pares de conexões ($MI((w_{ij}, w_{mn}); x_l)$).
    3. Conjuntos arbitrários de tamanho $n$ ($MI(w; x_l)$).
  • Insight Chave: A IM depende exclusivamente dos parâmetros estatísticos (médias e covariâncias) dos padrões de dados envolvidos no conjunto sináptico específico, tornando o resultado invariante ao contexto em relação ao tamanho total da rede.

3. Contribuições Principais

1. Primeiro Quadro Analítico para Informação Sináptica: O artigo fornece as primeiras aproximações analíticas de forma fechada para a informação mútua de Shannon entre dados e conjuntos de pesos sinápticos, contornando a necessidade de simular dinâmicas neurais.
2. Validação de Codificação Distribuída: Os resultados confirmam matematicamente que a informação é distribuída através da rede; à medida que o número de padrões armazenados aumenta, a informação armazenada em qualquer conexão única diminui.
3. Descoberta de Sinergia: O quadro revela que conexões sinápticas exibem interações sinérgicas. A informação codificada por um conjunto de sinapses é maior que a soma da informação codificada por sinapses individuais ($E[MI_{conjunto}] > n \times E[MI_{única}]$).
4. Novas Leis de Escala de Capacidade: Ao analisar a relação entre tamanho da rede, tamanho do conjunto e padrões armazenados, os autores derivam uma nova lei de escala para a capacidade de redes hebbianas que difere dos limites tradicionais de redes de Hopfield.

4. Resultados Principais

Os autores validaram sua teoria através de três conjuntos de simulações com estruturas de covariância variadas (exponencial, estocástica e aleatória).

• Efeito do Número de Padrões de Dados ($N$):

  • A informação codificada por uma conexão única (ou um conjunto) sobre um padrão específico diminui à medida que o número total de padrões armazenados ($N$) aumenta.
  • Escala: $MI \sim N^{-1.0 \text{ a } -1.2}$. Isso confirma que novos padrões diluem a capacidade de informação de conexões existentes, apoiando o princípio da codificação distribuída.

• Efeito do Tamanho do Conjunto ($n$):

  • A informação total codificada por um conjunto de $n$ conexões aumenta à medida que $n$ aumenta.
  • Escala: $MI \sim n^{1.1}$.
  • Sinergia: Crucialmente, a informação média por conexão ($MI/n$) aumenta à medida que o tamanho do conjunto cresce. Isso indica que as conexões trabalham juntas sinergicamente; o todo é maior que a soma das partes. Essa sinergia foi observada até pelo menos a 20ª ordem de interação.

• Escala de Capacidade da Rede:

  • Ao relacionar o tamanho do conjunto $n$ à dimensão da rede $d$ (onde $n \approx d^2/2$) e assumindo requisitos de informação lineares por componente de padrão, os autores derivaram a capacidade total de armazenamento $P$ (número de padrões) em relação ao tamanho da rede $d$:
    $$P \sim d^{1.2}$$
  • Isso sugere uma capacidade de armazenamento superlinear para redes hebbianas densas, que é maior que os limites lineares ($P \sim d$) ou sublineares ($P \sim 0.14d$) frequentemente citados para redes de Hopfield baseados em dinâmicas de recuperação. Os autores argumentam que isso representa a capacidade de armazenamento (limite superior), enquanto a capacidade de recuperação é menor devido à perda de informação durante a fase de leitura.

5. Significado e Implicações

• Mudança Teórica: O estudo desloca o paradigma da análise da codificação neural via "pulsos" para a análise via "pesos", oferecendo uma perspectiva complementar sobre como a aprendizagem e a memória são fisicamente instanciadas.
• Relevância Biológica: As descobertas apoiam o princípio biológico de que a memória não está localizada em células ou sinapses específicas "avó", mas é distribuída e sinérgica através de conjuntos neurais.
• Aplicações em Aprendizado de Máquina:
  • Poda: Sugere que podar redes neurais baseando-se apenas no conteúdo de informação isolado de um único peso é enganoso, pois a contribuição do peso é dependente do contexto e sinérgica.
  • Interpretabilidade: O quadro oferece uma ferramenta para quantificar o armazenamento de informação em motivos de circuitos específicos, potencialmente tornando modelos de aprendizado profundo de "caixa preta" mais interpretáveis.
  • Design de Arquitetura: Implica que o arranjo estrutural das conexões (motivos) desempenha um papel crítico na eficiência do armazenamento de informação.
• Robustez: Os autores demonstram que suas conclusões (codificação distribuída, sinergia, escala de capacidade) são robustas aos erros de aproximação introduzidos pelo método de Fenton-Wilkinson, pois dependem de tendências qualitativas em vez de valores numéricos precisos.

Em resumo, este artigo estabelece uma fundação matemática rigorosa para entender o armazenamento de informação na conectividade sináptica, revelando que redes neurais armazenam informação de forma mais eficiente através de interações sinérgicas e distribuídas do que anteriormente compreendido através da lente das taxas de disparo apenas.