Correlative Information Maximization: A Biologically Plausible Approach to Supervised Deep Neural Networks without Weight Symmetry

Resumo Técnico: Maximização de Informação Correlativa (CorInfoMax)

1. O Problema

O algoritmo de Backpropagation (BP) é o padrão-ouro para treinar redes neurais artificiais profundas, mas enfrenta críticas severas quanto à sua plausibilidade biológica. As principais objeções são:

• Problema do Transporte de Pesos (Weight Symmetry): O BP exige que os pesos sinápticos no caminho de retropropagação de erro sejam a transposta exata dos pesos no caminho de inferência direta (feedforward). Biologicamente, é altamente improvável que neurônios tenham mecanismos para transportar ou sincronizar pesos físicos entre caminhos anatômicos distintos (feedforward e feedback).
• Simplicidade dos Neurônios: Modelos tradicionais usam neurônios pontuais simplificados, ignorando a complexidade de neurônios reais, como os piramidais, que possuem compartimentos dendríticos (basais e apicais) com processamento distinto.

O objetivo deste trabalho é propor uma abordagem normativa para aprendizado supervisionado em redes profundas que seja biologicamente plausível, eliminando a necessidade de simetria de pesos e incorporando a estrutura de neurônios multi-compartimentais.

2. Metodologia: Maximização de Informação Correlativa (CorInfoMax)

Os autores propõem um novo quadro teórico baseado na Maximização de Informação Correlativa (CorInfoMax) entre camadas consecutivas da rede.

• Objetivo Normativo: Em vez de minimizar apenas o erro de reconstrução (como no BP), o objetivo é maximizar a dependência linear (informação mútua correlativa) entre as ativações de camadas adjacentes, enquanto se minimiza a redundância.

• Duas Formas Equivalentes de Informação Mútua: A inovação central é o uso de duas expressões alternativas e equivalentes para a Informação Mútua Correlativa (CMI) entre duas camadas $r^{(k)}$ e $r^{(k+1)}$:

  1. Predição Direta (Forward): Minimiza o erro ao prever $r^{(k+1)}$ a partir de $r^{(k)}$.
  2. Predição Retroativa (Backward): Minimiza o erro ao prever $r^{(k)}$ a partir de $r^{(k+1)}$.

• Solução para a Simetria de Pesos: Ao otimizar essas duas expressões separadamente, o framework gera naturalmente duas redes de predição distintas:

  • Pesos Feedforward ($W_{ff}$): Conectam camadas inferiores a superiores.
  • Pesos Feedback ($W_{fb}$): Conectam camadas superiores a inferiores.
  • Resultado: $W_{ff}$ e $W_{fb}$ são aprendidos independentemente e não são transpostos um do outro, resolvendo o problema do transporte de pesos sem necessidade de suposições de "alinhamento" ou "simetria".

• Dinâmica Neural e Estrutura:

  • A otimização do objetivo CorInfoMax via gradiente ascendente projetado (para respeitar restrições de domínio, como não-negatividade) resulta naturalmente em uma dinâmica de Redes Neurais Recorrentes.
  • Neurônios Multi-Compartimentais: A estrutura emergente corresponde a neurônios piramidais de três compartimentos:
    • Soma ($u^{(k)}$): Potencial de membrana do corpo celular.
    • Dendritos Basais ($v^{(k)}_B$): Recebem entrada feedforward.
    • Dendritos Apicais Distais ($v^{(k)}_A$): Recebem entrada feedback (top-down) e conexões laterais.
  • Inibição Lateral e Autossinapses: A maximização da entropia da camada (para evitar degenerescência dimensional) introduz conexões laterais (inibição) e autossinapses, modeladas por interneurônios (como os neurônios SST - Somatostatina).

• Algoritmo de Aprendizado (Equilibrium Propagation):

  • O treinamento utiliza uma abordagem de propagação de equilíbrio com duas fases:
    1. Fase Livre ($\beta=0$): A rede evolui para um estado de equilíbrio baseado apenas nos dados de entrada.
    2. Fase de Empurrão (Nudged, $\beta>0$): Um sinal de ensino (rótulo) é aplicado à saída, perturbando o equilíbrio.
  • As atualizações de peso são calculadas pela diferença entre as atividades neuronais nas duas fases, utilizando regras de aprendizado locais (Hebbianas e anti-Hebbianas) que não requerem transporte de pesos globais.

3. Contribuições Principais

1. Solução Normativa para o Problema de Simetria de Pesos: Demonstra que a maximização de informação correlativa, através de suas duas formas de predição, gera naturalmente caminhos feedforward e feedback assimétricos, eliminando a necessidade de transporte de pesos.
2. Emergência de Arquiteturas Biologicamente Realistas: A estrutura da rede (neurônios piramidais de 3 compartimentos, interneurônios inibitórios, conexões laterais e autossinapses) não é imposta manualmente, mas emerge matematicamente da otimização do objetivo de informação.
3. Integração de Processamento Dendrítico: O modelo incorpora explicitamente o processamento em dendritos (basais e apicais) como parte fundamental do mecanismo de atribuição de crédito (credit assignment).
4. Desempenho Competitivo: O método alcança acurácia comparável ou superior a outros métodos biologicamente plausíveis (como Equilibrium Propagation e Predictive Coding) em tarefas de classificação de imagens.

4. Resultados Experimentais

Os autores avaliaram o framework em três conjuntos de dados de imagem: MNIST, Fashion-MNIST e CIFAR10.

• Desempenho:
  • Em MNIST, o CorInfoMax alcançou 97.62% (com restrição $B_{\infty,+}$) e 97.71% (com restrição $B_{1,+}$), superando ou empatando com algoritmos como Feedback Alignment (97.99%) e Equilibrium Propagation (97.61%).
  • Em CIFAR10, alcançou 51.86%, superando o Equilibrium Propagation (49.28%) e o CSM (40.79%), embora ainda fique abaixo do Backpropagation padrão (53.96%).
• Assimetria dos Pesos: Medições do ângulo entre os pesos feedforward e a transposta dos pesos feedback mostraram que, após o treinamento, os pesos permanecem significativamente assimétricos (ângulos próximos de 90 graus em estágios iniciais, estabilizando em níveis que indicam falta de alinhamento perfeito, confirmando a ausência de simetria forçada).
• Robustez: O método foi testado com diferentes restrições de ativação (hipercubo unitário não-negativo e bola $\ell_1$), demonstrando flexibilidade na caracterização de representações esparsas e não-esparsas.

5. Significado e Conclusão

Este trabalho oferece uma ponte teórica sólida entre a teoria da informação e a neurociência computacional. Ao substituir o Backpropagation por um princípio de Maximização de Informação Correlativa, os autores demonstram que:

• O cérebro pode realizar aprendizado supervisionado profundo sem violar as leis físicas de transporte de pesos.
• A complexidade morfológica dos neurônios (dendritos, compartimentos) e a presença de interneurônios inibitórios não são apenas detalhes anatômicos, mas necessidades matemáticas para otimizar o fluxo de informação e reduzir a redundância em redes profundas.
• O framework é uma candidata forte para explicar como o cérebro realiza a atribuição de crédito em aprendizado supervisionado, oferecendo também um caminho para a implementação eficiente em hardware neuromórfico futuro, devido ao seu uso de regras de aprendizado locais.

Em suma, o CorInfoMax valida a hipótese de que a maximização de informação, combinada com a arquitetura de neurônios multi-compartimentais, é um mecanismo plausível e eficiente para o aprendizado profundo biológico.