Neural Langevin Machine: a local asymmetric learning rule can be creative

Resumo Técnico: Máquina de Langevin Neural (Neural Langevin Machine - NLM)

Definição do Problema
Os atuais modelos generativos baseados em redes neurais artificiais, como Autoencoders Variacionais, Redes Adversárias Generativas e Modelos de Difusão, enfrentam desafios significativos em relação à plausibilidade biológica e complexidade de treinamento. Especificamente, eles carecem de:

1. Recorrência Assimétrica: Redes neurais biológicas possuem acoplamentos sinápticos assimétricos, enquanto muitos modelos populares dependem de estruturas simétricas ou requerem sinais de erro globais.
2. Aprendizado Local: Circuitos biológicos aprendem por meio de sinais locais, enquanto a maioria dos modelos generativos depende de retropropagação de erro global.
3. Utilização da Dinâmica Neural: Embora a variabilidade da resposta neural e os pontos fixos (ou atratores caóticos) possam armazenar e gerar exemplos, o potencial da variabilidade da resposta neural na amostragem generativa é subexplorado.
4. Reversibilidade Termodinâmica: Tentativas anteriores de usar a dinâmica de Langevin frequentemente impõem reversibilidade termodinâmica, o que viola restrições biológicas e falha em modelar os processos de percepção e imaginação do cérebro de forma eficaz.

Metodologia
Os autores propõem a Máquina de Langevin Neural (NLM), um modelo generativo que aproveita os pontos fixos de redes neurais recorrentes (RNNs) com acoplamentos assimétricos aleatórios.

• Dinâmica: O modelo é definido por uma equação diferencial estocástica (dinâmica de Langevin):
  $$\frac{dx}{dt} = -\nabla_x E(x) + \sqrt{2T}\epsilon(t)$$
  onde $x$ é o vetor de corrente sináptica, $T$ é um parâmetro de temperatura e $\epsilon(t)$ é o ruído branco Gaussiano.
• Função de Energia: O potencial de energia $E(x)$ é construído para estabilizar os inúmeros pontos fixos instáveis inerentes às RNNs caóticas. Ele inclui um termo de feedback de Onsager derivado do gradiente da energia, que estabiliza as flutuações caóticas. A função de energia assume a forma:
  $$E(x) = \frac{1}{2} \sum_{i} \left( -x_i + b_i + \sum_{j} J_{ij}\phi(x_j) \right)^2$$
  onde $\phi(x) = \tanh(x)$ é a função de taxa de disparo, $b_i$ é o viés (bias) e $J_{ij}$ representa o acoplamento neural assimétrico.
• Regra de Aprendizado: O modelo otimiza os parâmetros de acoplamento $\{J_{kl}\}$ para minimizar a divergência de Kullback-Leibler (KL) entre a distribuição do modelo e a distribuição dos dados. Esta minimização segue um princípio de entropia mínima, levando a uma regra de aprendizado local e assimétrica:
  $$\frac{\partial L}{\partial J_{kl}} = \beta \left[ \langle (x_k - h_k)\phi(x_l) \rangle_{\text{modelo}} - \langle (x_k - h_k)\phi(x_l) \rangle_{\text{dados}} \right]$$
  Aqui, $h_k$ é a corrente sináptica integrada. O termo $(x_k - h_k)$ representa uma contribuição pós-sináptica interpretada como erro de predição (reduzindo a velocidade da atividade pós-sináptica). Esta regra é local, exigindo apenas sinais neurais, e é assimétrica em relação aos índices neurais.
• Protocolos de Treinamento: Os autores implementam várias estratégias de treinamento para explorar regimes fora do equilíbrio (OOE):
  • PCD-k (Divergência Contrastiva Persistente): Utiliza cadeias persistentes atualizadas por $k$ passos entre as atualizações de parâmetros.
  • Rdm-k: Reinicializa as cadeias de Langevin a partir de configurações aleatórias em cada passo de estimativa de gradiente.
  • AE-NLM: Treina um autoencoder para comprimir dados em um espaço latente, onde a NLM é treinada, reduzindo significativamente a complexidade computacional.

Principais Contribuições

1. Modelo Generativo Biologicamente Plausível: A NLM satisfaz três critérios: aprendizado local, amostragem baseada em dinâmica neural e recorrência assimétrica. Ela deriva uma regra de aprendizado interpretável como aprendizado preditivo de ajuste de velocidade.
2. Estabilização de Pontos Fixos Instáveis: O trabalho demonstra que o termo de feedback de Onsager na função de energia estabiliza os pontos fixos instáveis de RNNs caóticas, tornando-os utilizáveis para memória e geração.
3. Regra de Aprendizado Assimétrica Local: A regra de aprendizado derivada conecta a modelagem generativa a princípios físicos fundamentais (entropia mínima) e alinha-se com a hipótese do "cérebro Bayesiano sem probabilidade" e o caminho de IA baseada em energia de Yann LeCun.
4. Regime Fora do Equilíbrio (OOE): O artigo identifica um regime OOE onde o melhor desempenho generativo é alcançado sem esperar que o sistema atinja o equilíbrio termodinâmico, mimetizando a dinâmica contínua do cérebro impulsionada por ruído estocástico.

Resultos

• Desempenho Generativo: Aplicada ao MNIST (dígitos manuscritos) e Fashion MNIST, a NLM gera amostras com sucesso. As visualizações mostram transições de estado contínuas entre diferentes classes de dígitos (ex: de '6' para '1'), impulsionadas por ruído estocástico.
• Transição Memorização-Generalização: À medida que o tamanho dos dados de treinamento aumenta, o modelo transita da memorização pura (overfitting) para a generalização. Esta transição é quantificada usando um Indicador de Acurácia Adversária (AAI).
  • Em regimes de escassez de dados, o modelo memoriza as amostras de treinamento.
  • Além de um limiar específico de dados, o modelo gera amostras estatisticamente indistinguíveis dos dados reais.
  • O excesso de tamanho de dados pode eventualmente degradar a qualidade, sugerindo um ponto de saturação.
• Espectro de Autovalores: Durante o aprendizado, o espectro da matriz de acoplamento $J$ evolui de isotrópico para uma forma de "âncora", com autovalores distribuídos em torno do eixo real positivo desempenhando um papel fundamental na generalização.
• Denoising e Memória Associativa: A NLM funciona como uma rede de memória associativa. Quando apresentada com imagens corrompidas (25% de ruído de pixels), as dinâmicas convergem para representações limpas de dígitos, demonstrando um novo tipo de memória associativa com acoplamento assimétrico.
• Melhoria do Espaço Latente: O uso do protocolo AE-NLM no Fashion MNIST (10 categorias) melhora a qualidade da geração e permite a amostragem em um espaço latente de menor dimensão.

Significância e Alegações
Os autores alegam que a NLM fornece um caminho promissor para modelos generativos neuro-inspirados que permitem a exploração dinâmica do "espaço de atividade criativa da imaginação". Ao utilizar pontos fixos instáveis e aprendizado assimétrico local, o modelo preenche a lacuna entre mecanismos neurais biológicos e objetivos de engenharia. O trabalho sugere que o cérebro pode utilizar mecanismos semelhantes para percepção, memória e imaginação, onde a exploração contínua do espaço de fase facilita as transições da memória para a generalização. O artigo posiciona este framework como um passo para a compreensão da percepção subjetiva e da imaginação no cérebro, oferecendo também uma alternativa computacionalmente eficiente aos atuais modelos generativos dominantes através do treinamento em espaço latente.