Self-orthogonalizing attractor neural networks emerging from the free energy principle

Resumo Técnico: Redes Neurais de Atrator Auto-Ortogonalizante Emergentes do Princípio da Energia Livre

Enunciado do Problema
A dinâmica de atratores é fundamental para sistemas complexos, incluindo o cérebro, servindo como mecanismos para memória, tomada de decisão e controle motor. No entanto, existe uma lacuna fundamental na compreensão de como tais redes de atratores auto-organizadas emergem a partir de primeiros princípios, sem regras de aprendizado ou inferência explicitamente impostas. Modelos tradicionais frequentemente dependem de regras de aprendizado ad hoc (por exemplo, aprendizado Hebbiano, divergência contrastiva) que carecem de uma derivação unificada a partir das restrições termodinâmicas ou inferenciais que governam os sistemas biológicos. O artigo aborda a necessidade de derivar a auto-organização adaptativa — onde uma rede não apenas opera como um sistema de atrator, mas também "se constrói" através de interações locais — a partir do Princípio da Energia Livre (PEL).

Metodologia
Os autores formalizam a emergência de redes de atratores aplicando o Princípio da Energia Livre a uma "particionamento universal" de sistemas dinâmicos aleatórios, utilizando especificamente o conceito de partições particulares profundas.

1. Estrutura Teórica:

   • Partições Particulares Profundas: O sistema é decomposto em uma hierarquia de "subpartículas" (unidades em microescala), cada uma possuindo estados internos ($\sigma_i$), estados sensoriais ($s_{ij}$) e estados ativos ($a_{ij}$). Essas subpartículas são separadas dos estados externos por um cobertor de Markov, garantindo independência condicional ($\sigma_i \perp \sigma_j | s_{ij}, a_{ij}$).
   • Modelo Gerativo: Os estados internos são modelados como variáveis Bernoulli contínuas (distribuições exponenciais truncadas) com vieses a priori. O acoplamento entre subpartículas é definido por uma matriz de pesos $J$.
   • Minimização da Energia Livre Variacional (ELV): A derivação central assume que, para persistir, o sistema deve minimizar a energia livre variacional. Essa minimização é realizada localmente em cada nó (subpartícula) em relação aos seus estados internos e acoplamentos.

2. Derivação da Dinâmica:

   • Inferência: A minimização da ELV em relação aos estados internos produz uma regra de atualização estocástica. O valor esperado do estado segue uma função de Langevin (uma ativação sigmoide), impulsionada pela soma de um viés a priori e entradas ponderadas dos vizinhos. Isso resulta em um comportamento de rede de Hopfield estocástica de estado contínuo.
   • Aprendizado: A minimização da ELV em relação aos acoplamentos (pesos) produz uma regra de aprendizado local. Essa regra assume a forma de uma atualização contrastiva: $\Delta J_{ij} \propto \sigma_i \sigma_j - \hat{\sigma}_i \sigma_j$. O primeiro termo é Hebbiano (potenciação baseada em correlação) e o segundo é anti-Hebbiano (depressão baseada em erro preditivo). Crucialmente, essa regra não requer fases separadas de "fixação" e "execução livre" (diferentemente da Divergência Contrastiva), mas utiliza correlações instantâneas.

3. Protocolo de Simulação:

   • Os autores implementaram as regras derivadas em Python e JAX.
   • Simulações 1–2: Treinadas em padrões correlacionados (imagens de dígitos escritos à mão) para testar a ortogonalização e a generalização sob precisão variável (temperatura inversa) e força da evidência.
   • Simulação 3: Treinada em dados sequenciais para testar a emergência de acoplamentos assimétricos e dinâmicas de sequência.
   • Simulação 4: Testou a resistência ao esquecimento catastrófico por meio de atividade espontânea em "execução livre" (viés zero).
   • Simulação 5: Avaliou a escalabilidade e a capacidade de memória até 50.000 nós.
   • Simulação 6: Aplicada ao conjunto de dados de rostos Olivetti (4096 nós) para testar o desempenho em dados naturalísticos de alta dimensão.

Principais Contribuições

• Derivação de Regras de Auto-Organização: O artigo demonstra que redes de atratores, incluindo suas dinâmicas de aprendizado e inferência, emergem naturalmente do PEL aplicado a partições particulares profundas, eliminando a necessidade de regras de aprendizado impostas externamente.
• Auto-Ortogonalização Emergente: Uma descoberta central é que a regra de aprendizado derivada impulsiona inerentemente a rede em direção a representações de atrator aproximadamente ortogonais. Ao minimizar a complexidade do modelo (redundância) juntamente com a precisão preditiva, a rede penaliza atratores sobrepostos. Isso resulta em um conjunto de atratores que abrangem o subespaço de entrada de forma eficiente, assemelhando-se a "redes neurais projetoras" (Kanter-Sompolinsky) que oferecem capacidade máxima de memória.
• Inferência e Aprendizado Unificados: O quadro unifica inferência e aprendizado como dois aspectos da minimização da ELV. A inferência atualiza estados para corresponder à evidência, enquanto o aprendizado atualiza acoplamentos para minimizar a surpresa futura, tudo ocorrendo simultaneamente em um regime de aprendizado contínuo.
• Generalização de Máquinas de Boltzmann: As redes derivadas generalizam as máquinas de Boltzmann convencionais.
  • Com dados aleatórios, elas convergem para acoplamentos simétricos (semelhantes a Boltzmann).
  • Com dados sequenciais, elas desenvolvem acoplamentos antissimétricos, criando dinâmicas de estado estacionário fora do equilíbrio (NESS) com fluxos solenoidais (rotacionais). Isso permite que a rede aprenda e recorde sequências temporais (ciclos heteroclínicos) sem alterar a distribuição estacionária subjacente da paisagem de energia.
• Robustez ao Esquecimento Catastrófico: A natureza estocástica da dinâmica permite que a rede "reproduza" espontaneamente atratores durante fases de execução livre. Essa atividade reforça atratores existentes, prevenindo a perda de representações aprendidas quando novos dados são introduzidos, mitigando efetivamente o esquecimento catastrófico.

Resultados

• Formação de Base Ortogonal: As simulações confirmaram que, quando treinadas em entradas correlacionadas, os atratores da rede tornam-se aproximadamente ortogonais (por exemplo, reduzindo a correlação de $r=0,77$ para $r=-0,19$). Essa ortogonalização foi mais eficaz em um "regime balanceado" de precisão intermediária.
• Generalização: Os atratores ortogonalizados permitiram que a rede generalizasse para dados não vistos (aprendizado de uma única tentativa) combinando estados de base quase ortogonais, superando redes de Hopfield padrão em tarefas de reconstrução a partir de entradas ruidosas.
• Aprendizado de Sequência: Quando apresentada com dados sequenciais, a matriz de acoplamento desenvolveu um componente antissimétrico significativo. Isso permitiu que a rede gerasse espontaneamente a sequência aprendida (1→2→3→...) na ausência de entrada externa, impulsionada por correntes de probabilidade ao longo de contornos de isoenergia.
• Escalabilidade e Capacidade: A rede demonstrou capacidades de memória substancialmente superiores ao limite clássico de Hopfield ($\sim 0,14N$), aproximando-se do limite de rede projetora ($K \approx N$) devido à ortogonalização emergente. A escalabilidade de tempo de execução foi confirmada como $O(N^2)$, consistente com a complexidade analítica.
• Reconhecimento Facial: No conjunto de dados de rostos Olivetti, a rede reconstruiu com sucesso identidades a partir de entradas fortemente corrompidas, integrando evidências sensoriais ruidosas com priores aprendidos baseados em atratores, demonstrando inferência bayesiana robusta.

Significado e Alegações

O artigo alega fornecer uma teoria unificadora para redes de atratores auto-organizantes que conecta neurociência e inteligência artificial.

• Para a Neurociência: As descobertas oferecem uma explicação normativa para por que redes neurais biológicas podem exibir plasticidade Hebbiana/anti-Hebbiana, atividade espontânea e representações ortogonais. Sugere-se que a capacidade do cérebro de realizar inferência ativa e manter memórias estáveis sem programação explícita surge do imperativo fundamental de minimizar a energia livre. A emergência de atratores ortogonais é proposta como uma assinatura de sistemas impulsionados pelo PEL, potencialmente detectável em dados cerebrais em grande escala (por exemplo, redes em estado de repouso).
• Para a Inteligência Artificial: O quadro oferece uma alternativa principial à retropropagação e à divergência contrastiva. Permite aprendizado contínuo e resistência ao esquecimento catastrófico por meio de dinâmicas espontâneas. A regra de aprendizado derivada é computacionalmente eficiente (sem fase de execução livre) e suporta naturalmente o aprendizado de sequências e a generalização.
• Implicações Teóricas: O trabalho postula que a separação da matriz de acoplamento em componentes simétricos (percepção/minimização de energia) e antissimétricos (ação/planejamento/fluxo solenoidal) pode refletir uma correspondência formal mais profunda com os objetivos duais do PEL.

Os autores mantêm uma postura modesta em relação às limitações, reconhecendo que a pegada de memória de $O(N^2)$ é proibitiva para redes muito grandes sem aproximações esparsas, e que as simulações atuais são limitadas a arquiteturas de camada única. Eles sugerem que trabalhos futuros devem explorar partições profundas hierárquicas e implementação em hardware termodinâmico ou memristivo para aproveitar a natureza local e estocástica das atualizações.