Equilibrium Propagation for Non-Conservative Systems

Este artigo propõe um framework que estende a Propagação de Equilíbrio para sistemas não conservativos arbitrários ao modificar a dinâmica da fase de aprendizagem para considerar interações não recíprocas, permitindo assim o cálculo exato dos gradientes da função de custo e alcançando um desempenho superior em comparação com métodos anteriores.

O essencial

A Visão Geral: Ensinando uma Máquina Sem um "Passo de Retrocesso"

Imagine que você está tentando ensinar um robô a reconhecer um gato em uma foto. Na maneira padrão como fazemos isso hoje (chamada de "Backpropagation" ou Retropropagação), o robô olha para a foto, faz um palpite, percece que errou e então envia um "sinal de correção" de volta por todo o seu cérebro, camada por camada, para corrigir seus erros.

O problema é que esse "passo de retrocesso" é muito difícil de construir em máquinas físicas reais (como cérebros biológicos ou chips de silício) porque exige o envio de informações de volta no tempo ou através de longas distâncias instantaneamente.

A Propagação de Equilíbrio (Equilibrium Propagation - EP) é uma maneira mais inteligente e física de aprender. Em vez de um passo de retrocesso, o robô apenas relaxa em um "estado calmo" (equilíbrio). Ele tenta dois cenários ligeiramente diferentes:

1. Estado Livre: O robô olha para a imagem e faz um palpite naturalmente.
2. Estado Estimulado (Nudged State): Alguém empurra gentilmente o palpite final do robô em direção à resposta correta.

Ao comparar como o cérebro do robô mudou entre esses dois estados calmos, ele consegue descobrir exatamente como ajustar suas configurações internas para melhorar na próxima vez. É como aprender sentindo a diferença entre "o que eu pensei" e "para o que eu fui estimulado a pensar".

O Problema: A Regra da "Simetria"

A versão original deste método de aprendizado (EP) só funcionava para sistemas que seguem uma regra estrita: Simetria.

Pense em um sistema conservativo como uma bola rolando em uma colina suave. Se a bola rola do ponto A para o ponto B, o caminho que ela percorre é determinado pelo formato da colina. Se você inverter o caminho, a física é a mesma. Em um cérebro de computador, isso significa que se o Neurônio A fala com o Neurônio B, o Neurônio B deve falar de volta com o Neurônio A com a mesma força exata.

No entanto, muitos sistemas do mundo real (e modelos de IA modernos) não são como uma colina suave. Eles são como um rio com uma correnteza ou uma rua de mão única.

• Sistemas Não-Conservativos: A informação flui em uma direção (como em uma rede feedforward onde os dados vão de Entrada → Oculto → Saída, mas nunca voltam).
• O Problema: O método EP antigo falha nesses sistemas. Ele tenta usar a matemática da "colina" em um "rio", e os cálculos de aprendizado tornam-se errados. O robô aprende as lições erradas.

A Solução: Dois Novos Métodos

Os autores propõem duas novas maneiras de corrigir isso, permitindo que o método "Equilibrium Propagation" funcione nesses sistemas de mão única e não simétricos.

1. EP Assimétrico (AsymEP): O "Conserto Local"

Imagine que você está tentando equilibrar uma balança, mas alguém continua adicionando peso secretamente de um lado (a parte não simétrica). O método antigo simplesmente ignora isso e tenta equilibrar de qualquer maneira, o que falha.

O AsymEP adiciona um pequeno "contrapeso" local à balança.

• Como funciona: Durante a fase "Estimulada" (quando o robô está sendo empurrado em direção à resposta certa), o algoritmo adiciona um termo de correção especial. Esse termo é calculado com base exatamente em quão "desequilibradas" ou "não simétricas" são as conexões.
• A Analogia: É como um ciclista andando de bicicleta com um pneu furado. O método antigo apenas diz a ele para pedalar com mais força. O AsymEP adiciona um pequeno ajuste local ao guidão para compensar o pneu furado, permitindo que ele ande reto e aprenda corretamente.
• Resultado: Isso permite que o sistema calcule o gradiente exato correto (a lição certa) mesmo quando as conexões são de mão única.

2. EP Diádico (Dyadic EP): A Abordagem do "Cérebro Duplo"

Se o AsymEP é um conserto local, o Dyadic EP é uma mudança arquitetônica maior.

• A Analogia: Imagine que você tem uma máquina complexa que só funciona se você tiver duas cópias idênticas dela rodando lado a lado. Uma cópia representa o fluxo "para frente" e a outra representa o fluxo "para trás".
• Como funciona: O algoritmo dobra o número de variáveis no sistema. Ele cria um novo "cenário de energia" maior onde as duas cópias interagem. Nesse espaço dobrado, o rio bagunçado e de mão única do sistema original se transforma novamente em uma colina suave e simétrica.
• O Resultado: Como a matemática agora funciona nesse sistema "dobrado", o aprendizado é perfeito. É um pouco como usar um espelho para fazer uma rua de mão única parecer uma rua de mão dupla, para que você possa aplicar as regras de trânsito padrão.

O Que Eles Testaram (Os Experimentos)

Os autores não fizeram apenas matemática; eles testaram essas ideias em tarefas reais de reconhecimento de imagem (como identificar dígitos escritos à mão ou roupas).

1. Início Simétrico: Eles começaram com redes que eram simétricas (como o EP antigo). O AsymEP aprendeu mais rápido e obteve melhores resultados do que os métodos antigos.
2. Assimetria Forçada: Eles forçaram as redes a serem muito "de mão única" (altamente assimétricas).
   • O método antigo (Vector Field) falhou miseravelmente, obtendo resultados não melhores do que o acaso.
   • O AsymEP continuou funcionando perfeitamente, mesmo quando a rede era completamente de mão única.
3. Redes Feedforward: Esta é a grande vitória. A IA moderna (como as que estão no seu telefone) geralmente é "feedforward" (estritamente de mão única). O EP antigo não conseguia treinar essas redes de forma alguma. O AsymEP treinou com sucesso essas redes, provando que pode lidar com a arquitetura usada na maioria das IAs modernas.
4. Deep Learning (Aprendizado Profundo): Eles testaram em um conjunto de dados complexo (CIFAR-10) com uma rede profunda. O AsymEP e o Dyadic EP tiveram um desempenho quase idêntico ao método de "Backpropagation" padrão, que é o padrão ouro.

Resumo

• O Problema: O método de aprendizado por "Equilibrium Propagation" só funcionava em sistemas simétricos, mas a IA e os sistemas físicos reais são frequentemente assimétricos (de mão única).
• O Conserto: Os autores criaram o AsymEP (que adiciona uma correção local à regra de aprendizado) e o Dyadic EP (que dobra o tamanho do sistema para fazer a matemática funcionar).
• O Resultado: Esses novos métodos permitem que este estilo de aprendizado físico e amigável ao cérebro funcione nas mesmas redes usadas na IA moderna, alcançando resultados tão bons quanto os métodos padrão, que são mais difíceis de implementar.

Em suma, eles descobriram como ensinar uma máquina física usando "relaxamento" e "pequenos estímulos locais", mesmo quando a fiação interna da máquina é estritamente de mão única.

Resumo técnico

Resumo Técnico: Propagação de Equilíbrio para Sistemas Não Conservativos

1. Definição do Problema

A otimização padrão de redes neurais depende da retropropagação de erro (backpropagation), que requer uma passagem de retrocesso distinta, transmissão de sinal de erro não local e armazenamento explícito de gradientes. Essas restrições são difíceis de conciliar com a plausibilidade biológica e implementações físicas (ex: neuromórficas ou analógicas), que tipicamente operam através de interações locais e relaxação contínua.

A Propagação de Equilíbrio (EP) oferece uma alternativa promissora ao formular o aprendizado como um contraste entre dois estados estacionários de um sistema dinâmico: uma fase "livre" e uma fase "perturbada" (nudged). No entanto, a formulação original da EP é restrita a sistemas conservativos, onde a dinâmica deriva de uma função de energia, imponção de interações simétricas (ex: $J_{ij} = J_{ji}$). Essa limitação impede a aplicação da EP a uma ampla classe de modelos caracterizados por forças não conservativas e interações não recíprocas, incluindo:

• Arquiteturas feedforward modernas (dominantes em IA).
• Circuitos biológicos.
• Sistemas físicos longe do equilíbrio termodinâmico (ex: sistemas ópticos não lineares, matéria ativa, condensados de excitons-polaritons).

Tentativas anteriores de generalizar a EP para sistemas não conservativos, como o algoritmo de Campo Vetorial (VF), falham em computar o gradiente exato da função de custo. Eles fornecem um gradiente não enviesado apenas no limite conservativo; conforme a parte antissimétrica do Jacobiano aumenta, o erro de estimativa do gradiente cresce, podendo levar à falha de otimização (ex: maximizar o custo em vez de minimizá-lo).

2. Metodologia

Os autores propõem dois frameworks matematicamente equivalentes para estender a EP para sistemas não conservativos arbitrários: EP Assimétrica (AsymEP) e EP Diádica. Ambos os métodos mantêm o princípio central da EP de usar estados estacionários para inferência e aprendizado, mas modificam a dinâmica para recuperar o gradiente exato.

2.1 EP Assimétrica (AsymEP)

A AsymEP preserva a dinâmica de inferência original, mas introduz um termo corretivo local durante a fase "perturbada".

• Mecanismo: Na fase perturbada, o sistema evolui sob um campo de força aumentado. Este campo inclui a força original $F$, o termo de perturbação padrão $-\beta \frac{\partial C}{\partial x}$ e um novo termo de correção proporcional à parte antissimétrica do Jacobiano ($A_J$) no equilíbrio livre:
  $$\frac{dx}{dt} = F(x, \theta) - \beta \frac{\partial C}{\partial x} - 2A_J(x_0, \theta)(x - x_0)$$
• Recuperação de Gradiente: Esta correção efetivamente transpõe o Jacobiano na regra de aprendizado, garantindo que a diferença entre os estados estacionários perturbado e livre resulte no termo pós-sináptico exato exigido pelo gradiente verdadeiro.
• Localidade: O termo de correção é espacialmente local porque $A_J$ desaparece para neurônios não conectados, e a diferença de estado $(x - x_0)$ está disponível na sinapse.

2.2 EP Diádica

A EP Diádica é uma abordagem variacional que mapeia a dinâmica não conservativa em um sistema conservativo ao dobrar o espaço de estados.

• Mecanismo: O sistema original de $n$ variáveis é mapeado para um sistema de $2n$ variáveis $(z, z')$ definido por uma função de energia $H(z, z', \theta)$ e uma função de custo $D(z, z')$. A função de energia é construída de tal forma que a dinâmica original é recuperada na diagonal ($z=z'$), enquanto a direção fora da diagonal codifica as forças não recíprocas.
  $$H(z, z', \theta) = -(z - z')^\top F\left(\frac{z + z'}{2}, \theta\right)$$
• Aprendizado: O sistema evolui para um ponto de sela da energia aumentada $H_T = H + \beta D$. A diferença $z_\beta - z'_\beta$ serve como o sinal de erro.
• Relação com AsymEP: A AsymEP pode ser vista como a projeção de primeira ordem da EP Diádica no espaço original de $n$ dimensões. A EP Diádica permite a execução paralela das fases de perturbação positiva e negativa, mas requer o dobro dos graus de liberdade físicos.

3. Principais Contribuições

1. Computação de Gradiente Exato: O artigo fornece o primeiro framework para computar o gradiente exato da função de custo para sistemas dinâmicos não conservativos arbitrários usando propagação de equilíbrio, superando as limitações do algoritmo de Campo Vetorial (VF).
2. Duas Generalizações: Introduz a AsymEP (uma modificação direta da dinâmica com uma correção local) e a EP Diádica (um dobro variacional do espaço de estados), provando sua equivalência no limite de perturbação infinitesimal.
3. Capacidade Feedforward: Os métodos permitem o treinamento de redes puramente feedforward, um cenário onde métodos anteriores baseados em EP (como o VF) falham devido à incapacidade de propagar sinais de erro para trás sem conexões de retrocesso explícitas.
4. Unificação Teórica: O trabalho demonstra que o princípio variacional por trás da EP é universal e pode ser aplicado a forças não recíprocas estendendo o espaço de estados ou modificando a dinâmica, unindo o hiato entre modelos baseados em energia e sistemas dinâmicos gerais.

4. Resultados Experimentais

Os autores validam seu framework em MNIST, Fashion-MNIST e CIFAR-10 usando redes de Hopfield contínuas e arquiteturas convolucionais.

• Inicialização Simétrica: No MNIST com inicialização simétrica, a AsymEP alcança maior precisão e aprende mais rápido do que tanto a EP padrão quanto o algoritmo de Campo Vetorial (VF).
• Assimetria Estrutural: Quando a rede é restrita a ter um alto grau de assimetria estrutural (onde a EP é inaplicável e o VF degrada):
  • Desempenho do VF: O desempenho do VF colapsa conforme a assimetria aumenta, caindo para níveis de acaso (ex: ~10% de precisão no MNIST em alta assimetria).
  • Desempenho da AsymEP: A AsymEP mantém um desempenho robusto em todos os níveis de assimetria, incluindo matrizes de conexão completamente antissimétricas.
• Arquiteturas Feedforward:
  • Em um cenário puramente feedforward, o VF treina efetivamente apenas a última camada (atuando como uma Máquina de Aprendizado Extremo), resultando em baixo desempenho (~64% no MNIST).
  • A AsymEP treina com sucesso todas as camadas, alcançando ~92,7% de precisão no MNIST.
• Redes Profundas (CIFAR-10): Em uma rede convolucional profunda treinada no CIFAR-10, tanto a AsymEP quanto a EP Diádica seguem de perto o desempenho da Retropropagação (BP), alcançando ~89,7% e ~90,7% de precisão, respectivamente, comparados aos 90,7% da BP. Em contraste, o VF colapsa para o nível de acaso.
• Estabilidade: Experimentos sugerem que dinâmicas não conservativas treinadas com AsymEP podem suprimir oscilações e permanecer estáveis mesmo sob forte assimetria e projeções de entrada restritas.

5. Significância e Alegações

Os autores afirmam que este trabalho abre novos caminhos para o aprendizado em hardware neuromórfico, sistemas físicos dissipativos e arquiteturas neurais onde a assimetria é intrínseca em vez de incidental.

• Implementabilidade Física: Ao remover o requisito de simetria de pesos e passagens de retrocesso explícitas, os algoritmos propostos são mais compatíveis com substratos físicos (ex: memristores, sistemas ópticos, matéria ativa) que naturalmente exibem dinâmicas não conservativas.
• Plausibilidade Biológica: Os métodos dependem de interações locais e relaxação contínua, oferecendo um mecanismo mais biologicamente plausível para atribuição de crédito em comparação com a retropropagação.
• Universalidade: A formulação da EP Diádica sugere que os princípios variacionais da propagação de equilíbrio são universais, aplicáveis a qualquer rede operando em um estado estacionário, independentemente de as forças subjacentes serem conservativas ou não conservativas.

O artigo conclui que, embora a AsymEP introduza uma força corretiva local que pode exigir mecanismos físicos específicos para implementação, e a EP Diádica exija o dobro do espaço de estados, ambos fornecem um caminho teórico e prático rigoroso para treinar sistemas não conservativos com gradientes exatos.