🤖 machine learning

NeuronSoup: Evolving Asynchronous, Shared-Neuron Temporal Graphs without Backpropagation

NeuronSoup é uma arquitetura neural inovadora que utiliza um algoritmo genético para evoluir um grafo temporal de neurônios compartilhados e assíncronos sem retropropagação, alcançando 85,9% de acurácia no MNIST ao permitir interferência de sinal dinâmica e profundidade de computação adaptativa.

Autores originais: Subodh Kalia

Publicado 2026-07-17

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Subodh Kalia

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde resolver um quebra-cabeça não exige que todos gritem sua resposta exatamente ao mesmo tempo. No reino da inteligência artificial, especificamente em um campo chamado "neuroevolução", cientistas estão tentando construir cérebros de computador que aprendam mais como os seres vivos. A IA tradicional, o tipo que alimenta seus aplicativos favoritos, funciona como uma linha de montagem de fábrica rígida: os dados entram por uma extremidade, são processados passo a passo em uníssono perfeito e saem pela outra. É rápido, mas é inflexível. Se o quebra-cabeça é fácil, a fábrica continua rodando em velocidade total; se é difícil, a fábrica pode travar. A natureza, no entanto, é desordenada e assíncrona. Em um cérebro real, os sinais viajam em velocidades diferentes, os neurônios conversam entre si em uma sopa caótica de conversas sobrepostas, e o cérebro decide quanto tempo pensar sobre algo com base no quão complexo o problema é. Este artigo faz uma pergunta ousada: Podemos construir um cérebro digital que não precise de um relógio mestre ou de uma linha de montagem rígida, mas que aprenda evoluindo uma rede caótica e baseada no tempo de conexões?

Apresentamos o NeuronSoup, um novo tipo de arquitetura de computador que abandona a linha de montagem por uma cozinha movimentada e assíncrona. Em vez de camadas de neurônios trabalhando em sincronia perfeita, o NeuronSoup usa um grande reservatório de neurônios onde os sinais flutuam como ingredientes em uma panela fervendo. Aqui está a mágica: os sinais não apenas passam; eles chegam em tempos diferentes. Se dois sinais chegam ao mesmo neurônio no mesmo momento, eles se misturam. Se chegam um após o outro, o segundo sinal tem que lidar com o "sabor" deixado pelo primeiro. Essa mistura cria um tipo de interferência computacional, onde o tempo de um sinal altera o significado do próximo.

Os pesquisadores não projetaram esse processo de mistura manualmente. Em vez disso, usaram um algoritmo genético — um programa de computador que imita a seleção natural — para evoluir todo o sistema. Eles começaram com um "genoma" (uma longa lista de números) que definia 384 caminhos possíveis para os sinais viajarem, incluindo a velocidade com que deveriam se mover (atrasos), a força de seus sinais (pesos) e quais neurônios deveriam visitar. Ao longo de 10.000 gerações de evolução digital, o sistema descobriu quais caminhos manter, quais deletar e como cronometrar os sinais para que a "sopa" produzisse a resposta correta.

O resultado é uma rede surpreendentemente eficiente e surpreendentemente inteligente. Quando testado em uma tarefa clássica de reconhecimento de dígitos manuscritos (o conjunto de dados MNIST), o NeuronSoup evoluído alcançou 85,9% de precisão. Ele fez isso usando um modelo minúsculo que ocupa apenas 115 KB de memória — menor que uma única foto de alta resolução. A rede descobriu que precisava de apenas 204 caminhos ativos dos 384 que lhe foram dados, e descobriu que 156 de seus neurônios ocultos eram tão úteis que eram compartilhados por múltiplos caminhos simultaneamente. Na verdade, um único neurônio estava ocupado servindo 11 caminhos diferentes ao mesmo tempo, atuando como um cruzamento movimentado onde diferentes evidências colidiam e se combinavam.

O que torna isso verdadeiramente único é que o sistema descobriu quando pensar. Para dígitos fáceis, os sinais percorreram caminhos curtos e rápidos e chegaram rapidamente, dando uma resposta rápida. Para dígitos mais difíceis, os sinais percorreram caminhos mais longos e sinuosos, chegando mais tarde para refinar a resposta. O sistema adaptou seu próprio "tempo de pensamento" com base na dificuldade do problema, sem que ninguém o instruísse a fazer isso.

Os autores tomam o cuidado de apontar que isso não é uma solução mágica que vence todas as outras IAs. O sistema deles é atualmente menos preciso que as redes massivas baseadas em gradiente (como a ResNet) que dominam o campo, que podem atingir mais de 99% de precisão na mesma tarefa. Eles descartam explicitamente a ideia de que o "backpropagation" padrão (a forma usual de aprender da IA) poderia funcionar aqui, porque a dependência do sistema em relação ao tempo e a eventos discretos torna impossível calcular as inclinações matemáticas suaves necessárias para esse método. Em vez disso, eles argumentam que os algoritmos genéticos são a ferramenta certa porque podem lidar com a natureza desordenada e não suave dessa evolução baseada no tempo.

Embora a precisão seja menor, o artigo sugere uma alternativa poderosa: uma maneira de construir IA que não precise de placas de vídeo massivas ou estruturas rígidas. Como o sistema roda em uma lógica simples, orientada por eventos, ele poderia teoricamente rodar em hardware muito mais simples e energeticamente eficiente no futuro. Os autores sugerem que a verdadeira vitória não é apenas a pontuação de 85,9%, mas o fato de que um computador, começando com nada além de uma sopa aleatória de conexões, evoluiu uma estratégia complexa e sensível ao tempo para resolver problemas por conta própria. É uma prova de que você pode construir um cérebro que pensa em tempo, não apenas em camadas.

Sumário Técnico: NeuronSoup

Declaração do Problema

As arquiteturas atuais de aprendizagem profunda são fundamentalmente limitadas pela exigência de grafos de computação diferenciáveis e retropropagação (backpropagation). Isso exige um processamento síncrono, camada por camada, com profundidades de computação fixas e topologias estáticas determinadas no momento do design. Consequentemente, esses modelos não conseguem adaptar naturalmente a profundidade computacional à dificuldade de cada entrada individual, carecem de interações laterais inerentes entre caminhos de processamento (a menos que sejam explicitamente projetadas via mecanismos como atenção) e são restritos a operações contínuas e diferenciáveis. Sistemas neurais biológicos, por outro lado, operam de forma assíncrona, utilizam neurônios compartilhados que acumulam estado ao longo do tempo e adaptam a profundidade do processamento com base na complexidade do sinal.

Este artigo aborda o desafio de construir um classificador útil que opere sem retropropagação, sem profundidade de computação fixa e sem sincronização, ao mesmo tempo em que aborda as limitações das abordagens existentes de neuroevolução e redes neurais pulsantes (spiking neural networks - SNNs).

Metodologia: Arquitetura NeuronSoup

Os autores propõem a NeuronSoup, uma arquitetura de computação neural baseada na propagação de sinais assíncronos mediada por atrasos através de um conjunto de neurônios compartilhados.

Mecanismos Principais

Simulação de Eventos Discretos Assíncronos: O sistema processa sinais de valores contínuos através de uma fila de prioridade (min-heap). Os eventos são ordenados pelo tempo de chegada, determinado por atrasos axonais evoluídos. Não há um relógio global; a computação procede estritamente em ordem temporal.
Acúmulo de Estado de Neurônio Compartilhado: Ao contrário das redes tradicionais onde os neurônios são independentes ou das SNNs onde os neurônios resetam, os neurônios ocultos na NeuronSoup mantêm um estado acumulado ( $a_n$ ). Quando múltiplos caminhos roteiam através do mesmo neurônio oculto, o primeiro sinal que chega atualiza o estado. Sinais subsequentes encontram este estado modificado. A ativação é computada como $\alpha = \tanh(a_n + b_n)$ , onde $a_n$ é a soma de todos os sinais de entrada. Isso cria interferência construtiva ou destrutiva baseada na polaridade do sinal e no tempo de chegada.
Atrasos Temporais como Computação: Os atrasos não são ruído ou regularização; são parâmetros funcionais primários que determinam a ordem de combinação de características. Atrasos curtos priorizam características de alta confiança, enquanto atrasos mais longos permitem que características contextuais cheguem mais tarde, modificando a saída após o processamento inicial.
Codificação do Genoma: A arquitetura é codificada em um genoma plano de valores reais de 14.602 genes. Isso inclui:
- Blocos de Caminho (Path Blocks): 384 caminhos potenciais, cada um definido por 37 genes (flag de atividade, ID de entrada, ID de saída e até 8 saltos, onde cada salto possui um neurônio alvo, um peso e um gene de atraso).
- Vieses (Biases): Genes que codificam vieses para neurônios ocultos e de saída.
- Decodificação: Genes em $[0, 1]$ são mapeados para valores operacionais (ex: pesos em $[-2, 2]$ , atrasos em $[0.1, 5.0]$ ).

Estratégia de Otimização

Os autores argumentam que a otimização baseada em gradiente (backpropagation) é inaplicável devido a:

Topologia Discreta: A ativação do caminho é uma decisão binária (limiar de 0.5).
Ordenação Não Diferenciável: Pequenas mudanças no atraso podem inverter a ordem de processamento dos eventos, causando mudanças descontínuas na saída.
Tamanho Variável do Grafo: O número de eventos processados depende da entrada e da configuração, impedindo o desenrolamento (unrolling) fixo do grafo.

Em vez disso, um Algoritmo Genético (GA) é empregado. Os autores especificamente rejeitam o CMA-ES (devido aos custos de memória $O(D^2)$ e computação $O(D^3)$ para $D=14.602$ ) e operadores padrão como SBX ou DE (que destroem a coerência estrutural). Eles implementam um crossover consciente de caminho (path-aware crossover), que troca blocos de caminhos inteiros (37 genes) em vez de genes individuais, preservando circuitos funcionais. A mutação aplica ruído Gaussiano a valores contínuos e inverte flags binárias.

Principais Contribuições

Um Novo Modelo de Computação: Um sistema onde atrasos temporais ditam a ordem da computação, permitindo profundidade adaptativa por amostra sem políticas explícitas de parada.
Interação Lateral Emergente: Demonstração de que o acúmulo de neurônios compartilhados produz inibição e excitação lateral implícitas entre caminhos sem conexões cruzadas projetadas.
Coevolução de Estrutura e Parâmetros: Um genoma plano que codifica simultaneamente topologia (quais caminhos/neurônios estão ativos), pesos e estrutura temporal.
Análise de Otimização: Um argumento rigoroso de por que Algoritmos Genéticos são a ferramenta correta para esta classe de problema, destacando especificamente a falha do CMA-ES nesta escala e a necessidade de operadores de recombinação conscientes de blocos para manter a coerência do caminho.
Generalização Modular: Uma arquitetura onde a tarefa é definida unicamente pelo codificador de entrada e pela contagem de neurônios de saída, com o processo evolutivo descobrindo a fiação automaticamente.

Resultados Experimentais

O sistema foi avaliado na classificação de dígitos MNIST de 10 classes usando recursos congelados de uma ResNet18 (512 dimensões) como entrada.

Desempenho: Após 10.000 gerações, o melhor modelo evoluído alcançou 85,9% de acurácia de teste em um conjunto de 1.000 amostras retido.
Eficiência: O modelo treinado ocupa 115 KB (14.602 valores de float64).
Características Estruturais:
- Caminhos Ativos: 204 dos 384 caminhos possíveis foram ativados.
- Neurônios Compartilhados: 156 dos 266 neurônios ocultos utilizados foram compartilhados entre múltiplos caminhos. Um neurônio participou de 11 caminhos distintos.
- Seleção de Características: Apenas 162 das 512 características de entrada foram utilizadas.
- Computação: A inferência envolve aproximadamente 500–2.000 eventos por amostra, exigindo menos de 1.100 operações de ponto flutuante por imagem (comparado a ~1,8 bilhão de FLOPs para a ResNet-18).
Treinamento: Todo o processo de treinamento (10.000 gerações) foi concluído em cerca de 2 horas e 51 minutos em uma CPU de 12 núcleos, sem necessidade de GPU.

Significância e Alegações

O artigo afirma que a NeuronSoup demonstra a viabilidade de um paradigma computacional fundamentalmente diferente: propagação temporal assíncrona através de um grafo compartilhado e evoluído.

Superando os Limites da Retropropagação: A arquitetura prova que uma classificação útil pode emergir sem diferenciabilidade, profundidade fixa ou sincronização. Ela aborda a limitação de "profundidade fixa" do aprendizado profundo ao alocar naturalmente mais computação para entradas difíceis via caminhos longos e atrasados.
Estrutura Emergente: O sistema descobriu comportamentos complexos — como neurônios compartilhados atuando como hubs de integração e atrasos temporais criando uma prioridade do tipo atenção — puramente através da pressão de seleção, sem engenharia humana desses mecanismos.
Implicações de Hardware: A arquitetura é inerentemente adequada para hardware neuromórfico e sistemas orientados a eventos, oferecendo ordens de magnitude de eficiência energética em comparação com arquiteturas síncronas de multiplicação de matrizes.
Universalidade: Os autores afirmam que o mesmo framework evolutivo se aplica a domínios arbitrários (áudio, texto, dados médicos) simplesmente mudando o codificador e a contagem de neurônios de saída, sem necessidade de redesenho arquitetural.

O artigo mantém uma postura modesta quanto à acurácia, reconhecendo que 85,9% está abaixo das bases treinadas por gradiente (92–96%) nos mesmos recursos. No entanto, argumenta que essa lacuna reflete o custo da otimização livre de gradiente, observando que a curva de convergência não apresenta platô e que a expressividade da arquitetura é teoricamente alta. A principal contribuição é a demonstração de um modelo de computação assíncrona e não diferenciável viável, que escala em hardware de CPU comum e generaliza através de domínios.