Mass Conservation as an Inductive Bias for Self-Organized Criticality in NCA Reservoirs

Resumo Técnico: Conservação de Massa como um Viés Indutivo para a Autorganização Crítica em Reservatórios de NCA

Declaração do Problema

A computação de reservatório (RC) aproveita a dinâmica intrínseca de sistemas de alta dimensionalidade fixos para mapear entradas em espaços de características solucionáveis por leituras lineares simples. Uma base teórica promissora para RC é a Autorganização Crítica (SOC), um regime dinâmico caracterizado por dinâmicas de avalanche de escala livre e estatísticas de lei de potência, frequentemente associadas à hipótese da "borda do caos", onde a capacidade computacional é maximizada. Embora trabalhos recentes tenham demonstrado que Autômatos Celulares Neurais (NCA) podem ser evoluídos em direção a dinâmicas de avalanche críticas para servir como substratos eficazes de RC, alcançar criticidade robusta e consistente permanece um desafio. Este artigo investiga se a conservação de massa — uma regra de redistribuição local que preserva a massa total da rede — pode servir como um viés indutivo confiável para promover SOC em reservatórios de NCA evoluídos sem comprometer sua utilidade em tarefas subsequentes.

Metodologia

Os autores propõem uma arquitetura de NCA modificada baseada no trabalho de Pontes-Filho et al. (2025), integrando um mecanismo de conservação de massa inspirado no framework MaCE (Papadopoulos e Guichard, 2025).

1. Arquitetura NCA: O sistema é um CA determinístico, binário e unidimensional com largura de grade $W=1000$ e $C=5$ canais (1 visível, 4 ocultos). As atualizações de estado são governadas por uma Rede Neural Convolucional (CNN) leve de 3 camadas com 1.565 parâmetros.
2. Mecanismo de Conservação de Massa: Diferente dos NCAs padrão, a variante "conservadora" aplica uma regra de redistribuição local de doação-e-coleta ao canal visível apenas após a atualização da CNN, mas antes da binarização.
   • Cada célula $j$ doa massa para seus vizinhos ($i \in N(j)$) proporcionalmente a uma afinidade ponderada por softmax baseada nos valores brutos visíveis.
   • Cada célula $i$ coleta doações de vizinhos cujo entorno inclui $i$.
   • Isso garante que a ativação visível total $\sum s_i$ seja exatamente preservada em cada passo de tempo. Os quatro canais ocultos permanecem sem restrições para permitir representações internas arbitrárias.
3. Treinamento Evolutivo: Tanto a variante de base (não conservadora) quanto a conservadora foram evoluídas usando CMA-ES (Estratégia de Adaptação de Matriz de Covariância) ao longo de 500 gerações.
   • Função de Aptidão (Fitness): Uma pontuação composta que recompensa o comportamento de lei de potência nas estatísticas de avalanche do canal visível. Ela combina o coeficiente de determinação ($R^2$), distância de Kolmogorov–Smirnov (KS), ocupação de bins, unicidade de estado e razões de log-verossimilhança comparando modelos de lei de potência vs. exponenciais.
   • Configuração Experimental: Três sementes aleatórias independentes (42, 43, 44) foram usadas para cada variante.
4. Métricas de Avaliação:
   • Criticidade: Avaliada via testes de Bondade de Ajuste (GOF) em seis distribuições de avalanche (tamanho, duração e tempo entre chegadas para estados 0 e 1). Uma distribuição passa se $p \ge 0.1$. "Criticidade perfeita" é definida como todas as seis distribuições passando.
   • Tarefas Subsequentes: O desempenho foi avaliado em três benchmarks usando um reservatório NCA fixo e uma leitura linear treinada:
     • Memória Sequencial de 5 bits: Retenção de um padrão de 5 bits após um distrator de 200 passos.
     • Classificação MNIST: Classificação de imagens usando uma leitura LinearSVC.
     • Controle Temporal CartPole-v1: Uma tarefa de aprendizado por reforço usando uma rede Q linear.

Principais Contribuições

1. Viés Indutivo para SOC: O estudo demonstra que a conservação de massa atua como um viés indutivo confiável, aumentando significativamente a probabilidade de evoluir reservatórios de NCA que exibem criticidade perfeita (6/6 passagens no GOF).
2. Eficiência de Treinamento: A variante conservadora alcançou uma aptidão média 7,3% maior e convergiu 1,27× mais rápido em tempo de execução (wall-clock time) comparada à variante de base.
3. Preservação da Utilidade: A introdução de restrições de conservação não degradou o desempenho subsequente. Ambas as variantes alcançaram resultados comparáveis em tarefas de memória e classificação, com a variante conservadora mostrando desempenho superior em controle temporal após a seleção de checkpoint.
4. Elo Criticidade-Computação: A semente com a criticidade mais forte (semente 44 da variante conservadora) também alcançou a maior pontuação de controle temporal, sugerindo uma correlação positiva entre a qualidade da SOC e capacidades de computação sequencial.

Resultados

• Caracterização da Criticidade:
  • Variantes Conservadoras: As sementes 43 e 44 alcançaram criticidade perfeita (6/6 passagens no GOF). A semente 42 alcançou 3/6.
  • Variantes de Base: Nenhuma semente de base alcançou criticidade perfeita. A melhor base (semente 44) alcançou 5/6 passagens; as sementes 42 e 43 alcançaram 3/6.
  • Estatísticas de Avalanche: As sementes conservadoras exibiram escalonamento de lei de potência em todas as distribuições. Notavelmente, a distribuição de duração do estado 1 para a semente 44 apresentou um expoente íngreme ($\hat{\alpha} \approx 10.3$), passando no teste GOF trivialmente devido à baixa variância, mas ainda contribuindo para a pontuação perfeita.
• Desempenho Subsequente:
  • Memória de 5 bits: Ambas as variantes alcançaram pontuação perfeita (1.0) em todas as sementes.
  • MNIST: Ambas as variantes superaram a linha de base de pixels brutos (~91.1%). A variante de base liderou por uma margem ínfima de média de +0,27 pontos percentuais (93.81% vs. 93.54%), uma diferença dentro da variância de semente para semente. No entanto, as características conservadoras foram 2–6× mais rápidas para classificar, sugerindo melhor separabilidade linear.
  • CartPole-v1: A variante conservadora alcançou uma recompensa média maior (120.6 vs. 88.6). Crucialmente, a semente 44 (conservadora, criticidade perfeita) alcançou a maior pontuação individual (163.4).
• Alinhamento de Checkpoint: Uma assimetria notável foi observada na seleção de checkpoints. Para a variante conservadora, o checkpoint final (ger 499) maximizou simultaneamente a aptidão e a criticidade. Para a base, os checkpoints com as melhores estatísticas de avalanche não coincidiram com aqueles que geraram o melhor desempenho subsequente, indicando que a conservação alinha a qualidade da SOC com a utilidade funcional.

Significância e Alegações

O artigo afirma que a conservação de massa é um mecanismo simples, eficaz e de zero parâmetro para promover criticidade robusta em reservatórios de NCA evoluídos. Ao prevenir a explosão ou extinção de massa, a conservação regulariza a dinâmica, estreitando o panorama de aptidão (fitness landscape) em torno de atratores totalmente críticos e tornando-os mais fáceis de serem encontrados por algoritmos evolutivos.

Os autores afirmam que esta abordagem consegue desacoplar a busca pela criticidade do sacrifício da utilidade subsequente. Os resultados fornecem suporte empírico tentativo para a hipótese da borda do caos no contexto de computação de reservatório, sugerindo que sistemas operando próximos à criticidade (facilitada pela conservação) podem oferecer capacidades superiores para computação sequencial e controle temporal. O estudo conclui que a conservação não apenas auxilia no alcance da SOC, mas também garante que as dinâmicas críticas resultantes estejam funcionalmente alinhadas com o desempenho da tarefa, eliminando a tensão frequentemente vista entre otimizar para criticidade e otimizar para utilidade da tarefa.

Nota: Os autores reconhecem limitações, incluindo o uso de apenas três sementes por variante (limitando o poder estatístico) e a aplicação da conservação apenas aos canais visíveis. Eles sugerem que trabalhos futuros explorem populações de sementes maiores, conservação de canais ocultos e a co-otimização de criticidade e aptidão de tarefa.