Evolving Many Worlds: Towards Open-Ended Discovery in Petri Dish NCA via Population-Based Training

Este artigo apresenta o PBT-NCA, um algoritmo de treinamento baseado em população que supera a sensibilidade de hiperparâmetros dos Autômatos Celulares Neurais em Pratos de Petri, promovendo a descoberta autônoma de complexidade sustentada e fenômenos emergentes diversificados na "borda do caos" ao recompensar a novidade comportamental e a diversidade visual.

O essencial

Imagine que você tem um pequeno aquário digital, um "prato de Petri" virtual, onde vivem criaturas feitas de código. O objetivo dos cientistas não é apenas fazer essas criaturas sobreviverem, mas fazer com que elas evoluam para sempre, criando formas de vida novas, estranhas e complexas, sem nunca parar.

Aqui está a explicação do artigo "Evolving Many Worlds" (Evolução de Muitos Mundos) em linguagem simples:

1. O Problema: O "Jardim" que Morre

Antes dessa pesquisa, quando os cientistas tentavam criar vida artificial em computadores, algo chato acontecia. As criaturas digitais tendiam a fazer uma de duas coisas:

• Congelar: Elas paravam de se mover e viravam estátuas (equilíbrio estático).
• Virar Ruído: Elas ficavam caóticas, como uma TV fora do ar, sem nenhum padrão.

Era como tentar cultivar um jardim, mas as plantas ou morriam imediatamente ou viravam um mato sem forma. O sistema precisava de um "empurrão" para não ficar entediado.

2. A Solução: O "Zoológico" em Evolução (PBT-NCA)

Os autores criaram um método chamado PBT-NCA. Pense nele não como um único aquário, mas como um zoológico gigante com 30 aquários diferentes, todos rodando ao mesmo tempo.

Em vez de tentar fazer uma criatura perfeita, eles deixam todas as 30 evoluírem juntas. A cada rodada, eles olham para o "zoológico" inteiro e aplicam uma regra de seleção natural muito inteligente:

• Não premiam o "melhor" no sentido tradicional: Eles não querem a criatura mais rápida ou a mais forte.
• Premiam o "diferente": Eles dão pontos para as criaturas que fazem coisas que ninguém mais está fazendo.
  • Se uma criatura faz algo que já foi visto no passado? Sem pontos.
  • Se uma criatura faz algo que os vizinhos do zoológico estão fazendo agora? Sem pontos.
  • Se ela faz algo novo e estranho? Ela ganha pontos e sobrevive.

3. Como Funciona a "Seleção Natural" Digital

O sistema funciona como um jogo de "sobrevivência do mais criativo":

1. A Competição: Dentro de cada aquário, as criaturas digitais (chamadas de agentes) competem por espaço. Elas podem atacar, defender e se mover.
2. O Julgamento: Um "juiz" (um algoritmo) olha para o que aconteceu. Ele usa duas ferramentas:
   • O Diário de Bordo (Novelty): Verifica se o comportamento é diferente do que já foi visto antes na história do experimento.
   • O Olho de Águia (DINOv2): Usa uma inteligência artificial treinada para ver imagens (como um olho humano) para ver se a "paisagem" visual é diferente da dos outros aquários.
3. A Reprodução: As criaturas que são mais "chatas" (iguais às outras) são jogadas fora. As que são mais "criativas" (os pais) são copiadas para os aquários vazios.
4. A Mutação: Ao copiar, eles dão um "empurrãozinho" aleatório nos genes (parâmetros) das novas criaturas. Às vezes, isso cria algo melhor; às vezes, algo estranho.

4. O Resultado: Vida Realista e Surpreendente

Graças a essa pressão constante para ser diferente, o sistema descobriu fenômenos incríveis que lembram a vida real, sem que os cientistas tivessem programado regras para isso:

• Ondas Coordenadas: Criaturas que se movem em ondas perfeitas, como cardumes de peixes.
• Esporos de Colonização: Grupos homogêneos que "cuspem" pequenos aglomerados de células para colonizar terras distantes (como sementes voando).
• Monstros Fluidos: Estruturas grandes que mudam de forma, viajam pelo prato e mantêm um núcleo ativo, como um organismo vivo.
• Caminhos de Trilha: Criaturas que deixam rastros e seguem esses rastros para se moverem, sem um líder central.

5. A "Borda do Caos"

O ponto mais legal é onde tudo isso acontece. O sistema aprendeu a viver na "Borda do Caos".
Imagine uma linha fina:

• De um lado, tudo é ordem rígida (estátuas, nada muda).
• Do outro lado, tudo é caos total (ruído, nada faz sentido).
• No meio, na borda, é onde a vida acontece. É lá que a complexidade floresce. O PBT-NCA mantém as criaturas exatamente nesse ponto delicado, onde elas são complexas o suficiente para serem interessantes, mas estáveis o suficiente para não colapsar.

Resumo da Ópera

É como se você tivesse um jardim onde, em vez de regar as plantas, você apenas remove as que são iguais às outras. Com o tempo, o jardim se enche de flores de cores, formas e comportamentos que você nunca imaginou, porque a única regra era: "Seja diferente do que já existe".

O artigo mostra que, ao dar a liberdade de explorar infinitas possibilidades e punir a repetição, podemos criar sistemas digitais que descobrem sua própria "vida" complexa, abrindo portas para uma inteligência artificial que continua aprendendo e criando coisas novas para sempre.

Resumo técnico

Resumo Técnico: Evolving Many Worlds

1. O Problema

A geração de complexidade sustentada e aberta (open-endedness) a partir de interações locais permanece um desafio fundamental na vida artificial. Sistemas multiagentes diferenciáveis, como os Autômatos Celulares Neurais em Prato de Petri (PD-NCA), exibem auto-organização rica impulsionada pela competição espacial. No entanto, esses sistemas são altamente sensíveis a hiperparâmetros e frequentemente colapsam em dinâmicas não interessantes, tais como:

• Equilíbrios congelados (estados estáticos).
• Ruído sem estrutura (alta entropia).
• Monoculturas (onde um único agente domina uniformemente o substrato).

O objetivo é superar essas limitações para criar um sistema que não apenas otimize para um alvo fixo, mas que evolua continuamente, descobrindo novos regimes ecológicos e morfológicos indefinidamente.

2. Metodologia: PBT-NCA

Os autores introduzem o PBT-NCA (Population-Based Training of Petri Dish Neural Cellular Automata), um algoritmo meta-evolutivo que aplica ciclos de exploração e exploração (exploit-and-explore) em nível populacional.

A. O Substrato (PD-NCA):

• Consiste em múltiplos agentes (NCA) competindo por território em uma grade compartilhada.
• Cada agente possui canais de ataque, defesa e estado oculto.
• Existe um "ambiente" (agente $k=0$) que propõe atualizações aleatórias constantes, forçando os agentes a manterem defesas ativas para sobreviver, prevenindo estagnação evolutiva.
• A competição é formalizada via similaridade cosseno entre ataques e defesas, resultando em uma mistura ponderada dos estados das células.

B. Ciclo de Treinamento Meta-Evolucionário:
O PBT-NCA mantém uma população de mundos (cada um com seus próprios pesos, estados de otimizador e hiperparâmetros). A cada iteração meta:

1. Rollout e Pontuação: Todos os mundos são simulados por um horizonte fixo ($T_{world}$).
2. Função de Pontuação Composta ($F_i$): Cada mundo é avaliado por uma combinação de duas métricas:
   • Novidade Baseada em Arquivo ($N_i$): Utiliza descritores comportamentais manuais (fração de massa viva, desvio padrão temporal, turnover, entropia de mapa de vencedores) para medir quão diferente o comportamento atual é em relação a um arquivo FIFO (First-In-First-Out) de comportamentos históricos.
   • Diversidade Visual ($D_i$): Utiliza um encoder DINOv2 congelado para embutir frames do rollout. A pontuação é baseada na distância cosseno mediana entre as imagens do mundo atual e as imagens de todos os outros mundos na população. Isso recompensa texturas e morfologias visuais novas, mesmo que os descritores estatísticos sejam similares.
3. Seleção e Reprodução (Exploit-Explore):
   • Os mundos com menor pontuação são descartados.
   • Os mundos de elite (topo) são copiados para gerar descendentes.
   • Herança Lamarckiana: Os descendentes herdam não apenas os pesos da rede, mas também o estado do otimizador e o estado do mundo (não reiniciam do zero).
   • Variação: Os descendentes sofrem cruzamento (crossover) de hiperparâmetros, mutação (perturbação de hiperparâmetros) e adição de ruído gaussiano aos pesos.

3. Contribuições Principais

• Mecanismo de Pressão Evolutiva Contínua: Ao invés de buscar um objetivo fixo, o sistema recompensa a divergência histórica e contemporânea, mantendo o sistema na "borda do caos" (entre ordem e aleatoriedade).
• Descoberta Autônoma de Estratégias: O sistema descobre autonomamente estratégias de sobrevivência e auto-organização sem objetivos explícitos de cooperação ou estrutura.
• Integração de Métricas Híbridas: Combina descritores ecológicos manuais (para estabilidade e interpretabilidade) com diversidade visual baseada em aprendizado profundo (DINOv2) para capturar nuances morfológicas complexas.
• Escala e Robustez: Demonstra que a evolução populacional pode sustentar a complexidade em cenários com múltiplos agentes (3, 5 e 7 agentes) e diferentes espaços de hiperparâmetros.

4. Resultados e Observações

O PBT-NCA gerou uma variedade de fenômenos emergentes "vivos" ao longo de centenas de iterações meta:

• Ondas Periódicas Coordenadas: Padrões regulares e fluidos que se movem através do substrato.
• Dispersão Esporádica: Grupos homogêneos ejetam clusters de células para colonizar territórios distantes (semelhante a esporos).
• Estruturas Maciças Fluidas: Entidades que mudam de forma, migram e mantêm fronteiras externas estáveis com interiores altamente ativos.
• Locomoção Descentralizada: Padrões de rastro e movimento coordenado surgindo puramente de interações locais.
• Analogias Biológicas: O sistema exibiu comportamentos análogos a "canhões" e "gliders" (comuns em autômatos celulares clássicos), ondas espirais rotativas, e segregação espacial similar a deriva genética em populações microbianas.

Análise da Borda do Caos:

• Persistência Ecológica: O sistema manteve uma coexistência de múltiplas espécies em quase 100% dos quadros (evitando extinção ou monocultura).
• Complexidade Eficiente: A métrica de complexidade efetiva ($C_{eff}$) permaneceu elevada, indicando que o sistema opera no regime ideal onde padrões são variados, mas estruturalmente compressíveis.

5. Significado e Implicações

Este trabalho representa um passo significativo rumo à Inteligência Artificial Aberta (Open-Ended AI).

• Superação da Otimização Estática: Demonstra que a transição de otimização estática para inovação morfológica e funcional perpétua é viável em sistemas multiagentes.
• Potencial Computacional: A persistência de "domínios regulares" com fronteiras complexas sugere que o PBT-NCA pode implementar primitivas computacionais emergentes, um pré-requisito para sistemas de inteligência super-humana.
• Modelo para Vida Artificial: O sistema valida a hipótese de que a pressão competitiva contínua (semelhante à Hipótese da Rainha Vermelha) é um motor eficaz para a diversificação e sustentação da complexidade biológica e artificial.

Em resumo, o PBT-NCA não apenas evita o colapso em estados triviais, mas atua como um motor de descoberta, gerando continuamente novas formas de vida artificial e dinâmicas complexas que residem na fronteira entre a ordem e o caos.