Oncomorphic neural agent populations for resource-limited sequential learning

Resumo Técnico: Populações de Agentes Neurais Oncomórficos para Aprendizado Sequencial com Recursos Limitados

Definição do Problema
Sistemas de inteligência artificial distribuída operam frequentemente sob restrições de exposição sequencial a tarefas, recursos computacionais desiguais e coordenação descentralizada. Abordagens tradicionais de aprendizado contínuo, como regularização de parâmetros ou estratégias de replay, tipicamente assumem um orçamento computacional gerenciado centralmente e avaliam modelos candidatos fora de uma ecologia espacialmente distribuída. No entanto, dispositivos de borda (edge devices), redes de sensores e coletivos robóticos do mundo real enfrentam fluxos de dados que chegam localmente, tarefas que mudam ao longo do tempo e orçamentos de computação que variam por localização. O artigo aborda o desafio de determinar quais arquiteturas de redes neurais sobrevivem à exposição repetida a tarefas heterogêneas em um cenário descentralizado onde variação, seleção, mobilidade e suporte local finito interagem sem controle centralizado.

Metodologia
Os autores propõem um framework oncomórfico, um modelo computacional inspirado na ecologia do câncer, para simular uma população descentralizada de agentes neurais. O sistema opera em duas escalas acopladas:

1. Aprendizado Intra-Agente: Cada agente carrega uma única rede neural feed-forward densa e treina localmente na tarefa de classificação não linear específica de seu ambiente atual usando gradiente descendente. A duração do treinamento é finita e proporcional à capacidade de carga local ($K_e$) do ambiente, garantindo que os agentes operem sob orçamentos de aprendizado limitados em vez de convergência assintótica.
2. Rotatividade Ecológica Entre-Agentes: A população evolui através de quatro mecanismos:
   • Replicação: Agentes replicam-se a taxas dependentes do desempenho local e da ocupação do ambiente (crescimento logístico).
   • Mutação: Agentes podem mutar sua arquitetura (profundidade, largura, função de ativação, otimizador) para gerar novos designs.
   • Migração: Agentes movem-se entre ambientes, potencialmente desencadeando o recrutamento de capacidade de carga de uma reserva compartilhada finita ($K_{res}$).
   • Seleção: Agentes com baixo desempenho são removidos com base em uma função de probabilidade dependente do desempenho.

O estudo utiliza ambientes de classificação não linear sintéticos controlados (incluindo tarefas argmax, Gaussian-blob e orthant). Duas condições iniciais foram testadas: initRand (uma população diversa de arquiteturas aleatórias) e initMax (uma população homogênea de arquiteturas máximas). Os autores realizaram varreduras de parâmetros sobre a força de seleção ($\alpha$) e taxa de mutação ($\mu$), além da probabilidade de recrutamento e taxas de replicação de base, utilizando uma cadeia de Markov de tempo contínuo (algoritmo de Gillespie) para a simulação.

Principais Contribuições

• Framework Oncomórfico: Introduz um novo sistema multiagente onde a adaptação emerge da rotatividade ecológica (migração, mutação, seleção) em vez de otimização centralizada, modelando explicitamente a interação entre o aprendizado local e as capacidades de carga ecológicas finitas.
• Papel Dependente do Estado da Mutação: Demonstra que a utilidade da mutação arquitetural é contingente à diversidade inicial da população.
• Competência Multi-Tarefa Descentralizada: Mostra que uma população treinada apenas em tarefas locais sequenciais pode, através de seleção ecológica, tornar-se enriquecida com arquiteturas que exibem maior competência em todo o conjunto de tarefas sem treinamento conjunto adicional.
• Redistribuição de Recursos vs. Desempenho: Esclarece que, embora o recrutamento e a replicação reformulem o suporte demográfico, eles atuam como mecanismos de redistribuição de recursos finitos, e não como impulsionadores de melhoria na qualidade da predição.

Resultados

• Seleção e Acurácia Local: Uma seleção dependente de desempenho mais forte aumentou consistentemente a acurácia local terminal dos agentes sobreviventes. Na condição initRand (início diverso), alta seleção com baixa mutação produziu os melhores resultados (~0,878 de acurácia), pois a seleção consolidou arquiteturas de alto desempenho existentes. Na condição initMax (início clonal), a mutação foi essencial; sem ela, a seleção não poderia agir sobre a variação. Alta seleção combinada com mutação não nula melhorou a acurácia de ~0,48 para ~0,834.
• Competência Multi-Tarefa: A seleção baseada no desempenho local correlacionou-se com a melhoria da acurácia multi-tarefa ao final da execução (avaliando agentes em todos os ambientes sem retreinamento). Em initRand, a acurácia multi-tarefa atingiu o pico próximo a 0,65 com alta seleção e baixa mutação. Em initMax, a mutação foi novamente necessária para gerar alternativas para a seleção filtrar, atingindo ~0,57.
• Dinâmicas de Recrutamento: A variação na probabilidade de recrutamento e nas taxas de replicação de base resultou na manutenção da acurácia local dentro de uma faixa estreita (0,785–0,853). Isso indica que a atividade demográfica intensificada redistribui recursos de aprendizado finitos, mas não melhora sistematicamente a qualidade da predição.
• Dinâmicas Resolvidas no Tempo:
  • Concentração: A seleção dependente de desempenho impulsionou uma concentração significativa da população em direção a um conjunto restrito de arquiteturas (a fração da arquitetura dominante aumentou para 0,23), enquanto a deriva neutra produziu apenas uma concentração modesta (0,08).
  • Diversidade: Em inícios clonais, a mutação aumentou a entropia de Shannon (diversificação), que a seleção então filtrou. Em inícios diversos, a mutação reduziu ligeiramente a entropia ao perturbar designs favoráveis.
  • Aprendizado de Ciclo Finito: Os agentes continuaram a melhorar durante os episódios de treinamento local e foram avaliados antes da convergência total, suger que a treinabilidade sob janelas curtas é um fator crítico para a sobrevivência.
• Características da Arquitetura: As arquiteturas sobreviventes eram frequentemente relativamente compactas (ex: 2 camadas ocultas, 140 nós) em vez das máximas profundidade/largura inicialmente presentes, indicando que a eficiência sob orçamentos limitados é favorecida em detrimento da capacidade bruta.

Significância e Alegações
O artigo apresenta evidência mecanística de prova de conceito de que as dinâmicas populacionais oncomórficas oferecem uma via viável para a adaptação descentralizada em aplicações de engenharia com recursos locais limitados. Os autores afirmam que:

1. A competência útil em sistemas distribuídos pode surgir do enriquecimento populacional de arquiteturas que performam bem sob exposição local sequencial, em vez de apenas preservar o conhecimento em um único aprendiz persistente.
2. A eficácia da pressão exploratória (mutação) é dependente do estado: é crucial quando a diversidade é baixa (inícios clonais), mas potencialmente disruptiva quando uma distribuição ampla e favorável de designs já existe.
3. Existe uma distinção crítica entre adaptação (seleção e mutação determinando quais arquiteturas persistem) e alocação (recrutamento e replicação remodelando o substrato demográfico).
4. Sob orçamentos de treinamento finitos, arquiteturas que são "treináveis" e eficientes podem superar aquelas com capacidade teórica máxima.

Os autores explicitamente notam limitações, incluindo o uso de famílias de tarefas sintéticas e herança de nível de arquitetura (sem herança de pesos), enquadrando os resultados como evidência mecanística em vez de uma solução completa para o aprendizado contínuo no mundo real. Eles sugerem que trabalhos futuros poderiam estender o framework para outros tipos de agentes (CNNs, transformers) e incorporar modelos de custo explícitos para energia e latência.