Resumo Técnico: Redes Crescer-Podar-Congelar para Navegação Olfativa

Declaração do Problema

O artigo aborda o desafio de treinar agentes robóticos para navegação olfativa, uma tarefa caracterizada por sinais esparsos e intermitentes, ambientes não estacionários e a falta de conjuntos de dados padronizados e em grande escala (diferentemente da visão ou da linguagem). Arquiteturas de aprendizado profundo tradicionais são estáticas e dependem de conjuntos de dados massivos e pré-coletados, tornando-as inadequadas para a robótica de "grande mundo", onde os agentes devem adaptar-se em tempo real a padrões moleculares em evolução e plumas turbulentas. Além disso, abordagens padrão de aprendizado contínuo frequentemente sofrem de esquecimento catastrófico (perda de conhecimento prévio) ou perda de plasticidade (incapacidade de aprender novas tarefas), particularmente em ambientes parcialmente observáveis onde o agente deve inferir contexto a partir de um histórico sensorial limitado.

Metodologia: Framework Crescer-Podar-Congelar (GPF)

Os autores propõem redes Crescer-Podar-Congelar (GPF), um framework adaptativo que modifica dinamicamente a arquitetura de uma rede neural durante a execução com base na complexidade ambiental e no desempenho de aprendizado. O framework integra três mecanismos principais:

1. Crescer: A rede começa com uma única camada oculta. Novas camadas são adicionadas apenas quando a perda de validação estagna (excede um limite de paciência $\rho_k$ sem melhoria), permitindo que o modelo aumente sua capacidade conforme a complexidade da tarefa (por exemplo, turbulência da pluma) o exige.
2. Podar: Para manter a eficiência e evitar superparametrização, a rede poda neurônios "suaves". Um valor de crença ($h \in [0, 1)$) é atribuído a cada neurônio, incrementando-se quando sua magnitude de peso ou ativação permanece consistentemente alta. Neurônios com baixos valores de crença e pesos pequenos são removidos. Isso fundamenta-se na poda baseada em magnitude (LeCun et al., 1989), mas é aumentado por valores de crença para proteger padrões esparsos, porém relevantes.
3. Congelar: Para prevenir o esquecimento catastrófico, camadas que se estabilizam (pesos mudam minimamente durante um período de paciência $\rho_f$) são congeladas. Isso preserva as dinâmicas temporais aprendidas em encontros iniciais, enquanto permite que camadas mais recentes permaneçam plásticas.

Fundamentação Teórica

A metodologia fundamenta-se na Teoria de Matrizes Aleatórias Não Lineares (RMT). Os autores estendem o trabalho de Pennington & Worah (2017), que estabeleceu invariância espectral para redes de camada oculta única, para modelos de aprendizado contínuo de $n$ camadas.

• Eles demonstram que, à medida que camadas são adicionadas, a composição de autovalores dos pesos da rede é preservada.
• Ao congelar camadas estáveis, o framework garante que a distribuição espectral da matriz de Gram mantenha sua forma ideal (distribuição de Marchenko-Pastur), assegurando isometria dinâmica e propagação estável de gradientes mesmo com o aumento da profundidade da rede.
• A análise teórica (Teorema 1) prova que, sob suposições de camadas homogêneas, a transformada de Stieltjes da distribuição espectral empírica converge para um ponto fixo único, garantindo estabilidade durante adaptação indefinida.

Política e Treinamento

O framework GPF é avaliado utilizando Expected SARSA, um algoritmo de aprendizado por diferença temporal escolhido por sua robustez em ambientes parcialmente observáveis com recompensas esparsas (em comparação com Q-learning ganancioso). O agente opera em uma pluma de odor turbulenta simulada usando um modelo de filamento de Farrell–Murlis. O espaço de estados é discretizado em 392 estados únicos com base em bins de concentração de antenas bilaterais e octantes de direção do vento.

Contribuições Principais

1. Framework Adaptativo: Um framework inovador fundamentado em RMT para agentes de aprendizado por reforço adaptativo em ambientes parcialmente observáveis e não estacionários. Combina crescimento, poda e congelamento para equilibrar plasticidade e estabilidade.
2. Extensão Teórica: Uma extensão do trabalho de Pennington & Worah (2017) e Martin & Mahoney (2021) para mostrar que a invariância espectral de autovalores se mantém para redes multicamadas que crescem indefinidamente, fornecendo uma base teórica para aprendizado contínuo eficiente em recursos.
3. Critérios de Ajuste: Critérios específicos para estabilizar o aprendizado contínuo, incluindo variáveis de paciência para crescimento de camadas ($\rho_k$), poda ($\rho_p$) e congelamento ($\rho_f$), juntamente com um mecanismo de valor de crença para endurecimento de neurônios.
4. Validação Empírica: Demonstração de que as GPFs alcançam altas taxas de sucesso na navegação olfativa e evidências de generalização para outros domínios (Atari, CIFAR-10, GPT-2).

Resultados Experimentais

Navegação Olfativa (Tarefa Primária)

• Desempenho: O agente GPF alcançou uma taxa de sucesso de 98% na distribuição de treinamento e 94% em ensaios mantidos fora (held-out) através de diversas inicializações aleatórias.
• Evolução da Arquitetura: A rede começou com uma camada e cresceu para quatro camadas através de três eventos de crescimento.
  • Após a primeira passagem de crescimento-poda, a rede reteve 47,9% dos pesos.
  • Passagens subsequentes foram mais agressivas, retendo 19,6% e 9,9% dos pesos, respectivamente, resultando em uma arquitetura de quatro camadas altamente esparsa.
• Comparação: O agente GPF superou significativamente uma linha de base estática (camada oculta única) e demonstrou estabilidade superior em comparação com agentes Q-learning, que lutaram com recompensas esparsas e plumas não estacionárias.

Experimentos de Generalização

Os autores testaram GPFs em três tarefas adicionais para demonstrar generalizabilidade, embora declarem explicitamente não reivindicar desempenho de última geração em todos os benchmarks:

• Classificação de Imagens (CIFAR-10): Modelos GPF mostraram convergência de perda de validação mais estável em comparação com bases estáticas, com espectros de autovalores aderindo à distribuição de Marchenko-Pastur.
• Aprendizado por Reforço (Atari - Ms. Pacman): Agentes GPF exibiram menor volatilidade nas recompensas de validação em comparação com políticas estáticas.
• Modelagem de Linguagem (GPT-2 em TinyShakespeare): A variante GPF alcançou convergência estável e cessou o crescimento após atingir uma contagem máxima de camadas, enquanto a base estática mostrou perda volátil.

Significado e Reivindicações

O artigo afirma que as redes GPF oferecem uma solução prática para aprendizado robótico implantável em borda, onde os dados são escassos e os ambientes são dinâmicos. Ao fundamentar a arquitetura em RMT, os autores fornecem um mecanismo para agentes alocarem capacidade representacional apenas onde os sinais ambientais são complexos, enquanto preservam o conhecimento aprendido através do congelamento.

Os autores são modestos em suas reivindicações, observando que:

• A motivação e validação primárias são para robótica olfativa, uma modalidade que carece de benchmarks padronizados.
• Os resultados de generalização (Atari, CIFAR, GPT-2) são apresentados como evidência de suporte para o potencial do framework, não como benchmarks definitivos de última geração.
• Trabalhos futuros são necessários para validar GPFs em uma bateria mais ampla de tarefas e integrá-las com aprendizado federado e simuladores de dinâmica de fluidos computacional (CFD) mais complexos.

O trabalho conclui que as GPFs abordam com sucesso a "perda de plasticidade" identificada na literatura recente (Dohare et al., 2024), permitindo que os agentes cresçam, podem e congelem em resposta a dados em tempo real, oferecendo um caminho para sistemas de aprendizado contínuo verdadeiramente adaptativos para robótica.