Resumo Técnico: Redes de Atrator Hebbiano para Locomoção Robótica

1. Problema e Motivação

As abordagens atuais de aprendizado para robótica seguem predominantemente um paradigma de treinamento-implantação: uma política de rede neural é treinada em simulação para otimizar um conjunto estático de pesos, que permanecem fixos durante a operação no mundo real. Isso torna os sistemas frágeis a condições dinâmicas, como deriva de sensores, variações no terreno ou degradação de atuadores.

Em contraste, os sistemas nervosos biológicos utilizam plasticidade sináptica contínua (aprendizado Hebbiano) para se adaptar e auto-modificar ao longo da vida. Embora o aprendizado Hebbiano tenha sido explorado em robótica, a interação entre as mudanças de pesos e o controle, bem como a estabilidade desses sistemas, permanece pouco compreendida. Especificamente, como evitar dinâmicas instáveis (como crescimento ilimitado de pesos) e como induzir comportamentos desejáveis (como convergência para estados estáveis ou ciclos limitados) em tempo real é um desafio aberto.

2. Metodologia: Redes de Atrator Hebbiano (HANs)

Os autores introduzem as Redes de Atrator Hebbiano (HANs), uma classe de redes neurais plásticas onde a normalização local dos pesos induz dinâmicas de atrator emergentes. A metodologia baseia-se em três pilares principais:

A. Arquitetura e Regra de Aprendizado

• Rede Neural: Arquitetura feedforward com atualizações online baseadas em regras Hebbianas locais.
• Regra ABCD Generalizada: As atualizações de peso seguem uma combinação linear das ativações pré e pós-sinápticas:
  $$\Delta w = \eta (a \cdot x_{pre} \cdot x_{post} + b \cdot x_{pre} + c \cdot x_{post} + d)$$
  Os coeficientes ($a, b, c, d$) e as taxas de aprendizado ($\eta$) são otimizados via Estratégias Evolutivas (ES).
• Normalização Máxima (Max-Normalization - MN): Após cada atualização, os pesos de cada camada são reescalados pelo seu valor absoluto máximo. Isso previne o crescimento ilimitado e é crucial para a emergência de comportamentos de atrator estruturados.

B. Dual-Escala Temporal e Média Móvel

Diferentemente de trabalhos anteriores que atualizam os pesos a cada passo de tempo, os HANs introduzem uma dualidade de escalas de tempo:

1. Frequência de Controle ($f_{NN}$): A rede executa inferência de ação frequentemente.
2. Frequência Hebbiana ($f_{hebb}$): As atualizações de peso ocorrem em uma frequência mais baixa ($f_{NN} > f_{hebb}$).
3. Média Móvel (Moving Average - MA): As ativações pré e pós-sinápticas são suavizadas através de uma janela de média móvel de comprimento $M$ antes de serem usadas no cálculo da regra Hebbiana.

Essa desacoplagem permite que a regra de aprendizado opere sobre sinais de ativação suavizados que refletem dinâmicas temporais mais longas, em vez de apenas ativações instantâneas.

3. Contribuições Principais

O artigo apresenta três contribuições fundamentais:

1. Análise Sistemática: Uma investigação empírica de como componentes estruturais (normalização, dual-escala, média móvel) afetam o desempenho e a dinâmica dos pesos em tarefas de locomoção contínua.
2. Caracterização de Regimes de Atrator: Demonstração de que a frequência de atualização e a janela de média induzem dois regimes distintos de dinâmica de pesos:
   • Ciclos Limitados Co-dinâmicos: Pesos oscilam em sincronia com o ciclo de marcha (comum em atualizações rápidas e sem média).
   • Atratores de Ponto Fixo: Pesos convergem para uma configuração estável após um período de adaptação (induzido por atualizações lentas e média móvel longa).
3. Generalização e Robustez: Validação em benchmarks de locomoção (Gymnasium) e em um robô quadrúpede simulado (Unitree Go1), mostrando que as HANs podem superar ou igualar controladores estáticos e de RL baseados em gradiente, com maior adaptabilidade a danos morfológicos.

4. Resultados Experimentais

Desempenho em Benchmarks (Gymnasium)

• Comparação: As HANs foram comparadas com redes MLP estáticas, GRUs e algoritmos de RL (PPO).
• Resultados: A adição de Normalização Máxima (MN) melhorou drasticamente o desempenho. A combinação de dual-escala e média móvel (Condição E: $M=10, f_{NN}=4\times f_{hebb}$) produziu os melhores resultados na maioria das tarefas (HalfCheetah, Walker2D), superando MLPs estáticos e, em alguns casos, GRUs.
• Observação: Em ambientes mais simples (Swimmer), as HANs alcançaram desempenho comparável ao PPO, apesar de usar arquiteturas muito menores.

Dinâmica de Pesos e Atratores

• Condição B (Atualização Rápida, Sem Média): Os pesos exibem oscilações contínuas sincronizadas com a marcha do robô. Se a atualização Hebbiana for interrompida, o robô perde a capacidade de locomover-se (o sistema é co-dinâmico).
• Condição E (Atualização Lenta, Com Média): Os pesos convergem para um ponto fixo após uma fase inicial de adaptação. A rede torna-se robusta a perturbações; se o peso for congelado após a convergência, o robô continua a locomover-se estável.
• Análise de Perturbação: Em testes com colisão simulada, a rede com atrator de ponto fixo (Condição E) adaptou-se temporariamente e retornou à mesma configuração de pesos estável, demonstrando resiliência.

Robô Unitree Go1 e Adaptação Morfológica

• Locomoção Quadrúpede: Os resultados se generalizaram para o robô Unitree Go1. A Condição E produziu atratores de ponto fixo estáveis, enquanto a Condição B manteve ciclos limitados.
• Danos Morfológicos: Em um cenário de "mutilação" (encurtamento de uma perna), as HANs mantiveram desempenho consistente em cenários não vistos durante o treinamento, superando o PPO em cenários de teste fora da distribuição. Curiosamente, sob danos permanentes, ambas as condições de HAN tenderam a evoluir para dinâmicas oscilatórias (ciclos limitados), sugerindo que a oscilação é preferida quando é necessária adaptação a modos de locomoção qualitativamente diferentes.

5. Significado e Conclusão

Este trabalho fornece uma caracterização principial de como o tempo da plasticidade molda a dinâmica neural em sistemas corporificados.

• Mudança de Paradigma: Demonstra que a plasticidade Hebbiana não precisa ser apenas um mecanismo de "meta-aprendizado" (ajuste de parâmetros para uma tarefa futura), mas pode ser projetada para criar dinâmicas intrínsecas de rede (atratores) que garantem estabilidade e robustez.
• Controle Adaptativo: A descoberta de que atualizações mais lentas e a média de ativação podem induzir atratores de ponto fixo oferece uma nova via para criar controladores robóticos que são ao mesmo tempo adaptativos (durante a vida útil) e estáveis (após a convergência).
• Futuro: Os autores sugerem que redes com múltiplos atratores e mecanismos de neuromodulação (para alternar entre atratos) são o próximo passo para lidar com mudanças ambientais abruptas e preencher a lacuna simulação-realidade.

Em suma, os HANs representam um avanço significativo na criação de robôs que não apenas aprendem antes de agir, mas que continuam a aprender e estabilizar seu comportamento de forma contínua e biologicamente plausível durante a operação.