Neural Associative Skill Memories for safer robotics and modelling human sensorimotor repertoires

Resumo Técnico: Memórias Associativas Neurais de Habilidades para Robótica Mais Segura

Declaração do Problema
A robótica moderna enfrenta um desafio compartilhado por sistemas biológicos: a capacidade de aprender, armazenar e expressar adaptativamente múltiplas habilidades sensoriomotoras, mantendo a segurança através da detecção de falhas. Abordagens tradicionais, como Memórias Associativas de Habilidades (ASMs), vinculam primitivos de movimento (por exemplo, Primitivos de Movimento Dinâmico ou DMPs) a feedback sensorial estereotipado para permitir controle reativo e detecção de anomalias. No entanto, as ASMs existentes dependem de bibliotecas codificadas manualmente, semelhantes a dicionários, onde cada habilidade é modelada por um conjunto separado de pesos. Essa arquitetura exige seleção explícita de habilidades ou comparação manual de perfis sensoriais para identificar a habilidade ativa, limitando a capacidade do sistema de detectar falhas em todo um repertório sem instrução prévia. Além disso, esses sistemas lutam para unificar detecção de falhas, controle reativo e expressão de habilidades dentro de um único quadro de aprendizado biologicamente plausível.

Metodologia
Os autores propõem Memórias Associativas Neurais de Habilidades (Neural ASMs), um quadro que substitui bibliotecas codificadas manualmente por uma única rede neural unificada baseada em codificação preditiva temporal (tPC). Essa abordagem utiliza aprendizado auto-supervisionado e regras de aprendizado local biologicamente plausíveis (atualizações Hebbianas) em vez de retropropagação através do tempo (BPTT).

• Arquitetura: O modelo emprega uma rede tPC de duas camadas estruturada como um Modelo Oculto de Markov (HMM). Consiste em estados ocultos ($z$) representando o contexto e a dinâmica inferidos, e camadas de observação ($x$) representando dados sensoriomotores (por exemplo, ângulos das juntas, forças da garra, pistas visuais).
• Mecanismo de Aprendizado: A rede aprende minimizando uma função de energia que representa o erro de predição entre a observação atual e a predição gerada a partir do estado oculto.
  • Memorização: Durante a fase de aprendizado, a rede infere estados ocultos para minimizar a soma dos erros quadráticos entre as sequências sensoriomotoras preditas e as reais. As atualizações de pesos ($W_H$ para transições de estado, $W_F$ para predição de observação) seguem regras de descida de gradiente local, criando estados atratores na paisagem de energia para sequências memorizadas.
  • Recordação (Expressão): O sistema recupera habilidades a partir de pistas parciais via "inferência guiada". O estado oculto é inferido iterativamente a partir de observações iniciais (imitando o preparo motor), estabelecendo a condição inicial para o sistema dinâmico. A rede então prediz futuras observações sensoriomotoras. O artigo foca na recordação offline, onde a trajetória é fixada após a pista inicial, modelando movimentos balísticos.
• Integração de Controle: As Neural ASMs funcionam como uma política dinâmica de alto nível. Elas não prescrevem um controlador de baixo nível específico, mas guiam um sistema de controle flexível (por exemplo, um controlador de posição) minimizando erros de predição proprioceptiva para alcançar estados desejados.

Principais Contribuições

1. Arquitetura Unificada: O artigo demonstra que uma única rede de codificação preditiva pode aprender um repertório de múltiplas habilidades, realizar reconhecimento implícito de habilidades e expressá-las sem mecanismos explícitos de seleção de habilidades.
2. Aprendizado Biologicamente Plausível: Diferentemente das ASMs tradicionais ou Redes Neurais Recorrentes (RNNs) padrão treinadas via BPTT, as Neural ASMs utilizam regras de aprendizado local e codificação preditiva auto-supervisionada, oferecendo um modelo mais realista biologicamente de aprendizado sensoriomotor.
3. Detecção Implícita de Falhas: O quadro permite a detecção de falhas em todos os comportamentos aprendidos monitorando a energia da rede (erro de predição). Anomalias (eventos fora da distribuição) resultam em estados de alta energia, permitindo que o robô detecte falhas sem saber qual habilidade específica está sendo executada.
4. Inferência Contextual e Preparo Motor: O modelo introduz uma fase de inferência iterativa (configuração prospectiva) que atua como uma explicação mecanicista do preparo motor. Essa fase permite que a rede separe e expresse memórias de habilidades distintas com base em pistas contextuais (por exemplo, alvos visuais) antes da execução do movimento.

Resultados
Os autores validaram as Neural ASMs através de experimentos de simulação:

• Detecção e Isolamento de Falhas: Em uma tarefa de pegar e colocar com duas habilidades, o modelo detectou com sucesso falhas de travamento das juntas identificando níveis de energia anormais. Superou um método de base (usando erros normalizados por Z-score) tanto na precisão de detecção de falhas (82–83% vs. 74–82%) quanto na precisão de isolamento de falhas (79,5% vs. 41%).
• Correção Reativa: O sistema demonstrou correção reativa de falhas minimizando erros de predição proprioceptiva no espaço de configuração, permitindo que um controlador de baixo nível compensasse perturbações (por exemplo, uma colisão com um objeto caindo) em tempo real.
• Separação de Habilidades e Inferência Contextual: Inspirado em estudos motores humanos (Sheahan et al., 2016), o modelo foi testado na separação de memórias de habilidades para perturbações no sentido anti-horário versus horário sob diferentes condições de planejamento. As Neural ASMs separaram e expressaram com sucesso os planos motores corretos apenas quando pistas contextuais estavam disponíveis durante a fase de planejamento (condições Apenas Planejamento ou Planejamento e Execução), replicando resultados de adaptação semelhantes aos humanos.
• Compromisso entre Velocidade e Precisão: O modelo previu um compromisso entre velocidade e precisão durante a expressão de habilidades: menos iterações de inferência (tempo de preparo motor mais curto) levaram a uma recordação menos precisa, enquanto iterações aumentadas melhoraram a precisão. Esse fenômeno não foi capturado por RNNs de base treinadas com BPTT.

Significado e Alegações
O artigo alega avançar o campo da neurorrobótica ao demonstrar como princípios de codificação preditiva podem unificar detecção de falhas, controle reativo e memorização de habilidades em uma única arquitetura baseada em energia. Os autores postulam que as Neural ASMs fornecem uma lente computacional para estudar o aprendizado sensoriomotor biológico, especificamente:

• Oferecendo um mecanismo para detecção de lesões/falhas que depende de erros de predição hierárquicos em vez de apenas sinais nociceptivos periféricos.
• Modelando o papel da atividade de preparo motor na definição do estado inicial de um sistema dinâmico para separar memórias de habilidades.
• Prevendo um compromisso entre velocidade e precisão na expressão de habilidades habituais consistente com dados experimentais humanos.

Os autores mantêm uma postura modesta, reconhecendo que sua implementação atual é uma prova de conceito usando simulações simplificadas (recordação offline, repertório limitado de habilidades e perturbações sintéticas). Eles observam que, embora o quadro suporte múltiplas habilidades, as taxas de aprendizado podem depender do número de habilidades, e o modelo atual ainda não estima incerteza posterior ou lida com falhas de sensores complexas sem adaptação dinâmica de precisão. Sugere-se trabalho futuro para explorar recordação online, controladores mais eficientes energeticamente e a integração de controle de feedback ótimo.