Deep Reinforcement Learning-Enhanced Event-Triggered Data-Driven Predictive Control for a 3D Cable-Driven Soft Robotic Arm

Resumo Técnico: Controle Preditivo Baseado em Dados com Gatilho de Eventos Aprimorado por Aprendizado por Reforço para um Braço Robótico Soft de Acionamento por Cabos 3D

Definição do Problema
Braços robóticos soft possuem vantagens inerentes de conformidade e segurança, mas apresentam desafios significativos de controle devido às suas dinâmicas não lineares, variantes no tempo e com histerese. Abordagens tradicionais baseadas em modelos, como o Método de Elementos Finitos (FEM) ou formulações de haste de Cosserat, são frequentemente proibitivas computacionalmente para implantação em tempo real em plataformas com recursos limitados. O controle preditivo baseado em dados (DeePC) oferece uma alternativa livre de modelo ao aproveitar trajetórias de entrada-saída medidas para construir controladores preditivos sem identificação explícita do sistema. No entanto, o DeePC padrão opera de maneira de horizonte recuante, exigindo a solução de um problema de otimização restrita (tipicamente um programa quadrático) a cada instante de amostragem. Para robôs soft que demandam altas taxas de amostragem para capturar comportamentos transientes rápidos, essa reotimização repetida impõe um ônus computacional substancial, limitando a aplicabilidade em tempo real. Embora o controle por gatilho de evento (ETC) tenha sido explorado para mitigar isso em outros frameworks, os métodos de ETC baseados em dados existentes dependem tipicamente de regras de gatilho heurísticas estáticas (ex: limiares de erro fixos). Essas regras estáticas lutam para equilibrar economia computacional com desempenho de controle em sistemas caracterizados por dinâmicas fortemente não lineares e variantes no tempo, resultando frequentemente em economia limitada ou degradação da precisão de rastreamento.

Metodologia
Os autores propõem um framework de DeePC com Gatilho de Evento baseado em Aprendizado por Reforço Adaptativo (RL-ET-DeePC) projetado para reduzir a carga computacional enquanto mantém o desempenho do controle em malha fechada. A metodologia integra três componentes principais:

1. DeePC com Redução de Dimensionalidade: Para lidar com a alta dimensionalidade das matrizes de Hankel exigidas para robôs soft, o framework utiliza Decomposição de Valores Singulares (SVD). Dados offline são coletados para construir matrizes de Hankel de entrada-saída, que são então comprimidas retendo apenas os valores singulares dominantes. Isso reduz a dimensão da variável de decisão, tornando a otimização online mais tratável. O controlador resolve um problema de otimização regularizado para minimizar o erro de rastreamento e o esforço de controle, lidando com o ruído de medição via variáveis de folga (slack variables).
2. Gatilho de Evento Baseado em RL: Em vez de reotimizar a cada passo de tempo, um agente de Aprendizado por Reforço Profundo (DRL) determina se deve invocar o otimizador DeePC. O agente opera dentro de um Processo de Decisão de Markov (MDP) onde:
   • Estado: Definido pelo erro de rastreamento e sua variação temporal.
   • Ação: Uma decisão binária (0 ou 1) para ou pular a otimização (reutilizando uma entrada de controle em buffer) ou disparar uma nova otimização.
   • Recompensa: Uma função que equilibra penalidades de erro de rastreamento contra o custo computacional do disparo. Um parâmetro ajustável $\rho$ controla o compromisso entre precisão e eficiência.
   • Algoritmos: O framework é agnóstico a algoritmos; os autores avaliam abordagens baseadas em Valor (DQN), Gradiente de Política (PPO) e Ator-Crítico (A2C).
3. Sobreposição de Supervisão: Para garantir robustez e evitar execução excessiva em malha aberta, uma camada de supervisão força a reotimização se o buffer de controle estiver vazio ou se o tempo decorrido desde a última atualização exceder o horizonte de predição menos um. Isso garante que uma sequência de controle válida esteja sempre disponível.

Principais Contribuições

• Gatilho de Evento Adaptativo: O artigo introduz um mecanismo de gatilho aprendido e dependente do estado que substitui regras heurísticas estáticas. Isso permite que o controlador equilibre adaptativamente o custo computacional e o desempenho de rastreamento.
• Integração de SVD e RL: O framework combina a redução de dimensionalidade por SVD com DRL para criar um controlador preditivo computacionalmente eficiente e livre de modelo, adequado para plataformas robóticas soft com recursos limitados.
• Transferência Zero-Shot: O estudo demonstra a capacidade da política aprendida de transferir da simulação para o hardware sem retreinamento, alcançando desempenho consistente em um braço robótico soft 3D acionado por cabos físico.

Resultados
O framework foi validado através de extensas simulações e experimentos de hardware em um braço robótico soft 3D customizado acionado por cabos.

• Resultos de Simulação: Comparado ao DeePC periódico, o framework RL-ET-DeePC (especificamente usando o algoritmo PPO) reduziu a frequência de otimização em até 66% (a taxa de disparo caindo de 100% para ~34%) enquanto mantinha precisão de rastreamento comparável (o RMSE permaneceu dentro de faixas aceitáveis). Os resultados mostraram que a política aprendida concentra os esforços de reotimização durante fases transientes (mudanças rápidas de estado) e suprime atualizações durante a operação de estado estacionário.
• Experimentos de Hardware: No robô físico, o framework alcançou uma redução de 34% na frequência de otimização em comparação ao DeePC periódico. Embora a redução tenha sido menor do que na simulação (atribuída a desajustes de modelagem, fricção e histerese no sistema real), a precisão de rastreamento permaneceu comparável à linha de base periódica.
• Comparação com Baselines Estáticos: A abordagem baseada em RL demonstrou desempenho superior ao baseline de gatilho de evento com limiar estático. O método estático exibiu padrões de disparo irregulares e maiores desvios de rastreamento, particularmente durante transições dinâmicas, enquanto a política de RL produziu atualizações estruturadas e conscientes do contexto que mantiveram a fidelidade de rastreamento geométrico.

Significância e Alegações
Os autores afirmam que a principal contribuição deste trabalho é a formulação do gatilho de evento como uma decisão aprendida e dependente do estado, em vez de uma regra fixa. Essa abordagem proporciona um compromisso mais consistente e adaptativo entre precisão e custo computacional. O artigo enfatiza que o framework é amplamente agnóstico à plataforma, dependendo apenas de dados de entrada-saída e de um escalar de recompensa, tornando-o potencialmente extensível para outras morfologias de robôs soft (ex: atuados pneumaticamente ou sistemas de múltiplos segmentos), desde que um conjunto de dados de excitação persistente esteja disponível.

Os autores reconhecem modestamente as limitações, observando que o hiato "sim-to-real" (devido a dinâmicas não modeladas como atraso de atuação e histerese de cabos) exigiu o ajuste do parâmetro de penalidade $\rho$ para o implante em hardware. Eles sugerem que trabalhos futuros possam abordar isso através de randomização de domínio, atualização de dados online e simulações conscientes da dinâmica para mitigar ainda mais o hiato entre simulação e realidade.