Resumo Técnico: Aprendizado por Reforço Seguro Centrado em Passividade para Tarefas Robóticas Ricas em Contato

Declaração do Problema

O Aprendizado por Reforço (RL) demonstrou sucesso significativo no controle robótico, mas enfrenta barreiras críticas quando implantado em ambientes reais e ricos em contato. As políticas de RL tradicionais frequentemente priorizam a conclusão da tarefa e a eficiência do aprendizado, negligenciando a estabilidade e a segurança do sistema. Em cenários ricos em contato, como o acompanhamento de paredes ou manipulação com regulação de força, políticas que carecem de garantias de passividade podem levar à instabilidade do sistema, acúmulo ilimitado de energia e vibrações de alta frequência. Esses comportamentos representam riscos para o robô, o ambiente e operadores humanos.

Embora o Controle Baseado em Passividade (PBC) seja um método estabelecido para garantir a estabilidade em interações físicas, sua integração ao RL permanece pouco explorada. A literatura existente foca frequentemente no design de tanques de energia ou parâmetros para o controle clássico, com investigação limitada sobre o design de sistemas passivos baseados em aprendizado. Além disso, simplesmente limitar a energia total é insuficiente; o fluxo de energia entre o controlador e o robô também deve ser restringido para garantir a passividade. O artigo identifica uma lacuna na combinação de RL com PBC para abordar simultaneamente segurança, estabilidade e eficiência energética em tarefas ricas em contato.

Metodologia

Os autores propõem um framework de RL Seguro com Passividade Garantida que integra restrições baseadas em energia tanto nas fases de treinamento quanto de implantação. A abordagem é construída sobre um baseline de RL Seguro que utiliza Controle de Impedância Variável (VIC) e um crítico de segurança para tarefas ricas em contato. A metodologia distingue quatro abordagens:

1. Agnóstico à Passividade: RL padrão sem considerações de passividade.
2. Filtrado por Passividade: RL treinado tradicionalmente, com um filtro de passividade aplicado na implantação.
3. Consciente da Passividade: RL treinado com restrições explícitas de energia para aprender comportamento passivo.
4. Garantido pela Passividade: Uma combinação de treinamento consciente da passividade e um filtro de passividade na implantação.

Componentes Principais

• Tanque de Energia Aumentado: O sistema emprega um tanque de energia ($E_T$) para armazenar e limitar a energia. Diferente de trabalhos anteriores que apenas limitavam a energia total, este método introduz um limite de fluxo ($\dot{E}_T$) para restringir a taxa de injeção de energia, abordando a insuficiência de apenas limitar a energia total.
• Treinamento Consciente da Passividade (Seção 2.4): O Processo de Decisão de Markov Restrito (CMDP) é estendido para incluir duas novas restrições:
  • Restrição de Orçamento ($c_{eb}$): É acionada se o tanque de energia cair abaixo de um limite inferior ($E_T \leq \underline{E}_T$).
  • Restrição de Fluxo ($c_{ef}$): É acionada se a taxa de drenagem de energia exceder um limiar ($\dot{E}_T < \underline{\dot{E}}_T$).
    Essas restrições são usadas para treinar um crítico de segurança, permitindo que o agente aprenda políticas energeticamente eficientes sem aumentar o espaço de estados com variáveis do tanque, mantendo assim o estado compacto.
• Controle Garantido pela Passividade (Seção 2.5): Uma camada de passividade é aplicada à saída do agente de RL durante a implantação. Esta camada atua como um filtro:
  • Ela calcula o fator de escala $\alpha$ com base na razão entre o fluxo de energia permitido e o fluxo real.
  • Ela modifica a rigidez cartesiana e os torques de controle ($\tau_{IC}$) para garantir que a condição de fluxo de energia seja atendida.
  • Se o tanque de energia for esgotado, as atualizações de rigidez são interrompidas ou modificadas para evitar a injeção adicional de energia, garantindo que o sistema permaneça passivo.

Principais Contribuições

O artigo descreve três contribuições primárias:

1. Comparação Sistemática: Uma comparação extensiva de diferentes abordagens de aprendizado de controle passivo baseadas em RL (agnóstico à passividade, filtrado, consciente e garantido), avaliando seus efeitos no treinamento, implantação, segurança, estabilidade e eficiência energética.
2. Formulação de Passividade Aumentada: O design e a avaliação de uma formulação de passividade baseada em tanque de energia aumentada dentro do RL, incorporando especificamente tamanhos variados de tanque de energia e, crucialmente, restrições de fluxo de energia.
3. Framework de Passividade Garantida: A introdução de um framework que aborda simultaneamente a passividade do controle e a segurança em contato rico, combinando o treinamento consciente da passividade com um filtro de passividade no tempo de implantação.

Resultados Experimentais

O método foi avaliado em uma tarefa de exploração de labirinto rica em contato, onde um robô deve navegar por um labirinto desconhecido tocando as paredes cegamente, exigindo regulação precisa de força. Experimentos foram conduzidos em simulação MuJoCo e em um braço robótico real Franka Panda.

Fase de Treinamento

• Impacto das Restrições: A introdução de restrições de passividade ($c_{eb}$ e $c_{ef}$) afetou diretamente as taxas de sucesso da tarefa durante o treinamento. Embora restrições excessivamente rigorosas (ex: limites de fluxo apertados) tenham inicialmente dificultado a exploração e o sucesso, elas forçaram o agente a aprender comportamentos mais conservadores e energeticamente eficientes.
• Dinâmica de Aprendizado: Agentes treinados com restrições de energia (ex: $E_b4$) aprenderam a regular a rigidez de forma mais econômica, resultando em um gasto de energia reduzido e mais uniformemente distribuído em comparação com agentes agnósticos à passividade.

Fase de Implantação (Simulação e Mundo Real)

• Garantia de Estabilidade: A abordagem de passividade garantida (treinamento consciente da passidade + filtro de passividade) foi o único método a garantir a passividade do sistema. Políticas agnósticas à passividade, mesmo quando bem-sucedidas na conclusão da tarefa, frequentemente violaram restrições de energia e exibiram uso agressivo de energia.
• Desempenho vs. Eficiência:
  • Agnóstico à Passividade: Alcançou alto sucesso na tarefa isoladamente, mas esgotou os orçamentos de energia rapidamente e falhou em testes no mundo real devido à aplicação agressiva de força.
  • Garantido pela Passividade: Alcançou 100% de taxa de sucesso nos testes de mundo real sem violações de restrição de força ou energia. Embora algumas políticas restritas (como $E_b4$) tenham convergido mais lentamente no treinamento, demonstraram superior eficiência energética e robustez na implantação.
• Validação no Mundo Real: Em experimentos no mundo real, o baseline agnóstico à passividade falhou em um de três testes devido ao excesso de força em um ponto de curva. Todas as configurações de passividade garantida tiveram sucesso sem violar as restrições de força ou energia. A análise de consumo de energia confirmou que as políticas conscientes da passividade mantiveram taxas de uso de energia menores do que o baseline agnóstico.

Significância e Alegações

O artigo afirma que as políticas de RL tradicionais são insuficientes para tarefas ricas em contato devido à falta de garantias inerentes de estabilidade. O framework proposto de RL Seguro com Passividade Garantida aborda isso ao:

1. Garantir a Estabilidade: O filtro de passividade no tempo de implantação garante que o sistema permaneça passivo independentemente da saída do agente de RL, prevenindo instabilidade e comportamentos inseguros.
2. Melhorar a Eficiência Energética: Ao treinar explicitamente o agente com restrições de energia, o sistema aprende a usar a energia de forma mais econômica, levando a um melhor desempenho em tarefas complexas de longa duração.
3. Preencher a Lacuna: O trabalho demonstra que combinar a otimização de política baseada em aprendizado com formalismos de passividade clássicos é um caminho viável para o implante robótico seguro, estável e eficiente em ambientes não estruturados e ricos em contato.

Os autores concluem que, embora o treinamento consciente da passividade melhore a eficiência energética, o filtro de passividade é essencial para garantir a segurança durante a implantação, uma vez que o aprendizado sozinho não pode garantir a passividade estrita devido à natureza estocástica do RL e à incompletude dos dados.