3D RL-DWA: A Hybrid Reinforcement Learning and Dynamic Window Approach for Goal-Directed Local Navigation in Multi-DoF Robots

Resumo Técnico: 3D RL-DWA para Navegação de Robôs com Alto Grau de Liberdade

Declaração do Problema
A navegação autônoma em ambientes 3D complexos e restritos permanece um desafio significativo para sistemas robóticos com alto grau de liberdade (DoF), particularmente quando operam sob condições sensoriais esparsas. Métodos tradicionais de planejamento global frequentemente falham em ambientes dinâmicos e parcialmente conhecidos, enquanto planejadores locais padrão, como a Abordagem da Janela Dinâmica (DWA), dependem de ajuste fixo de parâmetros que limita a adaptabilidade. Além disso, abordagens híbridas existentes de Aprendizado por Reforço (RL) e DWA focaram predominantemente no movimento 2D em ambientes estruturados, deixando uma lacuna em soluções para o controle 3D de robôs deformáveis de alto DoF (como microrrobôs) que devem otimizar simultaneamente o movimento e a forma para navegar em estruturas tortuosas, como redes vasculares.

Metodologia
Os autores propõem o 3D RL-DWA, um framework híbrido que integra Aprendizado por Reforço (RL) com uma Abordagem de Janela Dinâmica 3D (DWA) personalizada para a navegação local de um robô deformável de 9 DoF. O sistema é modelado como um elipsoide com 6 DoF para pose (posição e orientação) e 3 DoF para deformação de forma ao longo de seus eixos de simetria.

• Arquitetura de Controle: O framework opera em um laço fechado onde um agente de RL observa o ambiente (estado da tarefa e dados de varredura a laser esparsos) e emite dois tipos de comandos:

  1. Parâmetros DWA: O agente ajusta dinamicamente os fatores de ponderação ($\alpha, \beta, \gamma, \zeta$) da função de custo da DWA, que equilibra velocidade, direção, afastamento de obstáculos e alinhamento com o objetivo.
  2. Comandos de Velocidade: O agente emite diretamente a velocidade angular ($\omega_x$) e as velocidades de deformação ($\dot{\delta}$).
     O módulo DWA utiliza então esses parâmetros para selecionar a velocidade linear ótima de um conjunto admissível, garantindo trajetórias livres de colisões dentro de uma janela dinâmica 3D.

• Formulação de Aprendizado por Reforço: O problema é formulado como um Processo de Decisão de Markov (MDP) utilizando o algoritmo Soft Actor-Critic (SAC). O agente é treinado para maximizar uma função de recompensa densa que incentiva o progresso para frente, a evasão de colisões e a maximização do volume ocupado pelo robô dentro do vaso. O espaço de observação inclui o estado de deformação do robô, a velocidade normalizada, o vetor de deslocamento até o objetivo e $N$ distâncias de varredura a laser.

• Cinemática: O movimento do robô é governado por um modelo cinemático simplificado inspirado em sistemas ferrofluidos. Uma restrição chave é que o eixo x do robô está alinhado com a direção do movimento, reduzindo o DoF rotacional controlável para um único eixo ($\omega_x$), enquanto os componentes rotacionais restantes são passivamente induzidos por restrições de alinhamento.

Contribuições Principais

1. Framework Híbrido Inovador: O artigo apresenta a primeira aplicação de um híbrido RL-DWA especificamente para navegação local 3D de robôs deformáveis de alto DoF, abordando a lacuna no controle de movimento 3D para tais sistemas.
2. Ajuste Adaptativo de Parâmetros: Diferentemente da DWA tradicional, que requer ajuste manual, o método proposto utiliza RL para ajustar dinamicamente os pesos da função de custo da DWA em tempo real, com base nas condições ambientais e na esparsidade dos sensores.
3. Controle Simultâneo de Movimento e Forma: O framework co-otimiza a pose e a deformação da forma, permitindo que o robô maximize sua ocupação de volume enquanto navega em espaços restritos.
4. Robustez à Sensoriamento Esparsos: O sistema é explicitamente avaliado sob diferentes níveis de dados exteroceptivos (15, 25 e 50 pontos de sensor), demonstrando adaptabilidade em condições típicas de aplicações biomédicas onde o sensoriamento de alta resolução é limitado.

Resultados Experimentais
O framework foi avaliado em um ambiente simulado de rede vascular utilizando 1.080 ensaios experimentais em cenários de treinamento e testes não vistos.

• Comparação de Desempenho: O 3D RL-DWA superou significativamente tanto uma linha de base pura de RL (SAC) quanto um controlador baseado em modelo (usando triangulação de Delaunay e grafos de Voronoi).
  • Conclusão do Caminho: Em cenários de teste não vistos com sensoriamento de alta resolução ($N=50$), o 3D RL-DWA alcançou uma conclusão de caminho quase perfeita (mediana ~99,22%), enquanto a linha de base pura de RL lutou (mediana ~45,75%) e o método baseado em modelo falhou completamente em resoluções mais baixas.
  • Deformação: A abordagem híbrida manteve altas capacidades de deformação (mediana ~53-57% de ocupação de volume) em todas as resoluções, enquanto o RL puro mostrou desempenho degradado de deformação em densidades de sensor mais baixas devido a falhas de navegação.
• Impacto da Resolução do Sensor: Maior resolução do sensor ($N=50$) melhorou a velocidade de convergência e a reprodutibilidade. No entanto, o sistema demonstrou robustez mesmo em resoluções intermediárias ($N=25$), enquanto $N=15$ resultou em confiabilidade reduzida de navegação, mas preservou alguma capacidade de deformação.
• Eficiência Computacional: O sistema demonstrou adequação em tempo real com tempos médios de inferência consistentemente abaixo de 2 ms por etapa de controle. O componente de RL foi constante no tempo, enquanto o componente DWA escalou linearmente com os pontos do sensor, mas permaneceu eficiente.
• Robustez ao Ruído: Sob ruído gaussiano crescente, o 3D RL-DWA manteve taxas superiores de conclusão de caminho em comparação com as linhas de base, embora o desempenho tenha degradado naturalmente com o ruído. O controle de deformação provou ser inerentemente mais robusto ao ruído do sensor do que a navegação.

Significado e Alegações
Os autores afirmam que o framework 3D RL-DWA conecta efetivamente a lacuna entre a adaptabilidade de métodos baseados em aprendizado e a orientação estruturada de planejadores clássicos. A abordagem híbrida é apresentada como uma solução que alcança um equilíbrio que nem métodos puramente de aprendizado nem métodos puramente baseados em modelo podem fornecer em ambientes 3D restritos.

O artigo enfatiza que este método é particularmente eficaz para aplicações biomédicas emergentes, como o controle autônomo de microrrobôs para intervenções minimamente invasivas, onde os robôs devem navegar em ambientes não estruturados e de sensoriamento esparsos. Os resultados sugerem que a integração de RL para ajustar os parâmetros da DWA permite uma navegação robusta e adaptativa que generaliza bem para sequências de pontos de passagem não vistas e incertezas sensoriais, tornando-o um candidato viável para implantação em tempo real em espaços 3D complexos.