Vision-based Goal-Reaching Control for Mobile Robots Using a Hierarchical Learning Framework

Resumo Técnico: Controle de Alcance de Objetivo Baseado em Visão Robusto para Robôs Móveis Utilizando um Framework de Aprendizado Hierárquico

Declaração do Problema
O alcance confiável de objetivos para robôs móveis de grande escala (ex: plataformas de direção skid-steer de 6000 kg) em ambientes severos e parcialmente conhecidos (mineração, construção, silvicultura) continua sendo um desafio. Embora o Aprendizado por Reforço (RL) ofereça alto desempenho, sua implementação em robôs pesados é complicada por preocupações com segurança, dinâmicas de atuadores não lineares complexas e o risco de falhas sistemáticas. As abordagens de RL existentes frequentemente assumem uma atuação de baixo nível perfeita ou são projetadas para robôs mais leves, falhando em abordar as restrições específicas de cadeias de atuadores in-wheel pesadas, distúrbios induzidos por deslizamento e a necessidade de garantias formais de segurança em operação em tempo real.

Metodologia
O artigo propõe um framework de controle hierárquico e consciente da segurança, integrando quatro camadas distintas:

1. Localização Visual: O sistema utiliza o ORB-SLAM3 como uma interface de estimativa de pose visual estéreo em tempo real. Ele fornece a pose planar ($x, y, \theta$) do robô para o planejador e o supervisor, apresentando capacidades de fechamento de loop (loop closing), fusão de mapas e relocalização para funcionar sem GNSS.
2. Planejador de Movimento de RL com Restrições: Um agente de Q-learning discreto gera referências de movimento suaves e viáveis.
   • Estado e Ação: O espaço de estados discretiza a distância até o objetivo, erro de curso (heading error), velocidade linear e velocidade angular. Crucialmente, o agente gera acelerações ($a_v, a_\omega$) em vez de velocidades diretas para garantir suavidade.
   • Modelagem de Recompensa (Reward Shaping): A função de recompensa combina o progresso da tarefa (redução de distância, penalidades de timeout) com termos de modelagem específicos para suprimir oscilações, impor monotonicidade de curso e penalizar inversões de sinal próximo ao objetivo.
   • Restrições de Política: O planejador incorpora histerese e lógica de bloqueio zero (zero-lock logic — limitando a aceleração angular a zero quando alinhado com o objetivo) para eliminar oscilações residuais de curso típicas de robôs skid-steer pesados.
3. Controle de Nível de Atuador (DNN + RAC):
   • Feedforward: Uma Rede Neural Profunda (DNN) treinada por Gradiente Conjugado Escalado (SCG) aproxima um mapa feedforward quase estático da velocidade desejada da roda para o controle nominal. Este mapa é treinado offline em dados coletados de terrenos de asfalto e solo solto.
   • Feedback: Um Controlador Adaptativo Robusto (RAC) com uma função de barreira logarítmica compensa erros de modelagem residuais, deslizamentos e incertezas limitadas. A lei de controle garante rastreamento Uniformemente Ultimamente Limitado (UUB) com convergência exponencial para um conjunto residual dependente de distúrbios.
4. Lógica de Segurança Supervisora: Um supervisor amostrado monitora o sistema para violações de limites de segurança (usando uma barreira logarítmica baseada na distância a um círculo de segurança) e inconsistências de localização (ex: saltos anormais de pose). Ao detectar falhas ou condições inseguras, ele aciona um perfil de frenagem determinístico e muda o robô para um modo de retorno seguro, guiando-o de volta a um local de inspeção predefinido.

Principais Contribuições
Os autores enfatizam que a novidade não reside na invenção de novos algoritmos de SLAM, RL ou controle, mas sim na sua integração e realização específica para o problema em uma plataforma pesada de campo:

1. Integração: Acoplamento do ORB-SLAM3, Q-learning com restrições, DNNs treinadas por SCG e RAC em uma única pilha de controle para um robô de 6000 kg.
2. RL Consciente de Restrições: Projeto de um planejador de Q-learning com ações baseadas em aceleração, modelagem de recompensa específica para suavidade e lógica de tempo de execução (histerese/bloqueio zero) adaptada às dinâmicas de robôs skid-steer pesados.
3. Realização do Atuador: Implementação de um mapa feedforward via DNN combinado com um RAC de barreira logarítmica para lidar com as não linearidades e incertezas de cadeias de atuadores in-wheel.
4. Supervisor de Segurança: Desenvolvimento de um supervisor de máquina de estados que detecta falhas de localização e impõe uma trajetória de retorno seguro, validada através de cenários de injeção de falhas.
5. Validação Experimental: Validação do framework completo em um robô de 6000 kg através de 3,5 km de operação (50% asfalto, 50% solo macio), demonstrando recuperação autônoma após injeção de falhas.

Resultos Experimentais
Experimentos foram conduzidos em um robô skid-steer de 6000 kg ao longo de 3,5 km de operação (50% asfalto, 50% solo macio).

• Alcance de Objetivo: O sistema alcançou um Erro Quadrático Médio (RMSE) de posição final de aproximadamente 3–4 cm (0,0317 m no asfalto, 0,0382 m no solo macio) no frame de estimativa do SLAM.
• Desempenho de Rastreamento: O RAC baseado em DNN superou significativamente os modelos de referência (Backstepping RAC e Model-based RAC) em termos de erro de estado estacionário, tempo de pico e overshoot máximo. A combinação de feedforward por DNN e feedback adaptativo reduziu o RMSE lateral para 0,008 m/s, comparado a ~0,039 m/s apenas com o feedforward.
• Segurança e Recuperação de Falhas: Em cenários de injeção de falhas (inconsistências de localização simuladas), o supervisor detectou com sucesso a violação, iniciou a frenagem e retornou o robô autonomamente para a área de inspeção segura.
• Estudos de Ablação: A remoção da lógica de histerese ou de bloqueio zero aumentou as reversões de curso e as oscilações próximas ao objetivo, confirmando a necessidade desses componentes projetados manualmente para estabilizar a política aprendida.

Significância e Alegações
O artigo afirma demonstrar a viabilidade de uma integração de nível de sistema para o alcance de objetivos em baixa velocidade para robôs pesados. Destaca que o framework proposto lida com sucesso com as complexidades de cadeias de atuadores pesadas e variações de terreno, mantendo a segurança através de uma camada supervisora.

Os autores são modestos em suas alegações, declarando explicitamente:

• O framework não é uma solução "plug-and-play" para plataformas arbitrárias; parâmetros e discretizações exigem reajuste para diferentes robôs e terrenos.
• Os resultados validam o desempenho sob limites conservadores de velocidade e aceleração em ambientes livres de obstáculos; eles não reivindicam autonomia de alta velocidade ou capacidade de desvio de obstáculos.
• O mapa feedforward da DNN é válido dentro do envelope operacional registrado; a operação fora deste envelope (ex: diferentes cargas úteis ou terrenos não vistos) é tratada como incerteza limitada tratada pelo RAC, não como uma generalização da DNN.
• O supervisor de segurança fornece uma resposta determinística a falhas detectadas específicas, mas não constitui uma prova geral de segurança sob todas as possíveis falhas de localização ou terreno.

Em conclusão, o trabalho fornece um caminho validado para a implantação de controle baseado em RL em robôs industriais pesados, preenchendo a lacuna entre o planejamento de alto nível e a robustez do atuador de baixo nível, enquanto garante a segurança através de uma camada supervisora dedicada.