Sim-to-reality adaptation for Deep Reinforcement Learning applied to an underwater docking application

Este artigo apresenta uma abordagem sistemática para o acoplamento autônomo de um AUV utilizando Aprendizado por Reforço Profundo, onde um ambiente de simulação de alta fidelidade com PPO permitiu treinar um agente que alcançou mais de 90% de sucesso na simulação e validação bem-sucedida em um tanque físico, demonstrando comportamentos emergentes eficazes para a adaptação sim-real.

O essencial

Imagine que você quer ensinar um robô subaquático a entrar em uma "garagem" (um porto de recarga) no fundo do mar. O problema é que o fundo do mar é cheio de correntes, a água é escura e os sensores do robô às vezes "alucinam".

Se você tentasse ensinar o robô diretamente na água real, seria como tentar aprender a andar de bicicleta na lama: demoraria muito, o robô quebraria o equipamento e, se ele batesse no porto, poderia se danificar.

É aqui que entra este artigo, que funciona como um simulador de voo super-realista para robôs subaquáticos.

Aqui está a explicação simples do que eles fizeram:

1. O "Trem de Treino" (O Simulador)

Os pesquisadores criaram um "gêmeo digital" do robô (chamado AUV) e do porto. Eles usaram um software chamado Stonefish, que é como um videogame de física super avançado.

• A Grande Truque: Em vez de rodar esse simulador em uma única linha de código (como um computador antigo), eles transformaram o simulador em uma "fábrica" que roda 20 vezes ao mesmo tempo.
• Analogia: Imagine que você tem 20 robôs idênticos treinando simultaneamente em piscinas virtuais diferentes. Enquanto um bate no fundo, o outro acerta o porto. Isso acelerou o aprendizado de anos para apenas 3 horas.

2. O Treinamento (Aprendizado por Tentativa e Erro)

Eles não ensinaram o robô com um manual de instruções. Eles usaram uma técnica chamada Aprendizado por Reforço Profundo (DRL).

• Como funciona: O robô é solto no simulador. Se ele se aproxima do porto suavemente, ganha "pontos" (recompensa). Se ele bate forte, perde pontos. Se demora muito, perde pontos.
• O Objetivo: O robô tenta milhões de vezes, sozinho, até descobrir a melhor estratégia para ganhar pontos. Ele descobre sozinho que, para entrar na garagem, precisa frear com o nariz para cima (pitch) e fazer pequenas oscilações com a cauda (yaw) para se alinhar perfeitamente, como um barco entrando em um cais.

3. A "Ponte" para a Realidade (Sim-to-Real)

O maior desafio é que o que funciona no computador nem sempre funciona na água real. O computador é perfeito; a água real é bagunçada.

• O Segredo: Eles "sujeiram" o treinamento. No simulador, eles adicionaram ruído nos sensores (como se a câmera estivesse com a lente suja) e fizeram o robô começar de posições aleatórias.
• Resultado: O robô aprendeu a ser "robusto". Ele não depende de ver o porto perfeitamente; ele aprendeu a se adaptar se a visão estiver turva ou se houver uma correnteza forte.

4. O Teste Real (A Prova de Fogo)

Depois de treinar no computador, eles pegaram o robô real (o Girona AUV) e o colocaram em um tanque de teste de 19 metros de comprimento.

• O Desafio: O robô tinha que navegar do ponto A ao ponto B e entrar no porto sem ajuda humana.
• O Resultado:
  • No simulador: 90% de sucesso.
  • No tanque real: 8 em 10 tentativas foram bem-sucedidas.
• O "Milagre": O robô desenvolveu comportamentos que os humanos não programaram explicitamente. Ele aprendeu a usar o movimento de "mergulho" para frear e a fazer pequenas oscilações de lado para se encaixar no porto, exatamente como um piloto experiente faria.

Resumo da Ópera

Este trabalho é como ensinar um atleta a nadar. Em vez de jogá-lo no mar frio e perigoso para aprender, você o coloca em uma piscina de treinamento com correntes artificiais e obstáculos. Ele treina milhares de vezes em velocidade acelerada. Quando finalmente o colocam no mar real, ele já sabe exatamente como nadar, virar e entrar na piscina, mesmo com ondas e correntes imprevisíveis.

Conclusão: Eles provaram que é possível treinar robôs subaquáticos complexos em computadores e fazê-los funcionar na vida real, abrindo caminho para robôs que podem consertar cabos submarinos, inspecionar plataformas de petróleo ou monitorar recifes de coral de forma totalmente autônoma.

Resumo técnico

Título: Adaptação Sim-to-Reality para Aprendizado por Reforço Profundo (DRL) Aplicado a um Processo de Atracagem Subaquática

1. Problema e Motivação

O controle de veículos subaquáticos autônomos (AUVs) para tarefas complexas, como a atracagem (docking), enfrenta desafios significativos devido às condições ambientais imprevisíveis (correntes, ruído de sensores) e à dificuldade de modelagem matemática precisa. Métodos tradicionais, como Controladores PID ou Controle Preditivo por Modelo (MPC), muitas vezes degradam o desempenho sob essas condições.
Embora o Aprendizado por Reforço Profundo (DRL) ofereça robustez e adaptabilidade, sua aplicação prática é limitada por dois gargalos principais:

1. Latência de Treinamento: O tempo necessário para treinar políticas complexas.
2. Lacuna Sim-to-Real (Sim-to-Reality Gap): A dificuldade de transferir políticas treinadas em simuladores para o mundo real devido a diferenças nas dinâmicas físicas e modelagem de sensores.

O objetivo deste trabalho é superar essas barreiras para permitir a atracagem autônoma robusta do AUV "Girona".

2. Metodologia

A. Ambiente de Simulação de Alta Fidelidade (Digital Twin)

• Simulador: Utilização do simulador Stonefish, adaptado para um ambiente de aprendizado por reforço multiprocessado.
• Aceleração: Implementação de um framework de múltiplos processos (20 threads de treinamento + 1 de avaliação) que permite simulações mais rápidas que o tempo real (até 5x), acelerando o treinamento sem sacrificar a precisão hidrodinâmica.
• Modelagem: O ambiente inclui dinâmicas realistas do AUV, modelos de colisão precisos e ruído de sensor. Diferente de simuladores puramente cinemáticos, o Stonefish modela a interação física e o acoplamento entre o AUV e a estação de atracagem.
• Percepção: Utilização de Visual Servoing baseado em posição com uma câmera de fundo e um marcador binário 3D (3DBM). Durante o treinamento "headless" (sem interface gráfica), o modelo de câmera é simplificado para uma condição de visibilidade, injetando ruído gaussiano dinâmico baseado na distância e visibilidade para evitar overfitting.

B. Formulação do Problema (MDP)

• Algoritmo: Proximal Policy Optimization (PPO) foi selecionado devido à sua estabilidade superior em tarefas de controle contínuo em comparação com SAC e TD3 durante os testes físicos.
• Espaço de Estado ($S$): Inclui erro translacional relativo (posição), erro de guinada (yaw), velocidades lineares e angulares, e acelerações medidas pelo IMU. O ruído é injetado propositalmente para simular condições reais.
• Espaço de Ação ($A$): Vetor de força e torque de 6 graus de liberdade (6-DoF) no corpo do AUV ($F_x, F_y, F_z, T_r, T_p, T_\psi$). O AUV distribui esses comandos entre seus 5 propulsores.
• Função de Recompensa ($R$): Composta por:
  • Distância ($r_{dist}$): Penaliza a distância ao alvo (com prioridade nos eixos X e Y).
  • Orientação ($r_{angle}$): Penaliza o erro de guinada.
  • Suavidade ($r_{smooth}$): Penaliza variações bruscas entre ações consecutivas para garantir controle suave.
  • Colisão ($r_{collision}$): Penaliza impactos detectados por variações de aceleração, utilizando um limiar adaptativo para evitar penalizações múltiplas no mesmo evento.
  • Missão ($r_{mission}$): Recompensa terminal positiva para sucesso e negativa para falha/interrompimento.

3. Contribuições Principais

1. Framework Multiprocessado no Stonefish: Adaptação do simulador Stonefish para um ambiente RL paralelo, acelerando significativamente o processo de aprendizado enquanto mantém a fidelidade hidrodinâmica.
2. Ambiente de Alta Fidelidade para Sim-to-Real: Desenvolvimento de um "gêmeo digital" que incorpora dinâmicas do AUV, modelos de colisão precisos e ruído de sensor realista, facilitando a transferência direta para o hardware.
3. Substituição Robusta de Controle: Integração de Visual Servoing baseado em posição com DRL, substituindo sistemas de controle padrão e árvores de comportamento.
4. Validação Física: Demonstração bem-sucedida da atracagem autônoma em um tanque de testes físico, provando a eficácia da adaptação sim-to-real.

4. Resultados

A. Treinamento e Simulação

• O agente PPO foi treinado em aproximadamente 3 horas (hardware: Intel i7 + RTX 4060).
• Taxa de Sucesso em Simulação: Superior a 90%.
• O agente aprendeu a lidar com posições iniciais aleatórias e ruídos de sensor.

B. Comportamentos Emergentes
O agente desenvolveu táticas não programadas explicitamente, mas essenciais para o sucesso:

• Frenagem por Arfagem (Pitch-based braking): Uso do movimento de arfagem para desacelerar ao se aproximar da estação.
• Oscilação de Guinada (Yaw oscillations): Pequenas oscilações no eixo de guinada que ajudam o AUV a deslizar e alinhar mecanicamente dentro dos funis de atracagem, sem disparar penalidades de colisão.

C. Experimentos no Tanque de Teste (Realidade)

• Configuração: Tanque de 19x9x5m com o AUV Girona real.
• Desempenho: De 10 missões realizadas (6 mostradas no gráfico, totalizando 10), 8 foram bem-sucedidas (80% de taxa de sucesso).
• Correlação: Os dados de força/torque e erros no mundo real mostraram uma semelhança notável com as simulações, especialmente a presença das oscilações de guinada, confirmando a eficácia da adaptação.

5. Significado e Conclusão

Este trabalho demonstra que a combinação de simulação de alta fidelidade (Stonefish) com modelagem cuidadosa de ruído e recompensas (especialmente penalidades de colisão adaptativas e suavidade) cria um pipeline confiável para implantar controladores baseados em RL em ambientes subaquáticos sensíveis.

A pesquisa valida que o DRL pode superar controladores tradicionais em cenários com ruído e contato físico, gerando comportamentos emergentes que melhoram a robustez da atracagem. O sucesso na transferência do simulador para o tanque de testes físico marca um avanço significativo na aplicação prática de IA para veículos subaquáticos autônomos, abrindo caminho para operações mais complexas em oceanos reais.