Resumo Técnico: Controle Cross-Platform para Veículos de Superfície Autônomos via Aprendizado por Reforço Adaptativo

1. Definição do Problema

Veículos de Superfície Autônomos (ASVs) exibem uma diversidade significativa em características hidrodinâmicas e de atuação. As estratégias de controle atuais enfrentam um gargalo de implantação:

• Controladores baseados em modelos (ex: MPC) exigem identificação de sistema precisa e ajuste específico para cada plataforma, o que é trabalhoso para frotas heterogêneas.
• Abordagens padrão de Aprendizado por Reforço (RL) normalmente treinam em uma única plataforma fixa ou em um simulador que deve capturar com precisidade a dinâmica específica do alvo. O deploy dessas políticas para um novo vaso geralmente exige reidentificação e retreinamento.

O desafio central é desenvolver um controlador generalista único capaz de implantação zero-shot em diferentes plataformas de ASV da mesma classe, sem conhecimento prévio da dinâmica da plataforma de implantação ou ajuste fino por plataforma. Isso é formulado como um problema de observabilidade parcial, onde a dinâmica real do sistema ($\theta$) é desconhecida no momento da implantação, tornando o sistema parcialmente observável, apesar da natureza Markoviana da física subjacente.

2. Metodologia

Os autores propõem um framework de aprendizado por reforço adaptativo utilizando uma arquitetura Professor–Aluno para inferir dinâmicas latentes a partir do histórico de interação.

A. Dinâmica do Sistema e Formulação

• Modelo: O sistema utiliza um modelo de plano horizontal de 3-DoF (surge, sway, yaw) simplificado baseado na formulação de Fossen. A dinâmica é parametrizada por sete parâmetros físicos ($\theta$), incluindo massa, coeficientes de massa adicionada, amortecimento linear e inércia.
• Formulação MDP: O rastreamento de trajetória é formulado como um Processo de Decisão de Markov Parcialmente Observável (POMDP). O estado $s_t$ é observável, mas o parâmetro de dinâmica $\theta$ não é. A política condiciona-se ao histórico de interação para restaurar a Markovianidade aproximada.
• Espaço de Ação: A política produz comandos de força e torque no referencial do corpo normalizados ($\bar{\tau} \in [-1, 1]^3$). Estes são escalonados pelas limitações do atuador específicas da plataforma no momento da implantação, desacoplando a política das magnitudes absolutas de força.

B. Arquitetura Professor–Aluno

A abordagem emprega um pipeline de treinamento em duas fases inspirado em aprendizado privilegiado:

1. Fase 1: Treinamento do Professor (Aprendizado Privilegiado)

   • Um "Professor" é treinado em simulação com acesso a um vetor privilegiado $e \in \mathbb{R}^9$. Este vetor codifica os parâmetros de dinâmica normalizados (acelerações de pico, taxas de amortecimento e coeficientes de acoplamento de Coriolis) derivados das equações de movimento de 3-DoF.
   • O professor aprende uma representação latente $z = \mu(e)$ da dinâmica do sistema.
   • O treinamento utiliza Otimização de Política Próxima (PPO) com randomização de domínio sobre uma ampla gama de parâmetros de dinâmica.

2. Fase 2: Treinamento do Aluno (Adaptação)

   • O vetor privilegiado $e$ é removido. O codificador $\mu$ é substituído por um módulo Adaptador $\phi$.
   • O Adaptador, implementado como uma Unidade Recorrente de Porta (GRU) seguida por um MLP, estima a representação latente $\hat{z}$ unicamente a partir do histórico de interação $h_t$ (diferenças de estado recentes, velocidades e ações normalizadas).
   • A política do Aluno (o ator congelado do Professor) é condicionada à estimativa $\hat{z}$ do Adaptador.
   • O Adaptador é treinado via aprendizado supervisionado para minimizar o erro de reconstrução $\|\hat{z} - z\|^2$, onde $z$ é o ground truth latente da Fase 1.

C. Configuração de Treinamento

• Simulação: O treinamento baseia-se em um modelo de dinâmica analítico leve, em vez de um simulador hidrodinâmico de alta fidelidade.
• Currículo: Um currículo progressivo aumenta a dificuldade ao expandir o intervalo de parâmetros de dinâmica randomizados e a complexidade da trajetória (de linhas retas para curvas fechadas).
• Perturbações: Perturbações ambientais (correntes, vento, ondas) são modeladas como processos de Ornstein–Uhlenbeck. Atrasos de atuadores são randomizados.
• Recompensa: Uma função de recompensa composta inclui termos para rastreamento de posição, heading e velocidade, juntamente com bônus auxiliares para movimento frontal e penalidades para deriva lateral, yaw excessivo e magnitude/suavidade da ação.

3. Principais Contribuições

1. Política Cross-Platform Zero-Shot: A primeira demonstração de uma política de RL implantada zero-shot em múltiplas plataformas distintas de ASV (mesma classe, dinâmicas diferentes) sem retreinamento ou identificação de sistema.
2. Adaptação Professor–Aluno: Adaptação do framework professor-aluno de locomoção de pernas para a robótica marinha, permitindo a inferência de dinâmicas latentes apenas através do histórico de interação.
3. Pipeline de Treinamento Simplificado: O método alcança alto desempenho usando apenas um modelo analítico simples de 3-DoF, evitando o custo computacional e a complexidade de simuladores hidrodinâmicos de alta fidelidade.
4. Interpretabilidade: O espaço latente aprendido captura efetivamente as dinâmicas relevantes, com a análise de componentes principais mostrando que o espaço latente de 9 dimensões ocupa um subespaço de baixa dimensão.

4. Resultados Experimentais

A. Experimentos no Mundo Real

Experimentos foram conduzidos em duas plataformas físicas distintas (Plataforma A e Plataforma B) com diferentes massas, inércias e limites de atuação.

• Desempenho: A política Aluna adaptativa alcançou um Erro Médio Absoluto (MAE) de Posição de 4,0 cm em ambas as plataformas.
• Comparação:
  • Superou a baseline de PPO geral não adaptativa em até 58% (Plataforma B: 4,0 cm vs. 9,5 cm).
  • Superou a baseline de PPO específica da plataforma (treinada apenas em uma plataforma) em erro de posição.
  • Aproximou-se da precisão de rastreamento de um Controlador Preditivo Baseado em Modelo (MPC) ajustado para a plataforma (Aluno: 4,0 cm vs. MPC: 4,1–4,6 cm).
• Heading: O Aluno alcançou precisão de heading comparável ou superior às baselines não adaptativas.

B. Experimentos de Simulação

Simulações em cinco plataformas (incluindo variantes do Roboat) sob condições ideais confirmaram os achados do mundo real:

• O Aluno reduziu o erro de posição em 44% e o erro de heading em 55% em comparação com o PPO geral não adaptativo.
• O Aluno performou quase identicamente à política "Professor" (oracle), validando que o Adaptador recupera com sucesso a informação latente necessária.
• Estudos de ablação mostraram que substituir a saída do Adaptador por um latente médio estático ("Aluno avg. z") mais que dobrou o erro de rastreamento, confirmando a necessidade de adaptação online.

5. Significância e Alegações

O artigo afirma que este trabalho fornece uma receita prática para o controle generalista de ASV. Ao condicionar no histórico de interação, uma única política pode generalizar para uma frota de vasos heterogêneos sem o overhead de engenharia de ajuste ou identificação por plataforma.

• Eficiência: Todo o pipeline de treinamento (fases Professor e Aluno) é concluído em aproximadamente 30 minutos em uma única GPU de consumo (NVIDIA RTX 4090).
• Escalabilidade: A abordagem remove o "gargalo por plataforma", permitindo a implantação de frotas heterogêneas usando uma estratégia de controle unificada.
• Modéstia sobre Limitações: Os autores reconhecem que o atual modelo de amortecimento linear de 3-DoF é válido para regimes de deslocamento de baixa velocidade. O adaptador lida com efeitos dependentes da velocidade (como arrasto quadrático) reestimando o amortecimento efetivo dentro do intervalo randomizado, mas a abordagem ainda não cobre planing de alta velocidade ou forte acoplamento de heave/roll/pitch. Sugere-se trabalho futuro para adaptação contínua online e integração mais estreita com objetivos de controle baseados em modelos.