Resumo Técnico: Monitoramento Persistente Cross-Domain para Veículos Híbridos Aéreos e Subaquáticos (HUAUVs)

1. Problema e Contexto

Os Veículos Híbridos Não Tripulados Aéreos e Subaquáticos (HUAUVs) são plataformas emergentes capazes de operar tanto no ar quanto debaixo d'água, sendo ideais para tarefas como inspeção de plataformas de petróleo, mapeamento de instalações industriais submersas e busca e salvamento. No entanto, a operação autônoma em dois domínios distintos apresenta desafios significativos:

• Dinâmicas Diferentes: O ar e a água possuem propriedades físicas distintas (ex: arrasto hidrodinâmico vs. aerodinâmico, turbulência vs. correntes).
• Sensores Diferentes: A percepção no ar geralmente utiliza câmeras ou LiDAR, enquanto no subaquático a visibilidade é limitada, exigindo o uso de sonares.
• Monitoramento Persistente: A tarefa envolve a observação contínua ou repetida de um conjunto de alvos móveis para reduzir a incerteza sobre suas posições.

O desafio central abordado no trabalho é desenvolver uma metodologia que permita a um único agente de IA (política) operar eficazmente em ambos os domínios sem a necessidade de re-treinamento específico para cada ambiente, superando a mudança de domínio (domain shift) nas dinâmicas do veículo e nos dados dos sensores.

2. Metodologia Proposta

A abordagem combina Aprendizado por Reforço Profundo (DRL) e Transferência de Aprendizado (Transfer Learning) para criar uma política unificada.

A. Configuração do Problema

• Cenário: Ambientes 2D limitados com múltiplos alvos móveis que seguem curvas de Lissajous.
• Estado e Ação: O agente controla a velocidade linear ($v_t$) e angular ($\omega_t$). O estado inclui a posição do veículo e estimativas ruidosas das posições dos alvos.
• Incerteza: Cada alvo possui um nível de incerteza ($\sigma$) que cresce linearmente com o tempo. Quando o agente entra no raio de sensoriamento do alvo, a incerteza é zerada e uma recompensa positiva é concedida.
• Sensores:
  • Ar: LiDAR (simulado como Hokuyo UST-10LX, 10m de alcance).
  • Água: Sonar de frente (FLS, 20m de alcance).
• Simulação: Utiliza-se o Gazebo com ROS, integrando o RotorS (para dinâmica aérea) e o UUV Simulator (para dinâmica subaquática com forças hidrostáticas e hidrodinâmicas).

B. Algoritmo: DSAC (Distributional Soft Actor-Critic)

O trabalho utiliza uma arquitetura DSAC, que combina o princípio de máxima entropia do SAC com o aprendizado distribucional.

• Vantagem: Em vez de aprender apenas o valor esperado (escalar) das recompensas, o DSAC modela a distribuição completa dos retornos (usando distribuições categóricas com quantis). Isso melhora a modelagem da incerteza, reduz o viés de superestimação e aumenta a estabilidade do aprendizado em tarefas de controle contínuo.
• Treinamento: A política é treinada exclusivamente no domínio aéreo usando dados de LiDAR.
• Transferência Zero-Shot: A política treinada no ar é transferida diretamente para o domínio subaquático (usando dados de sonar) sem re-treinamento ou ajuste fino. O objetivo é provar que a arquitetura é robusta o suficiente para lidar com a mudança nas dinâmicas de transição ($f_{air} \neq f_{water}$) e nos dados de entrada.

C. Configuração Distribuída

Para acelerar o treinamento, foi implementado um setup de DRL paralelo distribuído com 5 trabalhadores (workers) simulando ambientes independentes que compartilham um replay buffer central.

3. Contribuições Principais

1. Metodologia Cross-Domain: Apresentação de uma prova de conceito onde uma única política DRL gerencia tarefas de monitoramento persistente tanto no ar quanto na água, utilizando apenas dados de sensores de alcance (LiDAR/Sonar) e sem informações visuais ou de GPS.
2. Treinamento Distribuído e Transferência Zero-Shot: Demonstração de que o uso de um setup paralelo acelera o aprendizado e que a política aprendida no ar pode ser transferida para o ambiente subaquático com desempenho robusto, superando a mudança de domínio nas dinâmicas do veículo.
3. Análise Sistemática: Avaliação detalhada em cenários com e sem obstáculos (risers de perfuração), comparando o desempenho contra uma base de comportamento clássica (algoritmo Bug2).

4. Resultados Experimentais

Os experimentos foram realizados em dois ambientes simulados:

• Env 1: Ambiente livre de obstáculos (10m x 10m).
• Env 2: Ambiente com 4 obstáculos cilíndricos (simulando risers).

Comparativo: O método proposto (DSAC) foi comparado com um algoritmo baseado em comportamento (Bug2).

Principais Métricas (Média de 100 episódios):

• Incerteza Média ($\bar{\sigma}$): O DSAC manteve a incerteza dos alvos significativamente menor que o Bug2 em ambos os domínios.
  • Exemplo (Env 1, Água): DSAC manteve incertezas médias entre 23.84 e 27.75, enquanto o Bug2 variou entre 35.54 e 42.12.
• Tempo de Visita: O DSAC visitou os alvos mais rapidamente, especialmente em ambientes com obstáculos, onde o Bug2 sofreu com desvios longos.
  • Exemplo (Env 2, Água): O tempo médio de primeira visita do DSAC foi de ~133s, enquanto o Bug2 levou ~155s (com desvio padrão muito maior, indicando instabilidade).
• Robustez: A política DSAC demonstrou capacidade de reduzir picos de incerteza e manter uma cobertura mais estável, mesmo operando no subaquático com dinâmicas diferentes e sem ter sido treinada especificamente para aquele ambiente.

5. Significância e Conclusões

Este trabalho estabelece as bases para soluções de monitoramento autônomo escaláveis para HUAUVs.

• Viabilidade Unificada: Demonstra que é possível criar uma "polícia única" que funciona em múltiplos domínios físicos, reduzindo a complexidade de desenvolvimento e permitindo que o veículo transite entre ar e água mantendo a eficácia da missão.
• Resiliência: A abordagem baseada em DRL supera métodos baseados em regras (como Bug2) em cenários complexos com obstáculos e dinâmicas variáveis.
• Futuro: O estudo identifica limitações atuais, como o uso de uma abstração 2D e modelos de incerteza simplificados. Trabalhos futuros visam expandir para cenários 3D completos, incorporar ruído de sensor realista e explorar coordenação multi-agente.

Em suma, o artigo prova que a combinação de DRL distribucional e transferência de aprendizado é uma via promissora para viabilizar a operação autônoma robusta de veículos híbridos em missões críticas de monitoramento persistente.