Multi-AUV Trajectory Learning for Sustainable Underwater IoT with Acoustic Energy Transfer

1. Problema Abordado

O artigo foca na sustentabilidade e eficiência da Internet das Coisas Submarinas (IoUT). O cenário envolve a coleta de dados de sensores estáticos no fundo do mar por veículos subaquáticos autônomos (AUVs). Os principais desafios identificados são:

• Limitações de Energia: A substituição de baterias em sensores submarinos é cara e difícil.
• Comunicação Desafiadora: Canais acústicos sofrem com largura de banda limitada, atenuação severa e alta latência.
• Frescor dos Dados (Age of Information - AoI): É crucial minimizar o tempo decorrido desde a última atualização de dados recebida.
• Coordenação Multi-AUV: Gerenciar múltiplos AUVs para evitar colisões, otimizar trajetórias e garantir que todos os nós sejam atendidos de forma justa, enquanto realizam a transferência de energia sem fio.

O objetivo é desenvolver um framework que integre o controle de trajetória e a comunicação acústica (incluindo transferência de energia) para maximizar a eficiência da coleta de dados e a sustentabilidade da rede.

2. Metodologia Proposta

Os autores propõem uma abordagem baseada em Aprendizado por Reforço Profundo (DRL) para resolver o problema de otimização conjunta.

• Formulação do Problema: O problema é modelado como um Processo de Decisão de Markov (MDP) de horizonte finito. O objetivo é minimizar a média do Age of Information (AoI) dos sensores, maximizar a justiça (Fairness) no atendimento e garantir a viabilidade energética.
• Modelo de Energia e Movimento:
  • Inclui um modelo cinemático contínuo para os AUVs (velocidade e ângulo de rumo).
  • Considera o consumo de energia de propulsão (função cúbica da velocidade) e cargas de hotel.
  • Modela a Transferência de Energia Acústica (AET), onde os AUVs transmitem energia via ondas sonoras para recarregar os sensores, e a comunicação de dados (uplink).
• Algoritmo de Aprendizado:
  • Utiliza uma política centralizada baseada em Proximal Policy Optimization (PPO).
  • Estado (State): Inclui posições, velocidades e rumos de todos os AUVs, o vetor de AoI de todos os sensores, o nível de energia residual dos sensores e as distâncias relativas.
  • Ação (Action): Um vetor de ações conjuntas para todos os AUVs, determinando: ajustes discretos de rumo e velocidade, e a seleção do nó-alvo para transferência de energia e coleta de dados.
  • Função de Recompensa: Projetada para incentivar a redução do AoI, promover a justiça (índice de Jain), penalizar colisões, violações de limites e movimentos improdutivos, além de recompensar o retorno à zona de atracação (docking).

3. Principais Contribuições

1. Extensão para Multi-AUV: Diferente de trabalhos anteriores focados em um único AUV, este estudo aborda a coordenação de múltiplos AUVs, integrando modelos de mobilidade realistas e restrições de segurança.
2. Modelo de Controle Contínuo: Adoção de uma formulação de controle de movimento 2D contínuo (evolução de velocidade e rumo), permitindo trajetórias mais fisicamente consistentes em comparação com movimentos direcionais discretos.
3. Integração de AET e Coleta de Dados: O framework considera simultaneamente a recarga de energia dos sensores via acústica e a coleta de dados, otimizando o trade-off entre mobilidade, consumo de energia e frescor da informação.
4. Otimização de Justiça e AoI: O uso de DRL permite aprender padrões de revisitamento coordenados que superam estratégias ganancias (greedy), garantindo que sensores distantes ou com baixa energia não sejam negligenciados.

4. Resultados Numéricos

As simulações foram realizadas comparando a abordagem proposta (PPO) com uma estratégia base "gananciosa" (greedy) e heurísticas estruturadas, variando o número de nós IoUT e AUVs.

• Desempenho de AoI: A abordagem baseada em PPO demonstrou reduções significativas no AoI médio em comparação com a estratégia gananciosa. A vantagem torna-se mais pronunciada à medida que o tamanho da rede (número de sensores) aumenta.
• Justiça (Fairness): O método proposto mantém um índice de Jain mais alto, indicando um atendimento mais equilibrado entre todos os nós sensores, evitando que alguns fiquem com dados muito antigos.
• Eficiência de Coleta: Com dois AUVs coordenados, o sistema aprende a dividir implicitamente o ambiente, reduzindo os atrasos de revisitamento e coletando mais dados dentro do mesmo horizonte de tempo.
• Comportamento de Trajetória: Enquanto a estratégia gananciosa segue trajetórias quase fixas e diretas, o controlador RL ajusta dinamicamente a velocidade e a orientação para se aproximar de múltiplos nós antes de retornar à base, otimizando o ciclo de serviço.
• Escalabilidade: Os resultados indicam ganhos de desempenho escaláveis conforme o tamanho da rede aumenta, superando as limitações de otimização clássica para problemas NP-difíceis de grande escala.

5. Significado e Impacto

Este trabalho é significativo porque oferece uma solução viável e escalável para a operação de longo prazo de redes IoUT, que são críticas para monitoramento ambiental e inspeção de infraestrutura. Ao demonstrar que o aprendizado por reforço pode coordenar múltiplos robôs submarinos para gerenciar simultaneamente energia e dados, o artigo abre caminho para:

• Redes de sensores totalmente autônomas e sem manutenção (battery-less).
• Operações mais eficientes em ambientes submarinos complexos.
• A aplicação de técnicas de IA avançadas para resolver problemas de otimização combinatória em tempo real em sistemas físicos com restrições severas de energia e comunicação.

Em resumo, a proposta transforma a operação de AUVs de uma tarefa de roteamento simples para um processo de decisão inteligente e adaptativo, essencial para a sustentabilidade da IoUT.