EgoExo++: Integrating On-demand Exocentric Visuals with 2.5D Ground Surface Estimation for Interactive Teleoperation of Underwater ROVs

Resumo Técnico: EgoExo++: Integração de Visuais Exocêntricos Sob Demanda com Estimativa de Superfície Terrestre 2.5D para Teleoperação Interativa de ROVs Subaquáticos

Declaração do Problema
Veículos Subaquáticos Operados Remotamente (ROVs) são críticos para exploração e inspeção no subsolo, contudo, sua teleoperação é frequentemente prejudicada pelas limitações dos feeds de vídeo padrão em primeira pessoa (egocêntricos). Em ambientes subaquáticos complexos, não estruturados e com baixa luminosidade, os operadores sofrem com um campo de visão restrito, frequentemente descrito como olhar através de um "canudo de refrigerante". Essa falta de informação semântica periférica e global leva à desorientação, dificuldade em manter a folga de altitude e desafios em seguir marcadores de navegação (por exemplo, linhas de caverna) localizados no leito marinho. Além disso, as luzes artificiais usadas para combater a escuridão frequentemente causam retroespalhamento e ofuscamento, criando pontos cegos. Soluções existentes, como câmeras externas ou sistemas baseados em LiDAR, são frequentemente impraticáveis para missões em águas profundas devido a restrições de hardware, requisitos de vedação contra pressão e à falta de GPS para localização.

Metodologia
Os autores propõem o EgoExo++, uma solução geométrica de forma fechada integrada a um pipeline de Mapeamento e Localização Simultâneos (SLAM) visual. O sistema sintetiza visuais exocêntricos (terceira pessoa) sob demanda e estimativas de superfície terrestre 2.5D usando apenas vídeo egocêntrico monocromático e estimativas de pose do SLAM, sem exigir sensores adicionais ou treinamento baseado em dados.

O pipeline computacional consiste em quatro etapas principais:

1. Bufferização de Pose e Imagem: Um sistema SLAM monocromático (ORB-SLAM3) rastreia a pose de 6 graus de liberdade (6-DOF) do ROV e mantém um buffer de quadros egocêntricos históricos e poses de câmera correspondentes.
2. Síntese de Visão Exocêntrica 2D (EgoExo): O sistema projeta um modelo de nuvem de pontos 3D pré-amostreado do ROV em um quadro de referência do passado (uma perspectiva "Olho-Nas-Costas" ou EOB). Isso cria uma visão sintética de terceira pessoa mostrando o ROV em relação ao seu entorno imediato.
3. Reconstrução de Superfície Terrestre 2.5D (EgoExo++):
   • Seleção de Características: Pontos de característica do SLAM são filtrados usando priores geométricos baseados na orientação da câmera (pitch e roll) para isolar pontos que provavelmente pertencem ao solo, excluindo paredes e tetos de cavernas.
   • Ajuste de Plano: Um algoritmo baseado em RANSAC ajusta um plano aos pontos selecionados, restringindo o vetor normal a permanecer dentro de um ângulo específico da direção vertical esperada.
   • Mapeamento de Textura: O plano ajustado é rasterizado em uma grade, e as cores dos pixels são amostradas das regiões correspondentes da imagem egocêntrica para texturizar a superfície.
   • Fusão Temporal: Patches de solo históricos são acumulados e fundidos no quadro global usando decimação de voxels e triangulação de Delaunay para criar um mapa de terreno 2.5D contínuo e texturizado.
4. Renderização Interativa: O sistema renderiza o modelo 3D do ROV sobre essa superfície terrestre reconstruída. Diferentemente da visão EOB fixa, o EgoExo++ permite que os operadores girem a câmera interativamente para qualquer ponto de vista aéreo de 360° acima do terreno reconstruído.

Principais Contribuições

• Síntese Orientada por Geometria: Um algoritmo leve e de forma fechada que gera visões exocêntricas e mapas de terreno 2.5D exclusivamente a partir de entradas monocromáticas e dados do SLAM, garantindo portabilidade em motores de teleoperação existentes.
• Representação de Solo 2.5D: A introdução de uma estimativa de superfície terrestre por partes planas que fornece consciência de altitude e contexto semântico, crucial para tarefas como manter folga e seguir marcadores de navegação baseados no chão.
• Ponto de Vista Aéreo sem Âncora: Indo além de visões ancoradas à trajetória, o sistema suporta pontos de vista arbitrários, permitindo que os operadores raciocinem sobre o ambiente a partir de cima do solo reconstruído.
• Validação Abrangente: O framework é validado através de navegação 2D em ambientes internos (TurtleBot4), exploração de cavernas subaquáticas com 6-DOF (BlueROV2) e extensos estudos com usuários envolvendo simulação e dados do mundo real.

Resultados
O artigo apresenta validação através de análise geométrica e dois estudos com usuários envolvendo 15 participantes cada:

• Precisão Geométrica: Em testes internos, o sistema demonstrou alta confiabilidade na estimativa do plano do solo (99,4% de fração de inliers) e baixos erros de reprojeção para atrasos temporais curtos. Em ensaios em cavernas subaquáticas, as taxas de sucesso na detecção do plano do solo variaram de 85,8% a 97,17%, com maior precisão observada em ambientes sedimentares mais lisos em comparação com terrenos rochosos e irregulares.
• Desempenho Operacional (Estudo com Usuários #2): Comparado a uma interface de referência apenas egocêntrica, o EgoExo++ resultou em:
  • Tempos de conclusão de missão 16% mais rápidos.
  • Uma redução de 5 vezes na Razão de Desvio de Caminho (PDR).
  • Menos eventos de colisão (2 colisões versus 5 na referência).
• Métricas Subjetivas:
  • Usabilidade: O sistema alcançou uma pontuação média na Escala de Usabilidade do Sistema (SUS) de 77,5, categorizada como "Boa".
  • Carga de Trabalho: As pontuações do NASA-TLX indicaram uma redução significativa na demanda mental percebida (redução de 34%) e na demanda física, juntamente com um aumento de 19% no sucesso percebido.

Significado e Alegações
Os autores afirmam que o EgoExo++ representa um avanço significativo na teleoperação de ROVs, ao preencher a lacuna entre a manobra local e a consciência situacional global. O sistema é apresentado como uma "camada perceptual compartilhada" que aprimora o paradigma "humano-no-loop", apoiando a autonomia compartilhada onde os operadores podem definir objetivos de alto nível (por exemplo, altitude segura) enquanto o sistema fornece o contexto geométrico para a execução.

O artigo enfatiza que a abordagem é robusta a características variáveis de corpos d'água e não depende de vieses baseados em dados ou modificações pesadas de hardware. Destaca o potencial do sistema para treinamento de operadores, ensaios baseados em gêmeos digitais e melhoria da segurança em ambientes desafiadores, como cavernas subaquáticas, onde a visibilidade é pobre e os marcadores de navegação são difíceis de rastrear. Os autores reconhecem limitações, particularmente a dependência do desempenho do SLAM em cenas carentes de características e os desafios da estimativa de solo em terrenos altamente irregulares ou ocluídos, observando que o sistema degrada-se graciosamente ao omitir patches não confiáveis em vez de renderizar geometria incorreta.