EgoExo++: Integrating On-demand Exocentric Visuals with 2.5D Ground Surface Estimation for Interactive Teleoperation of Underwater ROVs

Resumen Técnico: EgoExo++: Integración de Visuales Exocéntricas bajo Demanda con Estimación de Superficie Terrestre 2.5D para Teleoperación Interactiva de ROV Submarinos

Planteamiento del Problema
Los Vehículos Operados Remotamente (ROV) submarinos son críticos para la exploración e inspección del subsuelo marino, sin embargo, su teleoperación se ve frecuentemente obstaculizada por las limitaciones de los flujos de video estándar en primera persona (egocéntricos). En entornos submarinos complejos, no estructurados y con poca luz, los operadores sufren un campo de visión restringido, a menudo descrito como mirar a través de una "pajita de refresco". Esta falta de información semántica periférica y global conduce a la desorientación, dificultad para mantener el despeje de altitud y desafíos para seguir marcadores de navegación (por ejemplo, líneas de cueva) ubicados en el lecho marino. Además, las luces artificiales utilizadas para combatir la oscuridad a menudo causan retrodispersión y deslumbramiento, creando puntos ciegos. Las soluciones existentes, como cámaras externas o sistemas basados en LiDAR, suelen ser poco prácticas para misiones de aguas profundas debido a restricciones de hardware, requisitos de sellado a presión y la falta de GPS para la localización.

Metodología
Los autores proponen EgoExo++, una solución de forma cerrada impulsada por geometría integrada en una tubería visual de Localización y Mapeo Simultáneos (SLAM). El sistema sintetiza vistas exocéntricas (tercera persona) bajo demanda y estimaciones de superficie terrestre 2.5D utilizando únicamente video egocéntrico monoculular y estimaciones de pose SLAM, sin requerir sensores adicionales ni entrenamiento basado en datos.

La tubería computacional consta de cuatro etapas principales:

1. Almacenamiento en búfer de Pose e Imagen: Un sistema SLAM monoculular (ORB-SLAM3) rastrea la pose de 6 grados de libertad (6-DOF) del ROV y mantiene un búfer de cuadros egocéntricos históricos y las poses de cámara correspondientes.
2. Síntesis de Vista Exocéntrica 2D (EgoExo): El sistema proyecta un modelo de nube de puntos 3D pre-muestreado del ROV en un marco de referencia del pasado (un punto de vista "Ojo-en-la-Espalda" o EOB). Esto crea una vista sintética en tercera persona que muestra el ROV en relación con su entorno inmediato.
3. Reconstrucción de Superficie Terrestre 2.5D (EgoExo++):
   • Selección de Características: Los puntos de características SLAM se filtran utilizando priores geométricos basados en la orientación de la cámara (cabeceo y alabeo) para aislar puntos que probablemente pertenezcan al suelo, excluyendo paredes y techos de cuevas.
   • Ajuste de Plano: Un algoritmo basado en RANSAC ajusta un plano a los puntos seleccionados, restringiendo el vector normal para que permanezca dentro de un ángulo específico de la dirección vertical esperada.
   • Mapeo de Texturas: El plano ajustado se rasteriza en una cuadrícula y los colores de píxel se muestrean desde las regiones correspondientes de la imagen egocéntrica para texturizar la superficie.
   • Fusión Temporal: Los parches de suelo históricos se acumulan y fusionan en el marco global utilizando decimación de voxels y triangulación de Delaunay para crear un mapa de terreno 2.5D continuo y texturizado.
4. Renderizado Interactivo: El sistema renderiza el modelo 3D del ROV sobre esta superficie terrestre reconstruida. A diferencia de la vista EOB fija, EgoExo++ permite a los operadores rotar la cámara interactivamente a cualquier punto de vista aéreo de 360° sobre el terreno reconstruido.

Contribuciones Clave

• Síntesis Impulsada por Geometría: Un algoritmo ligero y de forma cerrada que genera vistas exocéntricas y mapas de terreno 2.5D exclusivamente a partir de entradas monoculares y datos SLAM, asegurando la portabilidad a través de motores de teleoperación existentes.
• Representación de Suelo 2.5D: La introducción de una estimación de superficie terrestre por planos que proporciona conciencia de altitud y contexto semántico, crucial para tareas como mantener el despeje y seguir marcadores de navegación basados en el suelo.
• Punto de Vista Aéreo Sin Anclaje: Superando las vistas ancladas a la trayectoria, el sistema soporta puntos de vista arbitrarios, permitiendo a los operadores razonar sobre el entorno desde arriba del suelo reconstruido.
• Validación Exhaustiva: El marco se valida mediante navegación interior 2D (TurtleBot4), exploración de cuevas submarinas de 6-DOF (BlueROV2) y estudios de usuarios extensos que involucran datos de simulación y del mundo real.

Resultados
El artículo presenta validación mediante análisis geométrico y dos estudios de usuarios con 15 participantes cada uno:

• Precisión Geométrica: En pruebas interiores, el sistema demostró alta fiabilidad en la estimación del plano del suelo (fracción de inliers del 99.4%) y bajos errores de reproyección para retrasos temporales cortos. En ensayos de cuevas submarinas, las tasas de éxito en la detección del plano del suelo oscilaron entre el 85.8% y el 97.17%, observándose una mayor precisión en entornos sedimentarios más suaves en comparación con terrenos rocosos y irregulares.
• Rendimiento Operativo (Estudio de Usuarios #2): En comparación con una interfaz de solo egocéntrica de referencia, EgoExo++ resultó en:
  • Tiempos de finalización de misión 16% más rápidos.
  • Una reducción de 5 veces en la Razón de Desviación de Ruta (PDR).
  • Menos eventos de colisión (2 colisiones frente a 5 en la referencia).
• Métricas Subjetivas:
  • Usabilidad: El sistema obtuvo una puntuación promedio de la Escala de Usabilidad del Sistema (SUS) de 77.5, categorizada como "Buena".
  • Carga de Trabajo: Las puntuaciones NASA-TLX indicaron una reducción significativa en la demanda mental percibida (reducción del 34%) y la demanda física, junto con un aumento del 19% en el éxito percibido.

Significado y Afirmaciones
Los autores afirman que EgoExo++ representa un avance significativo en la teleoperación de ROV al cerrar la brecha entre la maniobra local y la conciencia situacional global. El sistema se presenta como una "capa perceptual compartida" que mejora el paradigma de "humano en el bucle", apoyando la autonomía compartida donde los operadores pueden definir objetivos de alto nivel (por ejemplo, altitud segura) mientras el sistema proporciona el contexto geométrico para la ejecución.

El artículo enfatiza que el enfoque es robusto ante las características variables de las masas de agua y no depende de sesgos basados en datos ni de modificaciones pesadas de hardware. Destaca el potencial del sistema para la formación de operadores, el ensayo basado en gemelos digitales y la mejora de la seguridad en entornos desafiantes como cuevas submarinas donde la visibilidad es pobre y los marcadores de navegación son difíciles de rastrear. Los autores reconocen limitaciones, particularmente la dependencia del rendimiento de SLAM en escenas carentes de características y los desafíos de la estimación del suelo en terrenos altamente irregulares u ocultos, señalando que el sistema se degrada graciosamente omitiendo parches poco fiables en lugar de renderizar geometría incorrecta.