Stealthy Coverage Control for Human-enabled Real-Time 3D Reconstruction

Resumen Técnico: Control de Cobertura Sigiloso para la Reconstrucción 3D en Tiempo Real Mediante Intervención Humana

Planteamiento del Problema
La reconstrucción 3D precisa a partir de imágenes requiere un número de muestras proporcional a la complejidad estructural de la escena objetivo. Sin embargo, esta complejidad es espacialmente no uniforme y difícil de predecir como conocimiento previo. Las estrategias de control de cobertura autónomas existentes suelen imponer un muestreo uniforme en toda una escena, lo cual es ineficiente para estructuras complejas. Por el contrario, aunque los operadores humanos poseen la conciencia situacional para identificar las regiones que requieren una mayor densidad de muestreo, la integración de la navegación humana con el control de cobertura autónomo presenta un desafío significativo: las entradas manuales pueden entrar en conflicto con las leyes de control autónomo, lo que podría desestabilizar el sistema o degradar la capacidad del operador para guiar los drones de manera efectiva.

Metodología
Los autores proponen un sistema semiautónomo denominado Control de Cobertura Sigiloso (Stealthy Coverage Control), el cual integra la intervención humana en un enjambre de drones autónomos para la reconstrucción 3D. La arquitectura del sistema se basa en un simulador basado en Unity/ROS2 donde un operador humano visualiza un modelo 3D en tiempo real (reconstruido mediante NeuralRecon) y el estado promedio del enjambre de drones a través de un visor de realidad virtual (HMD).

La metodología se fundamenta en dos componentes técnicos principales:

1. Control de Cobertura que Refleja la Intención Humana:
   El sistema define una función de rendimiento de detección $f_1$ basada en la relación geométrica entre los drones individuales y las celdas de observación. Para incorporar la intención humana, una segunda función $f_2$ evalúa el rendimiento de detección de un "drone promedio virtual" controlado por el operador humano. Un índice de importancia $\phi_j$ para cada celda de observación se actualiza dinámicamente: aumenta cuando el drone virtual operado por el humano logra un alto rendimiento de detección en una región (lo que indica la necesidad de más datos) y disminuye a medida que la celda es observada suficientemente por el enjambre físico. El controlador autónomo minimiza una función de objetivo global $J$ (la suma de los índices de importancia) utilizando un control basado en restricciones para asegurar una tasa de decaimiento mínima.

2. Control Sigiloso mediante Proyección en el Espacio Nulo:
   Para evitar que las entradas de cobertura autónomas interfieran con los comandos manuales del operador humano, los autores emplean un marco de control basado en redundancia. La entrada de velocidad total para cada drone es la suma del comando humano ($u_h$) y el comando autónomo ($u_{ai}$). La entrada autónoma se proyecta en el espacio nulo del mapa de salida del sistema (específicamente, la posición y orientación promedio del enjambre).

   • Definición: Una entrada de control es "sigilosa" si no altera la evolución del estado promedio $\bar{g}$ percibido por el operador humano.
   • Implementación: El vector de control autónomo se multiplica por una matriz $A(g)$ diseñada de tal manera que resida en el núcleo de la transpuesta del Jacobiano que relaciona los estados de los drones con el estado promedio. Esto asegura que, mientras los drones se mueven para optimizar el muestreo de imágenes (cambiando sus posiciones relativas), la pose promedio del enjambre sea gobernada únicamente por los comandos de velocidad del humano. Este desacoplamiento preserva la estabilidad y la operatividad del sistema con intervención humana (human-in-the-loop).

Contribuciones Clave

• Estrategia Semiautónoma: Un marco novedoso que aprovecha el razonamiento flexible humano para identificar regiones de alta complejidad estructural, dirigiendo al enjambre a muestrear estas áreas de forma más densa sin requerar algoritmos complejos de detección de cambios de malla en tiempo real.
• Control de Cobertura Sigiloso: Una ley de control que desacopla matemáticamente la optimización del muestreo de imágenes autónomo de la navegación humana. Esto permite que el enjambre realice un control de cobertura eficiente sin que el estado promedio que el operador humano intenta controlar sufra un "desplazamiento", evitando así conflictos operativos.
• Arquitectura del Sistema: Una implementación completa que integra la reconstrucción 3D en tiempo real (NeuralRecon), el control de cobertura y la interacción humano-en-el-bucle dentro de un entorno ROS2/Unity.

Resultados
Se realizaron estudios de simulación con tres drones en un entorno interior virtual que contiene muebles (armario, mesa, sofás).

• Verificación del Sigilo: En las pruebas donde el operador humano comandó una trayectoria circular, el sistema con control sigiloso permitió que la posición promedio del drone siguiera la trayectoria exactamente. En contraste, el sistema sin control sigiloso exhibió un desplazamiento significativo en la posición promedio debido a las fuerzas de cobertura autónomas, dificultando el control manual.
• Calidad de la Reconstrucción: Una comparación de los modelos 3D reveló que el sistema totalmente autónomo (sin intervención humana) produjo artefactos, tales como objetos inexistentes flotando sobre un sofá y una malla distorsionada en la parte superior del armario. El sistema semiautónomo, donde el humano guio al enjambre hacia áreas complejas (por ejemplo, la parte superior del sofá y los laterales del armario), produjo un modelo significativamente más preciso y detallado. El muestreo guiado por el humano eliminó eficazmente los artefactos y corrigió las distorsiones geométricas.

Significancia y Afirmaciones
El artículo afirma que el sistema semiautónomo propuesto supera al control de cobertura puramente autónomo en términos de calidad del modelo reconstruido. La significancia radica en la capacidad de manejar la complejidad estructural espacialmente heterogénea aprovechando el reconocimiento situacional humano, manteniendo la estabilidad del sistema mediante el desacoplamiento de las entradas de control. Los autores sostienen que este enfoque permite el muestreo de imágenes cooperativo sin comprometer el rendimiento del control o la operabilidad humana.

Los autores señalan modestamente que la implementación actual es centralizada, y que se requiere trabajo futuro para abordar la implementación distribuida, el análisis riguroso de la estabilidad de bucle cerrado del sistema con intervención humana y la validación experimental más allá de la simulación.