DENALI: A Dataset Enabling Non-Line-of-Sight Spatial Reasoning with Low-Cost LiDARs

1. Problema y Motivación

Los sensores LiDAR de bajo costo integrados en dispositivos móviles y robots (como los basados en tecnología Direct Time-of-Flight o dToF) suelen procesar sus datos internos para extraer un único valor de profundidad por píxel, descartando la información rica contenida en los histogramas temporales completos de llegada de fotones.

• La oportunidad: Estos histogramas completos contienen retornos de luz de múltiples rebotes (específicamente de tres rebotes) que viajan hacia objetos ocultos fuera del campo de visión directo (NLOS - Non-Line-of-Sight), rebotan en una pared visible y regresan al sensor.
• El desafío: Los métodos tradicionales de reconstrucción NLOS requieren hardware de laboratorio de alta gama (láseres colimados, detectores de fotón único de alta resolución temporal) y entornos controlados. Los sensores de consumo tienen limitaciones severas: baja resolución espacial y temporal, iluminación de tipo "flash" (no colimada), ruido difícil de modelar y entornos dinámicos. Esto ha impedido hasta ahora la demostración de percepción NLOS práctica en hardware de consumo.

2. Metodología

El equipo propone un enfoque basado en datos para superar las limitaciones del hardware, introduciendo DENALI, el primer conjunto de datos a gran escala del mundo real diseñado para este propósito.

A. Adquisición de Datos (DENALI)

• Hardware: Se utilizó el sensor LiDAR de consumo ams TMF8828 (940 nm, ~$10), capaz de registrar histogramas de fotones en 128 bins temporales.
• Configuración de la Escena:
  • Se diseñaron escenas controladas para maximizar la señal de tres rebotes: un sensor LiDAR y una cámara RGB-D apuntan a una "pared de retransmisión" (relay wall).
  • Objetos ocultos (fuera de la línea de visión directa) se colocaron en un pórtico motorizado.
  • Los objetos están recubiertos con cinta retroreflectante para potenciar la señal de retorno.
• Escala del Dataset:
  • 72,000 capturas en total.
  • 60 objetos únicos (letras, números, formas) en dos escalas (4 y 8 pulgadas).
  • 100 posiciones diferentes para cada objeto.
  • Dos condiciones de iluminación (encendido/apagado) y dos resoluciones espaciales del LiDAR (3x3 y 8x8 píxeles).
  • Gemelos Digitales: Para cada captura real, se generó un gemelo digital en el simulador físico Mitsuba 3, permitiendo un análisis preciso de la fidelidad de la simulación.

B. Tareas de Evaluación

Se evaluaron tres tareas de percepción NLOS utilizando el dataset:

1. Localización de Objetos: Predecir la posición continua (x, y) del objeto oculto.
2. Clasificación de Forma: Identificar la categoría del objeto entre 30 clases.
3. Clasificación de Tamaño: Determinar si el objeto es de 4 o 8 pulgadas.

C. Modelos y Análisis

Se compararon cuatro arquitecturas de redes neuronales para entender cómo la inductiva bias (sesgo inductivo) afecta el rendimiento:

• MLP Baseline (sin sesgo espacial/temporal).
• CNN 1D (solo estructura temporal).
• CNN 3D (estructura espacio-temporal conjunta).
• Transformer (dependencias temporales de largo alcance).

3. Contribuciones Clave

1. DENALI Dataset: El primer conjunto de datos a gran escala del mundo real que captura histogramas completos de sensores LiDAR de bajo costo para percepción NLOS.
2. Validación de Capacidades: Demostración de que los sensores de consumo, mediante inferencia basada en datos, pueden realizar tareas complejas de percepción NLOS (localización, clasificación y estimación de tamaño) con precisión aceptable.
3. Análisis de Limitaciones: Identificación de factores críticos que limitan el rendimiento, como la dependencia del tamaño del objeto, la distancia a la pared de retransmisión y la dificultad de los modelos actuales para separar efectos de iluminación, geometría y propiedades del objeto.
4. Puente Simulación-Realidad (Sim-to-Real): Uso de los gemelos digitales para cuantificar las brechas de fidelidad (ruido, ancho de pulso, jitter) y analizar cómo la mejora en la simulación afecta la transferencia a datos reales.

4. Resultados Principales

• Rendimiento de Modelos: Las arquitecturas basadas en convoluciones (especialmente la CNN 1D) obtuvieron los mejores resultados, sugiriendo que la estructura temporal local es más crítica que la espacial de baja resolución en estos sensores.
  • Localización: RMSE de 0.046 m (mejor modelo).
  • Clasificación de Forma: Macro-F1 de 0.38.
  • Clasificación de Tamaño: Precisión del 95%.
• Factores de Escena:
  • Los objetos más grandes (8 pulgadas) son significativamente más fáciles de detectar y localizar que los pequeños (4 pulgadas).
  • La proximidad a la pared de retransmisión mejora la percepción, pero si están demasiado cerca, los retornos de primer y tercer rebote se superponen, dificultando la localización.
• Limitaciones de Modelado: Los modelos actuales luchan para "desenredar" (disentangle) los efectos de la iluminación ambiental de las propiedades del objeto y la geometría, mostrando patrones de error espacial distintos bajo diferentes condiciones de luz.
• Simulación: Se demostró que mejorar la fidelidad de la simulación (ajustando escala global, ancho de pulso y ruido) reduce el error de transferencia, pero los datos reales siguen siendo necesarios para los mayores saltos de rendimiento, especialmente cuando la simulación es de baja fidelidad.

5. Significado e Impacto

El trabajo de DENALI marca un cambio de paradigma en la visión NLOS:

• Escalabilidad: Muestran que no se necesita hardware de laboratorio costoso para la percepción NLOS; los sensores ya presentes en teléfonos y robots son suficientes si se utilizan métodos de aprendizaje profundo.
• Habilitador de Aplicaciones: Abre la puerta a aplicaciones prácticas como la detección de obstáculos ocultos en robótica móvil, navegación en interiores y realidad aumentada, donde la capacidad de "ver" alrededor de las esquinas es crucial.
• Guía para Diseño: Proporciona métricas cuantitativas para guiar el diseño futuro de sensores LiDAR de consumo, especificando requisitos mínimos de jitter temporal y resolución para tareas NLOS específicas.

En resumen, DENALI establece una base sólida para la investigación de percepción NLOS basada en datos, demostrando que la información oculta en los histogramas de sensores de bajo costo es explotable para inferencias espaciales robustas.