💻 computer science

NightSight: Passive Computation for Navigation in Dark Using Events

Este artículo presenta NightSight, un sistema de percepción ligero y en tiempo real para robots aéreos pequeños que permite la navegación autónoma en oscuridad total al combinar una cámara de eventos monocular, una lente de apertura codificada y un proyector de puntos infrarrojos para generar firmas de desenfoque dependientes de la profundidad, las cuales una red neuronal entrenada exclusivamente con datos sintéticos decodifica en mapas de profundidad densos y precisos con generalización zero-shot a escenas complejas del mundo real.

Autores originales: Deepak Singh, Brijan Vaghasiya, Shreyas Khobragade, Nitin Sanket

Publicado 2026-05-27

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Deepak Singh, Brijan Vaghasiya, Shreyas Khobragade, Nitin Sanket

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un dron diminuto y ágil intentando navegar por una cueva completamente oscura o un edificio colapsado tras un terremoto. No puede ver nada porque es demasiado oscuro para las cámaras normales, y es demasiado pequeño para llevar equipos pesados y que consumen mucha energía, como una linterna gigante o un escáner láser.

Este artículo presenta una solución ingeniosa llamada NightSight. Piensa en ello como darle al dron un par de "ojos super" que funcionan en oscuridad total sin necesidad de una batería pesada.

Así es como funciona, desglosado en conceptos simples:

1. El Problema: El Dilema de la "Mochila Pesada"

Los drones de rescate pequeños son como acróbatas ágiles, pero tienen una debilidad: no pueden llevar equipo pesado. Las formas tradicionales de ver en la oscuridad implican:

Linternas Grandes: Agotan la batería rápidamente.
Escáneres Láser (LiDAR): Son pesados y voluminosos.
Cámaras Estándar: Se "ciegan" por la oscuridad o el deslumbramiento.

Los autores querían una forma de que un dron diminuto "viera" la profundidad (qué tan lejos están las cosas) usando casi ninguna energía y muy poco peso.

2. La Solución: Una "Lente Mágica" y una "Luz Estroboscópica"

El equipo construyó un sistema con tres partes principales:

Una Cámara de Eventos: En lugar de tomar fotos normales (como una cámara estándar que toma una imagen 30 veces por segundo), esta cámara es como un sistema nervioso súper rápido. Solo "despierta" y envía una señal cuando ve algo moverse o cambiar de brillo. Es increíblemente sensible a los cambios mínimos de luz.
Un Diafragma Codificado (La Lente Mágica): Esta es una cubierta especial colocada sobre el lente de la cámara. No es un simple agujero; tiene un patrón complejo cortado en ella (como una plantilla).
Un Proyector de Puntos: El dron proyecta un patrón de puntos infrarrojos invisibles sobre la pared u obstáculos frente a él.

3. El Truco: "La Desenfoque como Regla"

Aquí está la parte ingeniosa, que los autores llaman "Computación Pasiva".

Imagina que estás mirando una pegatina en una pared a través de una plantilla especial.

Si la pared está cerca, la pegatina se ve nítida.
Si la pared está lejos, la pegatina no solo se desenfoca; cambia de forma. Comienza a verse exactamente como el patrón de la plantilla (la "Lente Mágica").

En este sistema, el dron proyecta puntos. A medida que esos puntos se alejan, la "Lente Mágica" hace que se estiren y cambien de forma de una manera muy específica. La forma del desenfoque le dice a la computadora exactamente qué tan lejos está el objeto.

La Analogía: Piensa en ello como un espectáculo de sombras chinescas. Si sostienes tu mano cerca de la pared, la sombra es nítida. Si alejas la mano, la sombra se vuelve borrosa y adopta la forma de la fuente de luz. El dron usa esta "borrosidad" para medir la distancia, pero lo hace tan rápido y eficientemente que no necesita una supercomputadora para calcularlo.

4. Aprendiendo sin Ver (El Entrenamiento de "Videojuego")

Por lo general, para enseñar a una computadora a reconocer la profundidad, necesitas miles de fotos reales de habitaciones oscuras. Pero como es difícil obtenerlas, los autores hicieron algo inteligente:

Construyeron un brazo robótico simple que movía una cámara de un lado a otro frente a una pared plana.
Utilizaron una simulación por computadora para enseñar a la IA cómo cambian las "formas de desenfoque" con la distancia.
El Resultado: La IA aprendió las reglas del juego en un entorno simple y falso. Cuando llevaron el dron real a una cueva compleja y oscura con rocas y pilares, la IA no necesitó ningún entrenamiento nuevo. Solo aplicó las reglas que había aprendido y funcionó perfectamente. Esto se llama "Generalización Zero-Shot".

5. Los Resultados

Velocidad: El sistema funciona en tiempo real (20 veces por segundo), lo suficientemente rápido para que un dron vuele y esquivar obstáculos.
Precisión: Puede medir distancias de hasta 2,5 metros (aproximadamente 8 pies) con una precisión muy alta (solo alrededor de 7 centímetros de error).
Eficiencia: Funciona en una computadora pequeña y de bajo consumo (NVIDIA Jetson Orin Nano) que cabe en un dron diminuto.

Resumen

El artículo muestra que al combinar una cámara de "eventos" especial, una lente con patrón y un proyector de puntos, un robot diminuto puede navegar en oscuridad total. Convierte la física de la luz y el desenfoque en una regla incorporada, permitiendo que el robot "vea" sin necesidad de equipo pesado y que agote la energía. Es como enseñar a un dron a sentir su camino a través de la oscuridad usando la forma de las sombras en lugar de simplemente mirarlas.

Resumen Técnico: NightSight – Computación Pasiva para Navegación en la Oscuridad Mediante Eventos

Enunciado del Problema
Los robots aéreos pequeños son ideales para la búsqueda y rescate en entornos confinados, peligrosos y abarrotados debido a su agilidad y bajo costo. Sin embargo, permitir la navegación autónoma en oscuridad total sigue siendo un obstáculo significativo. Los sistemas de percepción tradicionales para entornos de baja luminosidad suelen depender de LiDARs pesados, iluminación de alta potencia (>10W) o cámaras térmicas, los cuales exceden las limitaciones de carga útil, energía y computación de las plataformas aéreas pequeñas. Además, los enfoques computacionales existentes que utilizan iluminación estructurada y óptica codificada (por ejemplo, AsterNav) emplean típicamente cámaras basadas en fotogramas, las cuales sufren de un rango dinámico limitado y una calidad de profundidad reducida en condiciones de baja luminosidad. El desafío central es lograr una percepción de profundidad robusta y en tiempo real en oscuridad total (<1 mililux) utilizando un sistema ligero y con recursos limitados.

Metodología
Los autores proponen NightSight, un marco de percepción ligero que integra tres componentes clave: una cámara de eventos monoculares, una lente de apertura codificada y un proyector de puntos infrarrojos (IR). El sistema opera bajo el principio de computación pasiva, donde los componentes ópticos procesan señales en el dominio físico sin energía eléctrica activa, reduciendo la carga computacional a bordo.

Codificación Óptica: El sistema proyecta un patrón de puntos IR estructurado y disperso sobre la escena. Este patrón se imagina a través de una lente de apertura codificada personalizada. A diferencia de una apertura circular estándar, la apertura codificada induce firmas de desenfoque dependientes de la profundidad. A medida que varía la profundidad de la escena, los puntos proyectados aparecen como versiones escaladas de la forma de la apertura. Esto crea una pista fuerte y basada en la física donde el tamaño y la forma del patrón de desenfoque codifican implícitamente la geometría de la escena.
Detección Basada en Eventos: Una cámara de eventos (retina de silicio) captura estos patrones. A diferencia de las cámaras basadas en fotogramas, las cámaras de eventos ofrecen un alto rango dinámico y una alta resolución temporal, capturando cambios de brillo de forma asíncrona. El sistema aprovecha el hecho de que las regiones nítidas (en foco) generan más eventos que las regiones borrosas (fuera de foco).
Decodificación Basada en Aprendizaje: Una Red Neuronal Convolucional (CNN) se entrena para decodificar estas firmas de desenfoque en mapas de profundidad métrica densos.
- Régimen de Entrenamiento: El modelo se entrena exclusivamente con datos sintéticos. La simulación implica proyectar el patrón estructurado sobre una pared plana simple. El movimiento se simula utilizando un actuador lineal accionado por servomotor que oscila la cámara para generar flujos de eventos, imitando el movimiento de la cámara.
- Generalización: El modelo nunca se entrena explícitamente con velocidades variables o escenas 3D complejas durante el entrenamiento, sin embargo, se prueba su generalización cero-shot en entornos complejos del mundo real.
Implementación de Hardware: El sistema se ejecuta en un NVIDIA Jetson Orin Nano, logrando inferencia en tiempo real a 20 Hz. La configuración óptica incluye una lente de 16 mm f/1.4 con aperturas codificadas impresas en 3D (se probaron varios diseños, incluidos agujero de alfiler, completamente abierta, Levin, Zhou1, Zhou2 y una apertura en forma de W inspirada en los ojos de los calamares).

Contribuciones Clave

Marco de Computación Pasiva: El artículo presenta un enfoque novedoso de detección de profundidad monoculares para robots aéreos en oscuridad total, combinando cámaras de eventos, iluminación estructurada y aperturas codificadas. Desplaza parte del pipeline de percepción del procesamiento digital a la óptica pasiva.
Generalización Cero-Shot: Los autores demuestran que un modelo entrenado únicamente con datos sintéticos generados a partir de una configuración simple de pared plana puede generalizarse eficazmente a escenas complejas del mundo real con tamaños, formas y texturas de obstáculos variables, sin necesidad de reentrenamiento.
Evaluación de Aperturas: El trabajo evalúa múltiples patrones de apertura codificada para determinar su efectividad en la estimación de profundidad basada en eventos, identificando diseños específicos que optimizan las pistas de profundidad.
Eficiencia de Recursos: El sistema logra una estimación precisa de profundidad métrica mientras opera en una plataforma embebida de bajo consumo (Jetson Orin Nano), lo que lo hace adecuado para robots pequeños con limitaciones de carga útil.

Resultados

Precisión: El sistema logra una alta precisión con un error L1 de 7,0 cm en un rango de profundidad de 2,5 metros, correspondiente a una tasa de error del 2,80%.
Configuración Óptima: La apertura codificada en forma de W (inspirada en los ojos de los calamares) obtuvo el mejor rendimiento, particularmente a profundidades más alejadas del plano focal, superando a los diseños de agujero de alfiler, completamente abierta y otras aperturas codificadas.
Sensibilidad a la Distancia de Enfoque: Los experimentos mostraron que una distancia de enfoque ( $Z_f$ ) de 0,50 m proporcionó el mejor equilibrio, mientras que $Z_f = 0,25$ m resultó en errores de predicción más altos debido a una sensibilidad excesiva a pequeñas variaciones de profundidad.
Validación en el Mundo Real: En una prueba de vuelo en el mundo real en oscuridad total (<1 mililux), el sistema navegó con éxito a través de obstáculos cilíndricos.
Rendimiento Comparativo: Al compararse con un modelo de profundidad monoculares de última generación (DepthPro) ejecutado en una DSLR de gama alta (Nikon D5600) con configuraciones de exposición extremas (obturador de 1s, ISO 25600), la DSLR falló al percibir la estructura de la escena. Por el contrario, el sistema NightSight, incluso con el alto rango dinámico de la cámara de eventos, requirió la iluminación IR estructurada para recuperar una estructura de escena significativa y una profundidad precisa, destacando la necesidad del componente de iluminación activa en oscuridad total.

Significado y Afirmaciones
El artículo afirma que NightSight resalta el potencial de combinar iluminación estructurada, óptica codificada y detección basada en eventos para permitir una percepción robusta en oscuridad total. Al adherirse a un principio de parsimonia, similar a las estrategias de detección biológica utilizadas por los insectos, el sistema extrae información relevante para la tarea directamente a través de interacciones físicas (óptica) en lugar de una computación digital extensa. Los autores afirman que este enfoque resuelve el desafío fundamental de la percepción para robots aéreos pequeños en entornos oscuros sin requerir cargas útiles pesadas o iluminación de alta potencia, ofreciendo una vía viable para la navegación autónoma en escenarios donde los sensores tradicionales fallan. El trabajo es modesto en su alcance, centrándose en la viabilidad del enfoque y sus capacidades de generalización, mientras señala que el trabajo futuro tendrá como objetivo aumentar el rango de detección de profundidad para la navegación a alta velocidad en escenas oscuras abarrotadas.