NightSight: Passive Computation for Navigation in Dark Using Events

Resumo Técnico: NightSight – Computação Passiva para Navegação no Escuro Usando Eventos

Declaração do Problema
Robôs aéreos pequenos são ideais para busca e resgate em ambientes confinados, perigosos e abarrotados devido à sua agilidade e baixo custo. No entanto, permitir a navegação autônoma em escuridão total permanece um obstáculo significativo. Sistemas de percepção tradicionais para ambientes de baixa luminosidade frequentemente dependem de LiDARs pesados, iluminação de alta potência (>10W) ou câmeras térmicas, que excedem as restrições de carga útil, energia e computação de plataformas aéreas pequenas. Além disso, abordagens computacionais existentes que utilizam iluminação estruturada e óptica codificada (por exemplo, AsterNav) tipicamente empregam câmeras baseadas em quadros, que sofrem de alcance dinâmico limitado e qualidade reduzida de profundidade em condições de baixa luminosidade. O desafio central é alcançar percepção de profundidade robusta e em tempo real em escuridão total (<1 mililux) usando um sistema leve e com recursos limitados.

Metodologia
Os autores propõem o NightSight, um framework de percepção leve que integra três componentes principais: uma câmera de eventos monoculular, uma lente de abertura codificada e um projetor de pontos infravermelhos (IR). O sistema opera sob o princípio da computação passiva, onde componentes ópticos processam sinais no domínio físico sem energia elétrica ativa, reduzindo a carga computacional a bordo.

1. Codificação Óptica: O sistema projeta um padrão estruturado esparsos de pontos IR sobre a cena. Este padrão é imageado através de uma lente de abertura codificada personalizada. Diferentemente de uma abertura circular padrão, a abertura codificada induz assinaturas de desfoque dependentes da profundidade. À medida que a profundidade da cena varia, os pontos projetados aparecem como versões escaladas da forma da abertura. Isso cria um forte indício baseado em física, onde o tamanho e a forma do padrão de desfoque codificam implicitamente a geometria da cena.
2. Sensoriamento Baseado em Eventos: Uma câmera de eventos (retina de silício) captura esses padrões. Diferentemente de câmeras baseadas em quadros, as câmeras de eventos oferecem alto alcance dinâmico e alta resolução temporal, capturando mudanças de brilho de forma assíncrona. O sistema aproveita o fato de que regiões nítidas (em foco) geram mais eventos do que regiões desfocadas (fora de foco).
3. Decodificação Baseada em Aprendizado: Uma Rede Neural Convolucional (CNN) é treinada para decodificar essas assinaturas de desfoque em mapas de profundidade métrica densos.
   • Regime de Treinamento: O modelo é treinado inteiramente em dados sintéticos. A simulação envolve projetar o padrão estruturado sobre uma parede plana simples. O movimento é simulado usando um atuador linear acionado por servo que oscila a câmera para gerar fluxos de eventos, imitando o movimento da câmera.
   • Generalização: O modelo nunca é explicitamente treinado em velocidades variáveis ou cenas 3D complexas durante o treinamento, ainda que seja testado quanto à generalização zero-shot em ambientes complexos do mundo real.
4. Implementação de Hardware: O sistema roda em um NVIDIA Jetson Orin Nano, alcançando inferência em tempo real a 20 Hz. O setup óptico inclui uma lente de 16mm f/1.4 com aberturas codificadas impressas em 3D (vários designs testados, incluindo orifício, totalmente aberta, Levin, Zhou1, Zhou2 e uma abertura em forma de W inspirada nos olhos de chocos).

Principais Contribuições

• Framework de Computação Passiva: O artigo apresenta uma abordagem novel de sensoriamento de profundidade monoculular para robôs aéreos em escuridão total, combinando câmeras de eventos, iluminação estruturada e aberturas codificadas. Desloca parte do pipeline de percepção do processamento digital para a óptica passiva.
• Generalização Zero-Shot: Os autores demonstram que um modelo treinado exclusivamente em dados sintéticos gerados a partir de um setup simples de parede plana pode generalizar efetivamente para cenas complexas do mundo real com tamanhos, formas e texturas variadas de obstáculos, sem retreinamento.
• Benchmarks de Abertura: O trabalho avalia múltiplos padrões de abertura codificada para avaliar sua eficácia na estimativa de profundidade baseada em eventos, identificando designs específicos que otimizam os indícios de profundidade.
• Eficiência de Recursos: O sistema alcança estimativa de profundidade métrica precisa enquanto opera em uma plataforma embarcada de baixo consumo (Jetson Orin Nano), tornando-o adequado para robôs pequenos com restrições de carga útil.

Resultados

• Precisão: O sistema alcança alta precisão com um erro L1 de 7,0 cm sobre uma faixa de profundidade de 2,5 metros, correspondendo a uma taxa de erro de 2,80%.
• Configuração Ótima: A abertura codificada em forma de W (inspirada nos olhos de chocos) produziu o melhor desempenho, particularmente em profundidades mais distantes do plano focal, superando orifício, abertura totalmente aberta e outros designs de abertura codificada.
• Sensibilidade à Distância de Foco: Experimentos mostraram que uma distância de foco ($Z_f$) de 0,50 m forneceu o melhor equilíbrio, enquanto $Z_f = 0,25$ m resultou em erros de previsão mais altos devido à sensibilidade excessiva a pequenas variações de profundidade.
• Validação no Mundo Real: Em um teste de voo real em escuridão total (<1 mililux), o sistema navegou com sucesso através de obstáculos cilíndricos.
• Desempenho Comparativo: Quando comparado a um modelo de profundidade monoculular de última geração (DepthPro) rodando em uma DSLR de alta ponta (Nikon D5600) com configurações de exposição extremas (obturador de 1s, ISO 25600), a DSLR falhou em perceber a estrutura da cena. Por outro lado, o sistema NightSight, mesmo com o alto alcance dinâmico da câmera de eventos, exigiu a iluminação IR estruturada para recuperar estrutura de cena significativa e profundidade precisa, destacando a necessidade do componente de iluminação ativa em escuridão total.

Significado e Afirmações
O artigo afirma que o NightSight destaca o potencial de combinar iluminação estruturada, óptica codificada e sensoriamento baseado em eventos para permitir percepção robusta em escuridão total. Ao aderir a um princípio de parcimônia — semelhante a estratégias de sensoriamento biológico usadas por insetos — o sistema extrai informações relevantes para a tarefa diretamente através de interações físicas (óptica) em vez de extenso processamento digital. Os autores afirmam que essa abordagem resolve o desafio fundamental da percepção para robôs aéreos pequenos em ambientes escuros sem exigir cargas pesadas ou iluminação de alta potência, oferecendo um caminho viável para navegação autônoma em cenários onde sensores tradicionais falham. O trabalho é modesto em seu escopo, focando na viabilidade da abordagem e em suas capacidades de generalização, enquanto observa que trabalhos futuros visarão aumentar o alcance de sensoriamento de profundidade para navegação de alta velocidade em cenas escuras e abarrotadas.