NightSight: Passive Computation for Navigation in Dark Using Events

Technische Samenvatting: NightSight – Passieve Berekening voor Navigatie in het Donker met Gebeurtenissen

Probleemstelling
Kleine luchtrobots zijn ideaal voor zoek- en reddingsoperaties in afgesloten, gevaarlijke en rommelige omgevingen vanwege hun wendbaarheid en lage kosten. Het mogelijk maken van autonome navigatie in volledige duisternis blijft echter een aanzienlijke hindernis. Traditionele waarnemingssystemen voor omgevingen met weinig licht vertrouwen vaak op zware LiDAR's, krachtige verlichting (>10W) of warmtebeeldcamera's, die de laadvermogen-, vermogens- en rekenkrachtbeperkingen van kleine luchtplatforms overstijgen. Bovendien maken bestaande computationele benaderingen met gestructureerde verlichting en gecodeerde optica (bijv. AsterNav) doorgaans gebruik van frame-gebaseerde camera's, die lijden aan een beperkt dynamisch bereik en verminderde dieptekwaliteit onder omstandigheden met weinig licht. De kernuitdaging is het bereiken van robuuste, real-time dieptewaarneming in totale duisternis (<1 milliLux) met een lichtgewicht, hulpbron-beperkt systeem.

Methodologie
De auteurs stellen NightSight voor, een lichtgewicht waarnemingskader dat drie kerncomponenten integreert: een monokulaire gebeurteniscamera, een lens met een gecodeerde diafragma en een infrarood (IR) dot-projector. Het systeem werkt volgens het principe van passieve berekening, waarbij optische componenten signalen in het fysieke domein verwerken zonder actieve elektrische voeding, waardoor de rekenkracht aan boord wordt verminderd.

1. Optische Encodering: Het systeem projecteert een schaars, gestructureerd IR-dotpatroon op de scène. Dit patroon wordt afgebeeld via een aangepaste lens met een gecodeerd diafragma. In tegenstelling tot een standaard cirkelvormig diafragma, induceert het gecodeerde diafragma diepte-afhankelijke onscherpe signatuur. Naarmate de diepte van de scène varieert, verschijnen de geprojecteerde punten als geschaalde versies van de diafragmavorm. Dit creëert een sterke, op natuurkunde gebaseerde aanwijzing waarbij de grootte en vorm van het onscherpe patroon de geometrie van de scène impliciet coderen.
2. Gebeurtenisgebaseerde Sensing: Een gebeurteniscamera (siliconen retina) vangt deze patronen op. In tegenstelling tot frame-gebaseerde camera's bieden gebeurteniscamera's een hoog dynamisch bereik en hoge temporele resolutie, en vangen ze helderheidsveranderingen asynchroon op. Het systeem maakt gebruik van het feit dat scherpe gebieden (in focus) meer gebeurtenissen genereren dan onscherpe gebieden (buiten focus).
3. Lerende Decodering: Een Convolutional Neural Network (CNN) wordt getraind om deze onscherpe signatuur te decoderen naar dichte metrische dieptekaarten.
   • Trainingsregime: Het model wordt uitsluitend getraind op synthetische data. De simulatie omvat het projecteren van het gestructureerde patroon op een eenvoudige vlakke muur. Beweging wordt gesimuleerd met een servo-gedreven lineaire actuator die de camera oscilleert om gebeurtenisstroom te genereren, wat camerabeweging nabootst.
   • Generalisatie: Het model wordt tijdens de training nooit expliciet getraind op variërende snelheden of complexe 3D-scènes, toch wordt het getest op zero-shot generalisatie op real-world, complexe omgevingen.
4. Hardware-implementatie: Het systeem draait op een NVIDIA Jetson Orin Nano en bereikt real-time inferentie met 20 Hz. De optische opstelling omvat een 16mm f/1.4 lens met 3D-geprinte gecodeerde diafragma's (verschillende ontwerpen getest, waaronder pinhole, volledig open, Levin, Zhou1, Zhou2 en een W-vormig diafragma geïspireerd door inktvisogen).

Belangrijkste Bijdragen

• Kader voor Passieve Berekening: Het artikel presenteert een nieuwe monokulaire dieptewaarnemingsbenadering voor luchtrobots in volledige duisternis door gebeurteniscamera's, gestructureerde verlichting en gecodeerde diafragma's te combineren. Het verplaatst een deel van het waarnemingsproces van digitale verwerking naar passieve optica.
• Zero-Shot Generalisatie: De auteurs tonen aan dat een model dat uitsluitend is getraind op synthetische data gegenereerd vanuit een eenvoudige opstelling met een vlakke muur, effectief kan generaliseren naar complexe, real-world scènes met variërende obstakelgroottes, -vormen en -texturen zonder hertraining.
• Diafragma Benchmarking: Het werk benchmarkt meerdere gecodeerde diafragmapatronen om hun effectiviteit te evalueren voor diepteberekening op basis van gebeurtenissen, en identificeert specifieke ontwerpen die dieptecues optimaliseren.
• Efficiëntie van Hulpbronnen: Het systeem bereikt nauwkeurige metrische diepteberekening terwijl het draait op een low-power embedded platform (Jetson Orin Nano), waardoor het geschikt is voor kleine robots met beperkt laadvermogen.

Resultaten

• Nauwkeurigheid: Het systeem bereikt hoge nauwkeurigheid met een L1-fout van 7,0 cm over een dieptebereik van 2,5 meter, wat overeenkomt met een foutpercentage van 2,80%.
• Optimale Configuratie: De W-vormige gecodeerde diafragma (geïspireerd door inktvisogen) leverde de beste prestaties, met name op diepten verder van het brandvlak, en presteerde beter dan pinhole, volledig open en andere gecodeerde diafragmadesigns.
• Gevoeligheid voor Brandpuntsafstand: Experimenten toonden aan dat een brandpuntsafstand ($Z_f$) van 0,50 m de beste balans bood, terwijl $Z_f = 0,25$ m leidde tot hogere voorspelfouten door overmatige gevoeligheid voor kleine dieptevariaties.
• Validatie in de Realiteit: Bij een real-world vluchttest in volledige duisternis (<1 milliLux) navigeerde het systeem succesvol door cilindrische obstakels.
• Vergelijkende Prestaties: Bij vergelijking met een state-of-the-art monokulair dieptemodel (DepthPro) dat draait op een high-end DSLR (Nikon D5600) met extreme blootstellingsinstellingen (1s sluitertijd, ISO 25600), faalde de DSLR om de structuur van de scène waar te nemen. Daarentegen vereiste het NightSight-systeem, zelfs met het hoge dynamische bereik van de gebeurteniscamera, de gestructureerde IR-verlichting om een betekenisvolle scènestructuur en nauwkeurige diepte te herstellen, wat de noodzaak van het actieve verlichtingscomponent in totale duisternis benadrukt.

Betekenis en Beweringen
Het artikel beweert dat NightSight het potentieel onderstreept van het combineren van gestructureerde verlichting, gecodeerde optica en gebeurtenisgebaseerde sensatie om robuuste waarneming in volledige duisternis mogelijk te maken. Door zich te houden aan een principe van parsimonie – vergelijkbaar met biologische sensatiestrategieën die door insecten worden gebruikt – onttrekt het systeem taakrelevante informatie direct via fysieke interacties (optica) in plaats van uitgebreide digitale berekening. De auteurs stellen dat deze aanpak de fundamentele uitdaging van waarneming voor kleine luchtrobots in donkere omgevingen oplost zonder zware ladingen of krachtige verlichting te vereisen, en een levensvatbaar pad biedt voor autonome navigatie in scenario's waar traditionele sensoren falen. Het werk is bescheiden in omvang, met focus op de haalbaarheid van de aanpak en zijn generalisatievermogen, terwijl wordt opgemerkt dat toekomstig werk gericht zal zijn op het vergroten van het dieptewaarnemingsbereik voor snelle navigatie in rommelige donkere scènes.