💻 computer science

DENALI: A Dataset Enabling Non-Line-of-Sight Spatial Reasoning with Low-Cost LiDARs

Deze paper introduceert DENALI, het eerste grote dataset van ruimte-tijd histogrammen van goedkope LiDARs, die data-gedreven inferentie mogelijk maakt voor het waarnemen van verborgen objecten via niet-lijn-van-zicht (NLOS) perceptie ondanks de beperkingen van consumentenhardware.

Oorspronkelijke auteurs: Nikhil Behari, Diego Rivero, Luke Apostolides, Suman Ghosh, Paul Pu Liang, Ramesh Raskar

Gepubliceerd 2026-04-20

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Nikhil Behari, Diego Rivero, Luke Apostolides, Suman Ghosh, Paul Pu Liang, Ramesh Raskar

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

DENALI: De "Röntgenfoto" voor je Telefoon met een Simpele Laser

Stel je voor dat je in een donkere kamer staat en er staat een muur tussen jou en een vriend die een bal vasthoudt. Je kunt je vriend niet zien, maar je kunt wel naar de muur kijken. Als je een zaklamp op de muur schijnt, zie je alleen de muur. Maar wat als je een heel speciale zaklamp had die niet alleen het licht ziet dat direct terugkaatst, maar ook het flauwe, vertraagde licht dat eerst tegen de muur is geknald, dan tegen je vriend, en daarna weer terug naar de muur en naar jou?

Dat is precies wat dit nieuwe onderzoek, genaamd DENALI, doet. Het laat zien hoe we met goedkope lasers (zoals die in je iPhone of robot) objecten kunnen "zien" die je niet direct kunt zien.

Hier is de uitleg, vertaald naar alledaagse taal:

1. Het Probleem: De "Blinde" Laser

Normaal gesproken kijken lasers in je telefoon of robot alleen naar het eerste licht dat terugkomt. Het is alsof je in een donkere gang loopt en alleen de muur voor je ziet. De laser zegt: "Daar is een muur op 2 meter." Hij gooit al het andere licht weg.

Maar in werkelijkheid zit die laser vol met meer informatie. Het licht dat terugkomt, is een soort tijdsverloop (een histogram). Het bevat niet alleen het directe licht, maar ook het "geestlicht": het licht dat een omweg heeft gemaakt via een verborgen object. Dit is als het echo-effect in een grot; je hoort niet alleen je eigen stem, maar ook hoe het geluid terugkaatst van de verste hoek.

2. De Uitdaging: Waarom doen we dit niet al?

Tot nu toe was het heel moeilijk om die "geestlichten" te gebruiken. De dure apparatuur in laboratoria kon dit wel, maar de goedkope lasers in consumentenproducten zijn te onnauwkeurig en te "ruisig". Het is alsof je probeert een zacht gefluister te horen in een drukke fabriek met een goedkope microfoon. De oude methoden faalden hier.

3. De Oplossing: DENALI (De Grote Verzameling)

De onderzoekers van MIT en TU Berlin hebben een oplossing bedacht: leren van de data. In plaats van te proberen de wiskunde perfect te maken, hebben ze een enorme verzameling (dataset) gemaakt om een computer te leren hoe dit werkt.

Ze hebben een DENALI-dataset gemaakt (een naam die verwijst naar een berg, maar hier staat voor "Data Enabling Non-Line-of-Sight...").

Wat hebben ze gedaan? Ze hebben een goedkope laser (kost ongeveer $10) gebruikt om 72.000 keer te scannen.
Het decor: Ze hadden een muur, een verborgen object (zoals een 3D-geprinte letter of vorm) en de laser.
Het trucje: Ze hebben de objecten bedekt met retroreflector-tape (zoals dat op fietsreflectoren zit). Dit zorgt ervoor dat het licht precies terugkaatst naar de bron, waardoor het signaal sterker is.
Het resultaat: Een enorme bibliotheek van "echo's" die laten zien hoe verborgen objecten eruitzien, zelfs als je ze niet kunt zien.

4. Wat kan de computer nu?

Met deze dataset hebben ze AI-modellen getraind. Deze modellen zijn als detectives die de ruis in het lichtsignaal kunnen lezen. Ze kunnen nu drie dingen doen:

Locatie: Ze kunnen zeggen: "Het verborgen object staat op X meter links en Y meter rechts."
Vormherkenning: Ze kunnen raden of het verborgen object een "A", een "8" of een cirkel is.
Grootte: Ze kunnen zeggen of het object klein (4 inch) of groot (8 inch) is.

Het beste model (een soort "3D-convolutioneel netwerk") werkt verrassend goed. Het kan de positie van een object meten tot op een paar centimeter nauwkeurig, alleen maar door naar de "echo's" in de laserdata te kijken.

5. De "Digitale Tweeling" en de Leercurve

Een cool onderdeel van dit onderzoek is dat ze voor elk fysiek experiment ook een digitale tweeling hebben gemaakt in een computersimulatie.

Het probleem: De simulatie is nooit 100% hetzelfde als de echte wereld (net zoals een foto van een cake er anders uitziet dan de echte cake).
De oplossing: Omdat ze de echte data en de simulatie naast elkaar hebben, kunnen ze precies zien waar de simulatie fout gaat. Dit helpt om de "vertaalslag" van computer naar werkelijkheid te verbeteren. Het is alsof je een vliegsimulator gebruikt om te leren vliegen, maar je kijkt ook naar de echte piloten om te zien wat de simulator mist.

6. Waarom is dit belangrijk?

Vroeger dachten we dat "zien wat je niet kunt zien" alleen mogelijk was met dure, zware apparatuur in een lab. DENALI bewijst dat we dit kunnen doen met de goedkope chips die straks in elke telefoon en elke robot zitten.

De grote visie:
Stel je voor dat je met je telefoon door een hoek kunt kijken, of dat een robot in een huis kan zien of er iemand achter de deur staat zonder de deur open te maken. Dit onderzoek is de eerste grote stap om die "superkracht" voor iedereen toegankelijk te maken. Het is de ImageNet-moment (een beroemde dataset die beeldherkenning revolutioneerde) voor het zien van verborgen objecten.

Kort samengevat:
DENALI is een enorme verzameling van "laser-echo's" die leert hoe goedkope lasers verborgen objecten kunnen detecteren. Het toont aan dat we met slimme software en veel data de beperkingen van goedkope hardware kunnen overwinnen, waardoor we in de toekomst apparaten kunnen hebben die kunnen "zien" wat er achter muren gebeurt.

Probleemstelling

Conventionele LiDAR-sensoren in consumententoestellen (zoals smartphones en robots) geven doorgaans slechts één dieptewaarde per pixel uit, gebaseerd op de eerste of sterkste terugkaatsing van licht (directe tijd-van-vlucht of dToF). Echter, deze sensoren registreren intern volledige tijdsopgeloste histogrammen van foton-terugkeer. Deze histogrammen bevatten waardevolle informatie over multi-bounce-licht (licht dat meerdere keren kaatst), wat inzicht biedt in objecten die zich buiten het directe zichtveld bevinden (Non-Line-of-Sight of NLOS).

Bestaande NLOS-reconstructiemethoden zijn echter afhankelijk van dure, laboratorium-grade opstellingen met gestuurde lasers en hoge-tijdsresolutie detectoren. De beperkingen van goedkope, consument-grade LiDARs (zoals lage ruimtelijke en temporele resolutie, ruis, en cross-talk) maken het onmogelijk om deze methoden direct over te hevelen. Het gevolg is dat de rijke NLOS-informatie in consumentensensoren vaak wordt genegeerd, terwijl er geen data-gedreven alternatieven zijn om deze beperkte hardware toch nuttig te maken voor het waarnemen van verborgen objecten.

Methodologie

De auteurs introduceren DENALI, het eerste grote, real-world dataset specifiek ontworpen om data-gedreven NLOS-perceptie met goedkope LiDARs mogelijk te maken.

Dataverzameling:
- Hardware: Gebruik van de ams TMF8828, een goedkope (ca. $10), flash dToF-sensor (vergelijkbaar met die in moderne iPhones). Deze sensor levert volledige foton-histogrammen over 128 tijdbins in een 3x3 of 8x8 pixel-oplossing.
- Opstelling: Een gecontroleerde omgeving waarin een LiDAR en een RGB-D-camera gericht zijn op een vlakke "relay wall" (relay-muur). Verborgen objecten worden op een motorische gantry geplaatst buiten het directe zichtveld.
- Principe: Het systeem is ontworpen om drie-bounce-licht te vangen: Laser $\to$ Muur $\to$ Verborgen Object $\to$ Muur $\to$ Detector. Om het signaal te versterken, zijn de objecten bekleed met retroreflecterend tape.
- Dataset: 72.000 opnames in totaal, bestaande uit 60 unieke objecten (letters, cijfers, vormen) in twee maten (4 en 8 inch), op 100 verschillende posities, onder twee lichtomstandigheden (aan/uit) en twee resoluties.
Digitale Twins:
- Voor elke fysieke opname wordt een digitale twin gegenereerd met de fysiek gebaseerde renderer Mitsuba 3.
- Dit wordt gedaan door 6-DoF (degrees of freedom) poses te schatten met behulp van AprilTags, wat een perfecte ground truth biedt voor simulatie en validatie.
Analyse en Modellen:
- Drie taken werden geëvalueerd: Objectlocatie (x,y positie voorspellen), Objectclassificatie (vorm herkennen uit 30 categorieën) en Grootteclassificatie (4 vs 8 inch).
- Verschillende modelarchitecturen werden getest om te zien hoe ruimtelijke en temporele structuren het beste kunnen worden benut:
  - Baseline MLP (geen inductieve bias).
  - 1D CNN (alleen temporele structuur).
  - 3D CNN (ruimtelijk-temporele structuur).
  - Transformer (temporele afhankelijkheden via self-attention).

Belangrijkste Bijdragen

DENALI Dataset: De eerste schaalbare, real-world dataset van volledige tijdsopgeloste histogrammen van goedkope LiDARs voor NLOS-perceptie.
Validatie van Data-Gedreven NLOS: Het bewijs dat consument-grade LiDARs, ondanks hun hardware-beperkingen, voldoende informatie bevatten voor accurate NLOS-taken via data-gedreven methoden, zonder dure laboratoriumapparatuur.
Identificatie van Beperkingen: Een gedetailleerde analyse van factoren die de prestaties beperken, zoals objectgrootte, positie ten opzichte van de muur, en de invloed van omgevingslicht.
Sim-to-Real Analyse: Een framework om de kloof tussen simulatie en realiteit te kwantificeren, wat helpt bij het verbeteren van simulatiemodellen en sensorontwerp.

Resultaten

Prestaties: De beste modellen (voornamelijk 1D en 3D CNN's) presteerden aanzienlijk beter dan baselines.
- Locatie: Een RMSE van 0,046m voor het lokaliseren van verborgen objecten.
- Classificatie: Een macro-F1-score van 0,38 voor het herkennen van vormen.
- Grootte: Een nauwkeurigheid van 95% voor het onderscheiden van objectgrootte.
Invloed van Omgevingsfactoren:
- Grotere objecten (8 inch) en objecten dichter bij de relay-muur zijn aanzienlijk makkelijker te detecteren.
- De huidige modellen worstelen nog om objecteigenschappen, geometrie en omgevingslicht volledig te ontkoppelen; verschillende lichtomstandigheden leiden tot verschillende ruimtelijke foutpatronen.
Architectuur: Convolutionele netwerken (CNN's) die lokale temporele structuren benutten, bleken superieur aan Transformers of MLP's voor deze specifieke data. De 3D CNN (ruimtelijk) presteerde niet significant beter dan de 1D CNN, wat suggereert dat de lage ruimtelijke resolutie (3x3) van de sensor een beperkende factor is voor het benutten van ruimtelijke cues.

Betekenis en Toekomstperspectief

DENALI markeert een verschuiving in het veld van NLOS-imaging: van dure, laboratorium-gebaseerde reconstructie naar schaalbare, data-gedreven perceptie met betaalbare hardware die al in onze zakken zit.

Toepassingen: Dit opent de deur voor toepassingen zoals het vermijden van verborgen obstakels door robots, verbeterde AR/VR ervaringen, en veiligheidscontroles in complexe omgevingen.
Simulatie en Ontwerp: De dataset biedt een testomgeving om simulaties te verbeteren (sim-to-real transfer) en helpt bij het definiëren van de minimale hardware-eisen (bijv. timing-jitter tolerantie) voor toekomstige NLOS-toepassingen.
Conclusie: Net zoals ImageNet de visuele perceptie heeft versneld, kan DENALI de ontwikkeling van robuuste, data-gedreven NLOS-systemen voor consumententoestellen versnellen, waardoor "zien om de hoek" een realiteit wordt voor massaproductie.