High-resolution long-range 3D single-photon imaging with a compact SPAD array

Deze paper presenteert een compact 3D-afbeeldingssysteem met enkele fotonen, gebaseerd op een DMD en een 64x64 SPAD-array, dat in outdoor-experimenten op 670 meter afstand een effectieve ruimtelijke resolutie van 256x256 bereikte.

De kern

📸 De "Super-Lupe" voor Donkere Plekken: Hoe je op 670 meter afstand nog steeds details kunt zien

Stel je voor dat je probeert een foto te maken van een verlichte toren, maar je staat er 670 meter vandaan en het is er bijna volledig donker. Je camera is zo gevoelig dat hij zelfs één enkel lichtdeeltje (een foton) kan zien, maar hij heeft een groot nadeel: zijn lens is erg "korrelig". Het heeft maar 64 x 64 pixels.

Op zo'n afstand zou een normale foto met die camera eruitzien als een vaag, wazig blokje. Je zou de vorm van de toren kunnen zien, maar je zou geen traliewerk, leuningen of details van het staalwerk kunnen onderscheiden. Het is alsof je probeert een gedetailleerd schilderij te bekijken door een raam dat vol zit met dikke, grote druppels regen.

Wat hebben de onderzoekers gedaan?
Ze hebben een slimme truc bedacht om die "dikke druppels" te omzeilen zonder de camera te vervangen. Ze hebben een DMD (een digitale spiegelwand) toegevoegd, die werkt als een super-snel, digitaal gordijn met duizenden kleine spiegeltjes.

De Analogie: De Postbode en de Brievenbus

Laten we het vergelijken met een postbode die brieven bezorgt in een grote stad:

1. Het oude probleem (Directe Imaging):
   Stel je hebt een postbode (de camera) die maar 64 brievenbussen kan bedienen. Hij moet de hele stad (het beeld) in één keer afdekken. Omdat er maar 64 bussen zijn, moet hij elke bus een heel groot stuk van de stad laten dekken. Als er een brief in zit, weet hij alleen: "Er is iets in dit grote gebied." Hij ziet niet waar precies in dat gebied de brief lag. Het resultaat is een wazig beeld.

2. De nieuwe oplossing (Deze paper):
   De onderzoekers hebben een slim systeem bedacht. Ze gebruiken de 64 brievenbussen niet om de hele stad in één keer te bekijken. In plaats daarvan:

   • Ze gebruiken de digitale spiegelwand (DMD) om de stad in kleine stukjes te verdelen.
   • Ze laten de spiegelwand telkens een ander patroon van licht en donker op de stad projecteren (zoals een stempel).
   • De 64 brievenbussen (de camera) kijken dan niet naar de hele stad, maar alleen naar hun eigen kleine stukje terwijl het lichtpatroon verandert.
   • Door duizenden van deze kleine metingen te combineren, kan een computer het beeld opnieuw samenstellen.

Het is alsof je een mozaïek maakt. In plaats van dat je 64 grote tegels hebt, gebruik je de 64 brievenbussen om duizenden kleine, precieze metingen te doen. De computer pakt die metingen en zet ze samen tot een beeld van 256 x 256 pixels.

Wat hebben ze bewezen?

De onderzoekers hebben dit systeem in de praktijk getest:

• De Test: Ze stonden 670 meter weg van een televisietoren.
• Het Resultaat: Met hun slimme systeem zagen ze details zoals leuningtjes, staalconstructies en traliewerk. Met de "oude" manier (direct kijken met de camera) zag je alleen een vaag silhouet.
• De Snelheid: Ze kregen dit scherpe beeld in slechts 2,46 seconden. Dat is razendsnel voor zo'n ver weg en zo weinig licht.
• Ook overdag: Ze hebben het zelfs getest op een hotel op 2 kilometer afstand, gewoon met zonlicht (passief). Ook daar werkte het: de nieuwe methode gaf een veel scherper beeld dan de camera alleen.

Waarom is dit belangrijk?

Normaal gesproken heb je voor een scherp beeld een camera nodig met miljoenen pixels. Maar die zijn duur, zwaar en verbruiken veel stroom, vooral als je ook nog moet meten hoe ver iets weg is (diepte-informatie).

Deze onderzoekers hebben laten zien dat je een kleine, compacte camera (64x64 pixels) kunt gebruiken om een gigantisch scherp beeld te maken, zolang je maar slimme spiegels en slimme software gebruikt om de puzzel op te lossen.

Kort samengevat:
Ze hebben een manier gevonden om met een "kleine, korrelige camera" en een "snelle digitale spiegel" foto's te maken alsof je een superkrachtige telescoop hebt. Je kunt nu op grote afstand, zelfs bij weinig licht, de details van gebouwen zien die anders onzichtbaar zouden blijven. Het is alsof je een wazige foto hebt, maar door slim te rekenen en te meten, krijg je ineens een HD-foto terug.

Technische samenvatting

Probleemstelling

Hoogwaardige 3D-imaging onder omstandigheden met een zeer gering aantal fotonen (foton-arme situaties) blijft een grote uitdaging. Dit is cruciaal voor toepassingen zoals remote sensing, topografische mapping en autonoom rijden.

• Beperkingen van bestaande systemen:
  • Scanning Lidar: Biedt uitstekende prestaties op lange afstand, maar is inefficiënt door sequentiële scanning en complex van opzet.
  • SPAD-arrays (Single-Photon Avalanche Diode): Bieden parallelle detectie, maar hun ruimtelijke resolutie is beperkt tot het aantal fysieke pixels. Het integreren van precisie-tijd-naar-digitaal-converters (TDC) in elke pixel voor grote arrays is technisch moeilijk vanwege beperkingen in data-doorvoer, stroomverbruik en circuitcomplexiteit.
  • Computational Imaging (Ghost Imaging): Kan theoretisch hoge resolutie halen met weinig pixels, maar vereist onder foton-arme omstandigheden vaak te veel metingen voor een goede signaal-ruisverhouding (SNR), wat leidt tot lage beeldkwaliteit of onpraktisch lange opnametijden.

Methodologie

De auteurs presenteren een hybride architectuur die hoge-resolutie ruimtelijke modulatie combineert met compacte, tijd-opgeloste array-detectie.

1. Systeemopbouw:

   • Bron: Een gepulseerde laser (1550 nm, 1 ns puls, 25 kHz herhaling).
   • Optica: Een ontvangende telescoop projecteert het teruggekaatste beeld op een Digital Micromirror Device (DMD).
   • Detector: Een compact 64 × 64 SPAD-array staat achter de DMD. De DMD en de detector zijn optisch gekoppeld zodat er een één-op-één correspondentie is tussen blokken op de DMD en pixels op de SPAD.
   • Modulatie: De DMD fungeert als een coderingsmechanisme. Het beeld wordt verdeeld in blokken; elk SPAD-pixel fungeert als een onafhankelijk meetkanaal voor een lokaal stukje van het tafereel.

2. Resolutie-uitbreiding:

   • Een gebied van 1024 × 1024 micromirrors op de DMD wordt gebruikt.
   • Om het aantal onbekenden te verminderen, worden groepen van 4 × 4 micromirrors behandeld als één effectieve modulatiedeelcel. Dit resulteert in een effectief raster van 256 × 256.
   • Elke SPAD-pixel (64 × 64) correspondeert met een blok van 16 × 16 DMD-mirrors (of 4 × 4 effectieve cellen).
   • Door het laden van ruimtelijke patronen op de DMD en het tellen van fotonen per pixel, wordt een blockwise reconstructie uitgevoerd. De lokale patches worden vervolgens samengevoegd tot een totaalbeeld met een resolutie van 256 × 256, wat de native resolutie van de detector (64 × 64) vier keer overtreft.

3. 3D-Imaging:

   • Dankzij de tijd-opgeloste aard van de SPAD-pixels wordt voor elke pixel een tijd-van-vlucht (ToF) histogram gemaakt.
   • De reconstructie wordt onafhankelijk toegepast op elke tijdschijf, wat een 3D-beeldkubus oplevert.
   • Een inverse 3D-deconvolutie (gebaseerd op de SPIRALTAP solver) wordt gebruikt om ruis en blokkeringseffecten te onderdrukken en ruimtelijke correlaties te benutten.

Belangrijkste Bijdragen

• Architectuur: Een nieuwe aanpak die de beperking van het aantal pixels in compacte SPAD-arrays overbrugt zonder de parallelle detectie te verliezen.
• Efficiëntie: Het systeem behoudt de diepteinformatie via ToF-metingen terwijl het de ruimtelijke sampling uitbreidt via optische codering (DMD).
• Robuustheid: De "blockwise" parallelle detectie vermindert informatie-aliasing en verbetert de reconstructie-robuustheid onder omstandigheden met een lage signaal-ruisverhouding, in tegenstelling tot globale ghost-imaging technieken.

Resultaten

De methode werd getest in outdoor-experimenten:

1. Actieve Imaging (670 meter):

   • Doel: Een televisietoren.
   • Prestaties: De auteurs reconstructeerden een 3D-beeld met een effectieve resolutie van 256 × 256.
   • Vergelijking: In vergelijking met directe imaging met de native 64 × 64 SPAD-array (waarbij alleen de algemene omtrek zichtbaar was), toonde de voorgestelde methode duidelijke structurele details zoals leuningen, stalen buizen en het frame van de toren.
   • Tijd: Met 240 gepulseerde accumulaties per patroon (totale opnametijd 2,46 seconden per gezichtsveld) werd al een helder en accuraat 3D-beeld verkregen.

2. Passieve Imaging (2,0 kilometer):

   • Doel: Het Sheraton Hotel-gebouw onder zonlicht.
   • Resultaat: Het systeem toonde ook hier een significante verbetering in ruimtelijke resolutie en contrast ten opzichte van directe imaging, wat aantoont dat de methode ook werkt voor passieve, langereafstands-scenario's.

Betekenis en Conclusie

Dit onderzoek bewijst dat compacte, tijd-opgeloste detectorarrays, wanneer gecombineerd met optische codering en computationele reconstructie, een praktische route bieden voor hoog-resolutie, langafstands 3D-single-photon imaging.

• Het lost het fundamentele compromis op tussen detectorgrootte (pixelaantal) en systeemcomplexiteit/stroomverbruik.
• Het systeem is in staat om complexe natuurlijke scènes in 3D te reconstrueren met een hoge resolutie, zelfs bij zeer zwakke signaalcondities en op grote afstand.
• De resultaten suggereren dat deze technologie veelbelovend is voor toekomstige toepassingen in autonome voertuigen, beveiliging en remote sensing, waarbij hoge resolutie en lage lichtniveaus cruciaal zijn.