Lumosaic: Hyperspectral Video via Active Illumination and Coded-Exposure Pixels

Dit paper introduceert Lumosaic, een compact actief hyperspectraal videosysteem dat door middel van gesynchroniseerde smalle-band LED-verlichting en een camera met gecodeerde pixel-expositie real-time, bewegingsrobuste hyperspectrale video met hoge spectrale nauwkeurigheid mogelijk maakt.

De kern

Lumosaic: De "Tijdmachine" voor Kleuren

Stel je voor dat je een camera hebt die niet alleen foto's maakt van hoe iets eruitziet (zoals rood, blauw of groen), maar ook een geheime code kan lezen die vertelt waaruit dat object precies is gemaakt. Dit noemen we hyperspectrale beeldvorming. Normaal gesproken is dit als het proberen te lezen van een heel dun boekje terwijl je op een snelle trein zit: het is bijna onmogelijk om de details scherp te zien als er beweging is.

Lumosaic is een nieuwe uitvinding die dit probleem oplost. Het is een compact systeem dat dynamische scènes (bewegende objecten) in real-time kan "scannen" en in 31 verschillende kleurnuances kan vastleggen, niet alleen in de standaard 3 kleuren (rood, groen, blauw) van onze telefoons.

Hier is hoe het werkt, uitgelegd met simpele analogieën:

1. Het Probleem: De Trage Chef en de Snelle Danser

Stel je een chef-kok voor (de camera) die een gerecht moet proeven.

• De oude manier: De chef moet wachten tot de kok (het licht) langzaam één voor één ingrediënten toevoegt. Als de kok (het object) begint te dansen of te bewegen terwijl de chef wacht, is het gerecht verpest. De foto wordt wazig of de kleuren komen door elkaar.
• Het probleem: Bestaande camerasystemen zijn te traag of verliezen te veel licht om bewegende objecten scherp en kleurrijk vast te leggen.

2. De Oplossing: Een Georganiseerde Danspartij

Lumosaic lost dit op door twee dingen tegelijkertijd te laten dansen: het licht en de camera.

• De Verlichting (De LED's): In plaats van gewoon wit licht, gebruikt Lumosaic een rij van 12 verschillende LED-lampjes. Elk lampje schijnt een heel specifiek, smal stukje van het kleurenspectrum (bijvoorbeeld alleen een heel diep blauw of een specifiek geel).
• De Camera (De CEP-sensor): Dit is geen gewone camera. Het heeft een slimme sensor waarbij elk individueel pixel zijn eigen "deur" kan openen en sluiten, razendsnel.

De Analogie van de Mosaïek-Dans:
Stel je een dansvloer voor met duizenden dansers (de pixels).

1. De DJ (de computer) schakelt razendsnel tussen de 12 LED-lampjes.
2. Tegelijkertijd geeft de DJ aan welke dansers (pixels) op welk moment mogen dansen (licht opvangen).
3. Het resultaat is een mosaïek: Op elk moment in de tijd en op elke plek op de foto wordt een heel specifiek kleurtje vastgelegd.

Het is alsof je een enorme puzzel maakt, maar in plaats van stukjes die je één voor één legt, worden ze allemaal tegelijk en razendsnel in de lucht gegooid, waarbij elke danser precies weet welk stukje hij moet vangen.

3. De Magie: Waarom dit beter werkt

Bij gewone camerasystemen wordt het licht vaak "opgeofferd" (zoals een filter dat 90% van het licht blokkeert). Lumosaic doet het slim:

• Actief Licht: Het licht komt van de bron. Als een LED aan is, schijnt hij direct op de camera. Geen lichtverspilling.
• Tijdsynchronisatie: Omdat het licht en de camera perfect op elkaar zijn afgestemd (zoals een danspaar dat elkaars stappen kent), kan het systeem beweging compenseren. Zelfs als een object snel draait, weet het systeem precies welk kleurtje op welk moment is opgevangen.

4. De Reconstructie: De AI die de Puzzel Oplost

De camera neemt een "rauwe" foto op die eruitziet als een gekleurd, gestippeld mozaïek. Dit is nog geen herkenbaar beeld.
Hier komt de kunstmatige intelligentie (AI) om de hoek kijken.

• De AI kijkt naar dit mozaïek en weet: "Ah, dit pixel hier heeft blauw gezien, dat pixel daar heeft rood gezien, en ze bewogen net iets."
• De AI voegt alle stukjes samen en reconstructeert een volledig scherp, bewegend video-beeld met 31 verschillende kleurlagen.
• Het resultaat: Je ziet niet alleen dat een bal rood is, maar je ziet precies welke rode verf erop zit, zelfs als de bal snel rolt.

5. Waarom is dit belangrijk? (De Toekomst)

Dit systeem is klein, compact en werkt in real-time (30 beelden per seconde).

• Medische toepassingen: Het kan misschien cellen in het lichaam scannen om ziektes eerder te zien dan met een gewone camera.
• Robotica: Robots kunnen beter zien of een fruitje rijp is of of een weg glad is, zelfs als ze zelf snel bewegen.
• Kunst en Veiligheid: Het kan vervalsingen van schilderijen opsporen (omdat de verf een ander spectrum heeft dan het origineel) of verborgen materialen detecteren.

Samenvattend

Lumosaic is als het hebben van een super-snel oog dat niet alleen kijkt, maar ook luistert naar de "kleuren" van de wereld. Door het licht en de camera in een perfect, razendsnel dansje te laten treden, kan het de wereld vastleggen zoals niemand dat eerder kon: scherp, kleurrijk en zonder wazigheid, zelfs als alles om je heen beweegt.

Technische samenvatting

Probleemstelling

Hyperspectrale beeldvorming (HSI) vangt reflectantie van een scène over vele golflengtebanden op, wat onzichtbare spectrale kenmerken onthult die cruciaal zijn voor toepassingen zoals materiaalklassificatie en fysiologische monitoring. Echter, het realiseren van hyperspectrale video (dynamische scènes) blijft een fundamentele uitdaging vanwege de afwegingen tussen spectrale resolutie, lichtefficiëntie en temporele sampling.

Bestaande systemen hebben twee hoofdproblemen:

1. Scannende systemen: Vereisen lange opnametijden en zijn ongeschikt voor bewegende scènes.
2. Snapshot-systemen: Comprimeren spectrale informatie in één belichting (bijv. via CASSI of MSFA), maar lijden onder ernstig lichtverlies, slecht gestelde inversies (versterking van ruis) en bewegingsartefacten (ghosting/smeersels) omdat ze aannemen dat de scène statisch is tijdens de belichting.

Methodologie: Lumosaic

Lumosaic is een compact, actief hyperspectraal videosysteem dat bewegingsrobuuste opname mogelijk maakt door ruimtelijke, spectrale en temporele informatie gezamenlijk te coderen binnen één videoframe. Het systeem combineert twee kerncomponenten:

1. Actieve Verlichting (Narrowband LED-array):

   • In plaats van passief licht te filteren, gebruikt Lumosaic een array van 12 smalle-band LED's die het spectrum actief moduleren in de tijd.
   • De LED's worden sequentieel geactiveerd met microseconde-nauwkeurigheid, waarbij de spectrale inhoud direct in het licht wordt gecodeerd.

2. Coded-Exposure Pixels (CEP) Camera:

   • De camera gebruikt een aangepaste CMOS-sensor waarbij elke pixel twee ladingsopslagplaatsen ("buckets") heeft.
   • De belichtingstijd wordt opgedeeld in kleine sub-frames. Per sub-frame kan elke pixel programmabel worden ingesteld om licht te integreren in Bucket 0 of Bucket 1, of te negeren.
   • Dit zorgt voor een per-pixel belichtingscode die onafhankelijk van de verlichting kan worden gestuurd.

Het Coderingsschema:
Het systeem synchroniseert de LED-activatie met de pixel-belichting in een dicht ruimtelijk-spectraal-temporeel mozaïek.

• De sensor is opgedeeld in tegels (tiles) met unieke belichtingspatronen.
• Terwijl de LED's snel wisselen tussen verschillende golflengtes, integreren aangrenzende pixels op verschillende tijdstippen licht van verschillende LED's.
• Dit resulteert in één videoframe waarin elke ruimtelijke locatie een unieke combinatie van spectrale en temporele samples bevat.

Reconstructiepiplijn:
Omdat de sub-afbeeldingen van verschillende LED's op verschillende tijdstippen zijn opgenomen, kunnen ze bij beweging ruimtelijk misaligneren. De reconstructie omvat drie stappen:

1. Demosaicing: Het scheiden van de ruwe data in 12 LED-specifieke sub-afbeeldingen.
2. Temporele Alignering: Gebruikmakend van een optische flow-netwerk (RIFE) om de sub-afbeeldingen van verschillende LED's te warpen naar een gemeenschappelijk tijdstip (gebaseerd op een referentie-LED, bijvoorbeeld "lime"). Dit corrigeert bewegingsartefacten.
3. Learning-based Reconstructie: Een diep neurale netwerk (Holistic Attention Network - HAN) reconstructeert het hyperspectrale kubus (31 kanalen, 400-700 nm) uit de uitgelijnde sub-afbeeldingen.

Belangrijkste Bijdragen

• Nieuwe Architectuur: Een compact systeem dat actieve verlichting koppelt aan CEP-sensoren voor dense codering van ruimte, tijd en golflengte.
• Hardware-prototype: Een werkend prototype dat 30 fps video vastlegt met VGA-resolutie (640x480) en 31 spectrale kanalen, met microseconde-synchronisatie.
• Gecombineerde Codering: Een uniek coderingsschema dat beweging en spectrale informatie simultaan vastlegt zonder de lichtefficiëntie te verliezen (in tegenstelling tot passieve filters).
• Robuuste Reconstructie: Een pijplijn die bewegingsmisalignering corrigeert en hoge spectrale nauwkeurigheid behoudt, zelfs bij snelle beweging.

Resultaten

De auteurs evalueren Lumosaic op zowel synthetische als real-world data:

• Kwaliteit: Lumosaic overtreft state-of-the-art snapshot-systemen (zoals QDO en MST++) significant in PSNR, SSIM en spectrale hoekmapper (SAM), vooral onder ruiscondities en bij beweging.
• Dynamische Scènes: Het systeem produceert temporale coherentie bij 30 fps voor diverse bewegingen (rotatie, handgebaren, vloeistofdiffusie) zonder merkbare ghosting of flicker.
• Spectrale Nauwkeurigheid:
  • Validatie met een ColorChecker toont een hoge correlatie met gemeten spectrale reflectantie.
  • Het systeem kan metamerisme onderscheiden (visueel identieke objecten met verschillende spectra, zoals een echte ColorChecker vs. een gedrukte kopie).
  • Het kan scherpe spectrale overgangen reconstrueren, zelfs buiten de fysieke samplinglimieten van de 12 LED's, dankzij de leergerichte reconstructie.
• Efficiëntie: Door actief licht te gebruiken in plaats van passief te filteren, wordt de fotonefficiëntie verbeterd, wat cruciaal is voor video-opnames met korte belichtingstijden.

Betekenis en Toekomstperspectief

Lumosaic overbrugt de lange bestaande kloof tussen statische hyperspectrale beeldvorming en echte hyperspectrale video. Het bewijst dat het mogelijk is om dynamische scènes vast te leggen met hoge spectrale resolutie in een compact formaat, zonder de complexiteit van bewegende optica of grote scannende systemen.

De technologie opent nieuwe mogelijkheden voor real-time spectrale sensing in:

• Robotica: Voor nauwkeurige materiaaldetectie in beweging.
• Microscopie: Voor het observeren van dynamische biologische processen.
• Computational Photography: Voor geavanceerde belichting en kleurcorrectie in dynamische omgevingen.

De belangrijkste beperkingen die voor toekomstig werk worden genoemd, zijn de afhankelijkheid van gesimuleerde data voor training (vanwege het gebrek aan grote hyperspectrale videodatasets) en het potentieel om de tweede "bucket" van de CEP-sensor te gebruiken voor nog betere dynamische bereik en lichtefficiëntie.