Single Pixel Image Classification using an Ultrafast Digital Light Projector

Dit artikel presenteert een experimentele demonstratie van beeldclassificatie met multi-kHz frame rates door single-pixel imaging te combineren met een extreem leerapparaat (ELM) en een microLED-projector, waardoor beelden in sub-milliseconden worden gecodeerd en geanalyseerd zonder reconstructie.

De kern

Stel je voor dat je een kamer binnenloopt die volledig in het donker is. Je kunt niets zien, maar je hebt wel een magische, supergevoelige lantaarnpaal in je hand. Deze lantaarnpaal kan geen foto's maken zoals een camera, maar hij kan wel heel snel verschillende patronen van licht op de muren projecteren.

Dit is de kern van het onderzoek dat deze paper beschrijft. Het team heeft een manier bedacht om objecten te herkennen zonder ze ooit echt te "zien" zoals we dat gewend zijn. In plaats van een dure camera met miljoenen pixels, gebruiken ze één enkele lichtsensor (een "single pixel") en een razendsnelle projector.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De "Magische Lantaarn" (De Projector)

Normaal gesproken gebruiken camera's een chip met miljoenen kleine zintuigen (pixels) om een beeld vast te leggen. Dit team gebruikt echter een microLED-projector. Denk hierbij aan een projector die niet een film afspeelt, maar razendsnel duizenden verschillende patronen op een object schijnt.

• De analogie: Stel je voor dat je een duif wilt tellen in een donker bos. In plaats van een flitslicht te gebruiken dat de hele bos verlicht, schijn je met een laserstraal heel snel verschillende vormen (vierkanten, strepen, zigzags) op de duif. Je kijkt niet naar de duif zelf, maar naar hoeveel licht er van die vormen terugkaatst.

2. De "Oor van de Sensor" (De Single Pixel)

Aan de andere kant van het object zit geen camera, maar één enkele, supersnelle lichtsensor.

• Hoe het werkt: Als de projector een patroon schijnt, vangt de sensor het totale licht dat terugkaatst. Als het patroon op de duif valt, is het licht helder. Als het patroon op de donkere achtergrond valt, is het donkerder.
• Het resultaat is geen plaatje, maar een geluidsspoor (een reeks pieken en dalen) dat vertelt hoe het licht reageerde op dat specifieke patroon.

3. De "Snelheids-Enigma" (De Uitdaging)

Het probleem met deze techniek is dat het vaak traag is. Om een duidelijk beeld te maken, moet je duizenden patronen projecteren. Dat duurt te lang voor toepassingen zoals zelfrijdende auto's, die in milliseconden moeten reageren.

• De oplossing van dit team: Ze gebruiken een microLED-projector die 100 keer sneller is dan de oude, mechanische projectoren (DMD's). Hierdoor kunnen ze duizenden patronen per seconde projecteren. Het is alsof ze van een oude, traag draaiende filmprojector zijn overgestapt op een digitale projector die beelden in een flits wisselt.

4. De "Slimme Gok" (Kunstmatige Intelligentie)

Dit is het meest fascinerende deel: Ze bouwen het beeld nooit helemaal op.

• De analogie: Stel je voor dat je een raadsel moet oplossen. Je hoeft niet de hele foto van de duif te zien om te weten dat het een duif is. Je kunt het ook weten door te horen hoe het geluid van de vleugels klinkt als je er met een bepaalde frequentie tegenaan schijnt.
• In dit experiment worden de lichtsignalen direct naar een slim computerprogramma (een machine learning model) gestuurd. Dit programma leert: "Oh, als ik dit specifieke patroon van pieken en dalen zie, is het waarschijnlijk een cijfer '4'."
• Ze gebruiken twee soorten "hersenen":
  1. Een ELM (Extreme Learning Machine): Dit is als een snelle, intuïtieve gokker. Hij is heel snel en goed in het herkennen van "dit is een 4 of dit is niet een 4".
  2. Een DNN (Deep Neural Network): Dit is als een gedetailleerde onderzoeker die dieper graaft en meer fouten maakt, maar wel heel nauwkeurig is.

5. Het Resultaat: Snelheid en Anomalie Detectie

Het team heeft getest met de beroemde MNIST-dataset (handgeschreven cijfers van 0 tot 9).

• Ze haalden een snelheid van 1.200 beelden per seconde. Dat is razendsnel!
• Ze ontdekten dat je niet alle patronen nodig hebt. Als je alleen de "simpele" patronen gebruikt (zoals horizontale en verticale lijnen), kun je al heel goed herkennen wat er te zien is. De ingewikkelde patronen (die de fijne details tonen) zijn minder belangrijk voor een snelle beslissing.
• Waarom is dit belangrijk? Stel je een fabriek voor waar producten langs een band gaan. Als er één defect product is (een "anomalie"), wil je dat direct zien. Je hoeft niet te weten hoe het product er precies uitziet, je moet alleen weten: "Is dit normaal of niet?"
  • Met hun systeem kunnen ze in milliseconden zeggen: "Nee, dit is geen normaal product!" en het direct verwijderen.

Samenvatting in één zin

Dit onderzoek toont aan dat je met één enkele lichtsensor en een supersnelle projector, gecombineerd met slimme software, objecten kunt herkennen met de snelheid van een flits, zonder ooit een echt foto te hoeven maken. Het is alsof je een boek leest door alleen naar de schaduwen van de letters te kijken, maar dan zo snel dat je de hele pagina in één seconde "leest".

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Single Pixel Image Classification using an Ultrafast Digital Light Projector", geschreven in het Nederlands.

Probleemstelling

Machine vision (machinezicht) is essentieel voor toepassingen zoals autonome voertuigen en industriële inspectie. Traditionele camera's op basis van CMOS-chips hebben echter beperkingen in operationele bandbreedte en complexiteit, vooral bij zeer hoge snelheden. Event-based cameras bieden een alternatief, maar zijn beperkt tot specifieke golflengtes.
Single Pixel Imaging (SPI) biedt een oplossing door beeldvorming te realiseren met één enkele detector in plaats van een pixelarray. Echter, traditionele SPI-systemen, die vaak gebruikmaken van Digital Micromirror Devices (DMD's), hebben een lage beeldsnelheid (beperkt door de mechanische schakeltijd van spiegels) en vereisen vaak computationally zware beeldreconstructie voordat classificatie kan plaatsvinden. De uitdaging is om SPI te combineren met ultrafast hardware en een lage-complexiteit machine learning-model om directe classificatie mogelijk te maken zonder eerst het volledige beeld te reconstrueren.

Methodologie

De auteurs hebben een experimenteel systeem opgezet dat SPI combineert met een ultra-snel projectiesysteem en directe spatiotemporele classificatie.

1. Hardware-opstelling:

   • Projector: In plaats van een DMD gebruiken de auteurs een microLED-on-CMOS digitale lichtprojector. Dit apparaat kan patronen genereren met een snelheid van ongeveer 100 keer sneller dan DMD's (tot 330.000 fps in globale sluitermodus).
   • Illuminatiepatronen: Er wordt gebruikgemaakt van een Hadamard-basis (12x12 patronen, in totaal 144 patronen). Omdat LED's geen negatieve waarden kunnen projecteren, wordt elk Hadamard-patroon opgesplitst in twee binaire patronen (positief en negatief/invers). Het verschil in gedetecteerde intensiteit tussen deze twee patronen vormt de meting.
   • Detectie: Een snelle fotomultiplier (Silicon Photomultiplier) fungeert als de "single pixel" detector. Het gereflecteerde licht van het object (MNIST cijfers geprojecteerd op een DMD) wordt omgezet in een analoge stroom.
   • Data-acquisitie: Het signaal wordt opgenomen als een tijdsreeks door een real-time oscilloscoop (1 GHz bandbreedte).

2. Machine Learning Modellen:
   De auteurs testen twee modellen die direct werken op de tijdsreeks van de gedetecteerde intensiteiten, zonder beeldreconstructie:

   • Extreme Learning Machine (ELM): Een enkelvoudig verborgen laag-neuraal netwerk waarbij de input-weights willekeurig worden geïnitieerd en vastgehouden. Alleen de output-weights worden getraind via ridge-regressie. Dit is een zeer snelle trainingsmethode.
   • Deep Neural Network (DNN): Een feed-forward netwerk met meerdere lagen, getraind met backpropagation (Adam-optimizer) en ReLU-activatiefuncties. Dit dient als een complexer benchmark-model.

3. Classificatiestrategie:

   • Multiclass: Directe classificatie van cijfers 0-9.
   • Binary (One-vs-All): Classificatie van één specifiek cijfer tegen alle anderen (analoog aan anomaliedetectie).

Belangrijkste Bijdragen

• Ultrafast SPI: Demonstratie van beeldclassificatie met een microLED-projector, wat mogelijk maakt om beelden te coderen in sub-milliseconden (tot 1,2 kHz frame rate).
• Reconstructievrije Classificatie: Het bewijzen dat beeldherstel (reconstructie) niet nodig is voor accurate classificatie; de spatiotemporele transformatie van de data is voldoende.
• Efficiëntieanalyse: Een uitgebreide studie naar het effect van het aantal gebruikte Hadamard-patronen op de classificatie-accuraatheid en de bandbreedte.
• Anomaliedetectie: Het aantonen dat een eenvoudige ELM-model >99% nauwkeurigheid kan bereiken in binaire classificatie, wat zeer relevant is voor het detecteren van afwijkingen in real-time scenario's.

Resultaten

• Snelheid en Accuraatheid: Het systeem bereikte een classificatie-accuraatheid van >90% bij een snelheid van 1,2 kfps (kiloframes per seconde) voor de DNN-modellen.
• ELM Performance: De ELM-modellen waren sneller in inferentie (31 µs per cijfer vs. 73 µs voor DNN) en bereikten >99% nauwkeurigheid voor binaire classificatie (one-vs-all).
• Invloed van Patroonselectie:
  • Er werd ontdekt dat niet alle Hadamard-patronen even waardevol zijn. Patronen met een lagere ruimtelijke frequentie (minder transities tussen +1 en -1, de eerste 1/4 van de set) bevatten de meeste informatie voor classificatie.
  • Door alleen de eerste 1/4 van de patronen te gebruiken, kon het aantal benodigde patronen drastisch worden verminderd (wat de bandbreedte verhoogt) terwijl de nauwkeurigheid nog steeds rond de 78% bleef.
  • Het gebruik van de laatste patronen (hoge frequentie) leverde slechtere resultaten op.
• Ruisanalyse: Het toevoegen van additief Gaussisch ruis aan de input verlaagde de nauwkeurigheid, maar het systeem bleek robuust tot een zekere mate. De degradatie in prestaties bij het gebruik van minder patronen (compressed sensing) bleek echter voornamelijk te wijten aan het verlies van gestructureerde ruimtelijke informatie, niet alleen aan een slechtere signaal-ruisverhouding (SNR).

Significantie

Dit werk markeert een belangrijke stap in de evolutie van optische machine vision. Door de combinatie van ultrafast microLED-projectie en reconstructievrije machine learning, overwint de technologie de snelheidsbeperkingen van traditionele camera's en DMD's.
De resultaten zijn van groot belang voor:

1. Real-time Anomaliedetectie: Het vermogen om extreem snel afwijkingen te detecteren in dynamische omgevingen (bijv. in productie of verkeerssituaties).
2. Optische Computing: Het toont de potentie van microLED-arrays als kerncomponent voor de volgende generatie optische computers.
3. Efficiëntie: Het demonstreert dat complexe beeldtaken kunnen worden uitgevoerd met minder hardware-complexiteit (één detector) en minder data-overdracht, wat energie-efficiëntie en snelheid ten goede komt.

Samenvattend biedt dit paper een bewezen, experimenteel kader voor het uitvoeren van snelle, betrouwbare beeldclassificatie in scenarios waar traditionele camera's te traag of te complex zijn.