All-Optical Segmentation via Diffractive Neural Networks for Autonomous Driving

Dit artikel presenteert een nieuw volledig optisch rekensysteem op basis van diffractieve neurale netwerken dat energie-efficiënte semantische segmentatie en rijstrookdetectie voor autonoom rijden mogelijk maakt, met experimentele validatie op de CityScapes-dataset en in gesimuleerde rijomgevingen.

De kern

Stel je voor dat een zelfrijdende auto een menselijke bestuurder is, maar dan met een heel snelle, maar ook heel hongerige hersenen. Normaal gesproken gebruikt zo'n auto digitale computers (zoals in je laptop) om te kijken waar de weg is, waar andere auto's zijn en wat er op de weg staat. Dit werkt goed, maar het kost enorm veel energie en tijd, omdat de camera beelden eerst moet omzetten naar digitale code (0's en 1's) voordat de computer ze kan begrijpen. Het is alsof je een foto eerst moet scannen, opslaan en dan pas kunt bekijken.

De auteurs van dit paper, een team van onderzoekers van universiteiten in de VS en Canada, hebben een slimme oplossing bedacht: een auto die "denkt" met licht, in plaats van met elektronen.

Hier is hoe hun idee werkt, vertaald naar alledaagse taal:

1. De "Licht-Hersenen" (Diffractie)

In plaats van een digitale computer te gebruiken, bouwen ze een systeem dat werkt als een gigantische, intelligente lens.

• De analogie: Stel je voor dat je een zaklamp op een muur schijnt. Als je een stukje karton met gaatjes voor de lamp houdt, krijg je een patroon op de muur. Als je die gaatjes heel slim en precies plaatst, kun je dat patroon laten veranderen in een tekening.
• Hun systeem: Ze gebruiken laserlicht dat door een reeks van speciale spiegels en lenzen (die ze "diffractieve lagen" noemen) gaat. Deze lagen zijn zo ontworpen dat ze het licht precies zo buigen dat het beeld dat erin zit, direct wordt omgezet in een antwoord. Geen scannen, geen rekenen in een chip, gewoon licht dat zich verplaatst. Het is alsof het antwoord al in het licht zit, je hoeft het alleen maar te "lezen".

2. De Kleurrijke Chef-kok (RGB Kanalen)

Tot nu toe konden deze licht-systemen alleen zwart-wit beelden verwerken. Dat is alsof je een chef-kok hebt die alleen groenten kan snijden, maar geen vlees of vis.

• De innovatie: Deze onderzoekers hebben een systeem bedacht met drie aparte "kookpannen" (kanalen) voor de drie basiskleuren: Rood, Groen en Blauw.
• Hoe het werkt: Het licht van de camera wordt gesplitst in drie stromen. Elke stroom gaat door zijn eigen set van slimme lenzen. De rode stroom kijkt naar de rode delen van de weg, de blauwe naar de blauwe, enzovoort. Aan het einde worden de drie stromen weer samengevoegd. Hierdoor kan de auto nu complexe kleuren begrijpen, zoals het verschil tussen een rode stopbord en een groene boom.

3. De "Teleportatie" van Informatie (Skip Connections)

Bij het leren van zo'n systeem kan het soms gebeuren dat de "boodschap" van het begin naar het einde verwaait (een probleem dat ze het "verdwijnend gradiënt" noemen).

• De oplossing: Ze hebben een soort teleportatiebuis gebouwd in hun systeem. In plaats van dat het licht alleen stap voor stap door alle lagen moet reizen, kunnen ze een stukje van het begin van het proces direct "teleporteren" naar een latere stap. Dit zorgt ervoor dat de belangrijke details (zoals de rand van een weg) niet verloren gaan tijdens het reizen door het systeem.

Wat hebben ze getest?

Ze hebben hun systeem getest op twee belangrijke taken voor zelfrijdende auto's:

1. Het herkennen van de weg (Scheiding): Kunnen ze zien wat "weg" is en wat "geen weg" is (bijvoorbeeld gebouwen of de lucht)? Ze hebben dit getest op foto's van steden (CityScapes). Het systeem deed het goed, al was het nog iets minder scherp dan de beste digitale computers, maar het kostte veel minder energie.
2. Het vinden van de rijbaan: Kunnen ze de lijnen op de weg zien? Ze testten dit in een binnenbaan met een robotauto en in een virtuele wereld (CARLA) met verschillende weersomstandigheden (regen, nacht, zon).
   • Resultaat: Het systeem werkte goed, maar het had een zwak punt: lichtreflecties. Als er een plas water was of een schaduw, werd het systeem soms verward. Het is alsof de auto even dacht dat een glinsterende plas een rijbaan was.

Waarom is dit belangrijk?

Stel je voor dat je een auto bouwt die niet alleen snel rijdt, maar ook batterijvriendelijk is.

• Digitale computers verbruiken veel stroom om beelden om te zetten en te rekenen.
• Dit nieuwe "licht-systeem" doet het allemaal met de snelheid van het licht en kost bijna geen energie voor het rekenen zelf. Het is als het verschil tussen een oude, zware stoommachine en een straaljager.

Kortom: De onderzoekers hebben een prototype gebouwd waarbij een zelfrijdende auto zijn ogen gebruikt om direct te "zien" en te "denken" met licht, zonder de omweg via zware digitale computers. Het is nog niet perfect (regen en schaduwen verwarren het nog), maar het is een enorme stap naar auto's die slimmer, sneller en zuiniger zijn.

Technische samenvatting

Probleemstelling

Autonome voertuigen zijn afhankelijk van geavanceerde perceptiemodellen, zoals semantische segmentatie en rijstrookdetectie, om de omgeving te begrijpen en beslissingen te nemen. De huidige standaardoplossingen maken gebruik van diepe neurale netwerken (DNN's) die draaien op digitale hardware. Dit brengt echter aanzienlijke nadelen met zich mee:

• Energieverbruik: Digitale verwerking vereist uitgebreide analoge-naar-digitale conversies (ADC) en grote hoeveelheden geheugentoegang, wat zeer energie-intensief is.
• Latentie: De conversie en verwerking van sensorgegevens veroorzaken vertragingen, wat kritiek is voor real-time reacties in autonoom rijden.
• Beperkingen op de rand: De hoge rekenkracht en het energieverbruik vormen een uitdaging voor de implementatie op energiebeperkte randcomputers (edge computing) in voertuigen.

Methodologie

De auteurs stellen een nieuw All-Optical Diffractive Optical Neural Network (DONN) framework voor dat beeldverwerking uitvoert met lichtdiffactie in plaats van digitale berekeningen.

1. Architectuur voor RGB-beelden:

   • In tegenstelling tot eerdere DONN-systemen die alleen grijswaarden verwerken, introduceert dit werk een driekanaals architectuur. Elk kanaal verwerkt afzonderlijk de rode (R), groene (G) en blauwe (B) componenten van een RGB-ingang.
   • De ingang wordt gecodeerd op coherent laserlicht (golflengte 532 nm).
   • Het systeem bestaat uit meerdere diffractielagen (geïmplementeerd met ruimtelijke lichtmodulatoren, SLM's) die de fase en amplitude van het licht manipuleren.
   • Optische Skip-Verbindingen: Om het probleem van het verdwijnen van gradiënten (vanishing gradients) in diepe netwerken aan te pakken, worden optische skip-verbindingen toegevoegd. Deze verbinden vroege lagen met latere lagen via vrije ruimte-diffractie, zonder extra energie te verbruiken.

2. Numerieke Modellering en Training:

   • Het systeem wordt getraind via numerieke modellering op digitale platforms (PyTorch), waarbij de fysieke diffractie wordt gesimuleerd met de Fresnel-benadering.
   • De trainbare parameters zijn de fase-modulaties ($W$) op elke diffractielaag.
   • De output is de lichtintensiteit op een detector, berekend als het kwadraat van de amplitude van de complexe golf Functie.
   • Er worden verschillende verliesfuncties getest, waaronder Mean Square Error (MSE), Binary Cross-Entropy (BCE) en Dice loss.

3. Datasets:

   • CityScapes: Voor semantische segmentatie (gebouwen vs. niet-gebouwen).
   • Indoor Track: Een aangepast dataset met een robotauto in een binnenomgeving voor rijstrookdetectie.
   • CARLA: Een gesimuleerde dataset voor rijstrookdetectie onder diverse omstandigheden (weer, tijdstip, verschillende kaarten).

Belangrijkste Bijdragen

• Nieuwe RGB-architectuur: Het eerste DONN-systeem dat specifiek is ontworpen voor RGB-beeldverwerking met drie gescheiden kanalen en optische skip-verbindingen.
• Uitbreiding van functionaliteit: Het systeem gaat verder dan eenvoudige classificatie en voert complexe taken uit zoals semantische segmentatie en rijstrookdetectie.
• Uitgebreide evaluatie: Een grondige analyse van de prestaties op CityScapes en een evaluatie van de generaliseerbaarheid op gesimuleerde rijscenario's met variërende weersomstandigheden en tijdstippen.

Resultaten

• Segmentatie (CityScapes):
  • Een 12-laags DONN-systeem bereikte een Intersection over Union (IoU) van 0,71.
  • Dit is een verbetering ten opzichte van eerdere single-channel DONN-systemen (die een IoU van 0,36 bereikten), wat aantoont dat de RGB-architectuur essentieel is voor complexe scènes.
  • Ter vergelijking: Een digitale U-Net bereikte een IoU van 0,87. Dit toont aan dat DONN's momenteel nog een prestatie-inlevering doen ten gunste van energie-efficiëntie, maar dat de kloof overbrugbaar is met geavanceerdere hardware.
• Rijstrookdetectie:
  • Op het indoor-dataset bereikte het model een gemiddelde IoU van 0,80.
  • Het model toonde een sterke generaliseerbaarheid op de CARLA-dataset, waarbij het succesvol rijstrookmarkeringen detecteerde in onbekende kaarten, bij verschillende weersomstandigheden (regen, bewolkt) en tijdstippen (middag, zonsondergang, nacht).
• Beperkingen:
  • Het model is zeer gevoelig voor lichtverdeling. Reflecties (bijv. op natte wegen of glas) en schaduwen kunnen ruis veroorzaken en de detectie verstoren.
  • Fijne details gaan soms verloren tijdens het binaire proces van de output.

Betekenis en Toekomstperspectief

Dit werk demonstreert het potentieel van all-optical computing voor autonome systemen. Door beeldverwerking volledig in het optische domein uit te voeren, worden de kosten voor ADC-conversies en digitale geheugentoegang geminimaliseerd, wat leidt tot:

• Extreem lage energieconsumptie: Berekeningen gebeuren passief met lichtdiffactie.
• Lagere latentie: Verwerking gebeurt met de lichtsnelheid.
• Hoge doorvoer: Parallelle verwerking van beeldgegevens.

Hoewel er nog uitdagingen zijn op het gebied van hardware-realiteit (zoals precisie in fabricage en stabiliteit van optische uitlijning) en robuustheid tegen complexe lichtomstandigheden, biedt dit onderzoek een veelbelovende route naar energie-efficiënte, real-time perceptiesystemen voor de volgende generatie autonome voertuigen.