DFARNet: Learnable Frequency Attention ResNet with Dual-Attention for Single-Image Desnowing

Sneeuw is meer dan alleen een mooi winters tafereel; voor de machines die onze auto's besturen en onze steden monitoren, is het een verwarrende waas. In tegenstelling tot regen, dat in duidelijke strepen valt, of mist, dat als een gelijkmatige nevel hangt, is sneeuw een chaotische mix van deeltjes die variëren in grootte, transparantie en dichtheid. Voor een computer die probeert de wereld te zien, lijkt een vallende sneeuwvlok vaak precies op een witte muur, een wolk of een bloem. Deze visuele misleiding maakt het ongelooflijk moeilijk voor kunstmatige intelligentie om een besneeuwde foto op te schonen zonder per ongeluk de werkelijke details van de scène erachter weg te wissen. Decennialang hebben onderzoekers geprobeerd computers te leren onderscheid te maken tussen het weer en de wereld, maar de meeste methoden hadden moeite om het verschil te zien tussen een willekeurige sneeuwvlok en een scherpe, natuurlijke rand van een gebouw of een boom.

Een team onderzoekers aan de Changchun University of Science and Technology in China heeft een nieuwe aanpak voorgesteld voor dit probleem door een systeem te introduceren dat zij DFARNet noemen. In plaats van een besneeuwde afbeelding alleen te bekijken als een verzameling pixels, zoals eerdere methoden deden, bekijkt dit nieuwe systeem de afbeelding op twee verschillende manieren tegelijk: als een plaatje en als een patroon van trillingen. In de wereld van beeldverwerking kan elke afbeelding worden afgebroken in frequenties, wat in essentie de snelheden zijn waarmee kleuren en helderheid over de afbeelding veranderen. Natuurlijke randen, zoals de hoek van een dak, creëren georganiseerde, directionele patronen in deze frequenties. Sneeuw creëert echter een willekeurige, verspreide ruis die er in dit wiskundige perspectief heel anders uitziet. De onderzoekers realiseerden zich dat door de computer te leren deze specifieke willekeurige patronen te herkennen, deze de sneeuw kon verwijderen zonder de scherpe lijnen van de echte wereld te vervagen.

Het systeem dat zij hebben gebouwd, werkt als een paar gespecialiseerde ogen die samenwerken. Eén oog, de ruimtelijke tak (spatial branch), kijkt naar de afbeelding om precies te vinden waar de sneeuw zich bevindt. Het andere oog, de frequentie-tak (frequency branch), analyseert de wiskundige trillingen van de afbeelding om te begrijpen hoe de sneeuw eruitziet in termen van haar willekeurige patronen. Door deze twee visies te combineren, kan de computer de sneeuw lokaliseren en met hoge precisie verwijderen. Deze dubbele aanpak lost een groot gebrek op van oudere systemen, die de sneeuw vaak verwarden met andere witte objecten omdat ze alleen naar het oppervlak van de afbeelding keken. De nieuwe methode leert zich aan te passen aan de sneeuw zoals deze wordt waargenomen, in plaats van te vertrouwen op vaste regels die kunnen falen wanneer het weer verandert.

Om dit systeem te trainen, gebruikten de onderzoekers een grote collectie besneeuwde afbeeldingen en leerden ze de computer de heldere scènes te reconstrueren die eronder verborgen liggen. Ze ontwierpen een speciaal scoresysteem tijdens de training dat de computer niet alleen beloonde voor het helder maken van de afbeelding, maar ook voor het behouden van de scherpte en de juistheid van de randen van objecten. Wanneer ze hun nieuwe systeem testten tegen andere vooraanstaande methoden, waren de resultaten veelbelovend. Op een standaard testset behaalde hun systeem een score van 31,60 dB, een maatstaf voor beeldkwaliteit die hoger was dan die van verschillende andere geavanceerde modellen. Belangrijker nog, de afbeeldingen die het produceerde zagen er natuurlijker uit, met een betere textuur en kleuraccuratesse, waarbij de wazige of overmatig gladde look die andere sneeuwverwijderingstools vaak teistert, werd vermeden.

De onderzoekers merken op dat hoewel hun systeem zeer effectief is, het geen perfecte oplossing is voor elk mogelijk scenario, met name in extreem zware sneeuwstormen waarbij het zicht bijna nul is. Ze wijzen er ook op dat het wiskundige proces dat vereist is om de frequenties van de afbeelding te analyseren, enige rekenkracht vergt, wat een uitdaging kan zijn voor zeer kleine apparaten. Toch demonstreert hun werk dat kijken naar een afbeelding door de lens van frequentiepatronen een krachtige nieuwe manier biedt om oude problemen op te lossen. Door computers te leren de verborgen structuur van sneeuw te zien, hebben ze een hulpmiddel gecreëerd dat autonome voertuigen en bewakingssystemen kan helpen om duidelijk te zien, zelfs wanneer de wereld bedekt is met wit.