Multi-Scale Spectral Attention Module-based Hyperspectral Segmentation in Autonomous Driving Scenarios

Zelfrijdende auto's vertrouwen op hun ogen om de wereld te zien, maar de camera's die ze momenteel gebruiken hebben een blinde vlek. Standaardcamera's zien de wereld veel zoals het menselijk oog dat doet, door drie brede lichtbanden vast te leggen: rood, groen en blauw. Dit is voldoende om een auto te vertellen dat een stuk grond een weg is en een stuk lucht blauw is, maar het heeft moeite wanneer materialen er voor het oog identiek uitzien, maar fundamenteel verschillend zijn. Een nat wegdek, een ijslaag en een donkere schaduw kunnen voor een standaardcamera allemaal dezelfde grijstint hebben, wat een gevaarlijke ambiguïteit creëert voor een autonoom voertuig. Om dit op te lossen, richten onderzoekers zich op een krachtiger hulpmiddel genaamd hyperspectrale beeldvorming. In plaats van slechts drie kleuren, leggen deze sensoren honderden smalle lichtbanden vast, waardoor elke pixel in een afbeelding een unieke spectrale vingerafdruk krijgt. Dit stelt een computer in staat om onderscheid te maken tussen water, ijs en asfalt op basis van hun chemische samenstelling in plaats van alleen hun helderheid. Hoewel deze technologie echter een duidelijker beeld van de fysieke wereld biedt, is het moeilijk gebleken om een computer te leren deze complexe, hoogdimensionale beelden te begrijpen.

De uitdaging ligt in de manier waarop huidige computervisie-systemen zijn gebouwd. De meeste kunstmatige intelligentiemodellen die ontworpen zijn voor zelfrijdende auto's, zijn oorspronkelijk getraind op standaard rood-groen-blauw beelden. Wanneer onderzoekers proberen hyperspectrale gegevens in deze modellen te voeren, moeten ze de rijke, gedetailleerde informatie vaak comprimeren om in de simpelere architectuur te passen, vergelijkbaar met het proberen te stoppen van een grote, complexe kaart in een kleine broekzak. Deze compressie gooit onvermijdelijk de subtiele spectrale details weg die hyperspectrale beeldvorming zo waardevol maken. Bovendien behandelen bestaande methoden elke kleurband vaak als een onafhankelijk stuk informatie, waarbij ze niet erkennen dat het licht dat in de ene band wordt vastgelegd, fysiek gerelateerd is aan het licht in de naburige banden. De onderzoekers in deze studie probeerden deze discontinuïteit te herstellen door een nieuwe manier te creëren voor computers om deze spectrale vingerafdrukken te verwerken zonder hun detail te verliezen.

Het team ontwikkelde een gespecialiseerd hulpmiddel genaamd een Multi-Scale Spectral Attention Module. Stel je een cameraleens voor die een scène kan bekijken door drie verschillende filters tegelijkertijd: één die zich concentreert op kleine, directe details, één die naar patronen op middellange afstand kijkt, en één die de brede, algemene context ziet. In de wereld van lichtspectra betekent dit dat het systeem tegelijkertijd kan analyseren hoe een materiaal reageert op een zeer nauw bereik van kleuren, een middellang bereik en een breed bereik. Door deze drie verschillende "blikken" parallel te laten draaien, kan het systeem zowel de fijnmazige chemische handtekeningen van een materiaal als de bredere context van de scène vastleggen. De onderzoekers hebben dit hulpmiddel vervolgens geïntegreerd in een populaire computervisie-architectuur genaamd UNet, specifiek door het te plaatsen in de paden die informatie van de vroege stadia van verwerking naar de latere stadia dragen. Deze plaatsing zorgt ervoor dat de rijke spectrale details behouden blijven en worden doorgegeven terwijl de computer zijn uiteindelijke begrip van de afbeelding opbouwt.

Om te testen of deze aanpak daadwerkelijk werkte, pasten de onderzoekers hun nieuwe systeem toe op verschillende real-world datasets die beelden bevatten van stedelijke en landelijke rijscènes. Deze datasets bevatten beelden van wegen, voertuigen, voetgangers en vegetatie, vastgelegd met hyperspectrale camera's die ergens tussen de 15 en 128 verschillende lichtbanden registreerden. Het team vergeleek hun nieuwe systeem met de standaardversie van het computervisiemodel dat niet over dit speciale spectrale hulpmiddel beschikte. De resultaten waren duidelijk: het systeem uitgerust met de multi-scale aandacht presteerde consequent beter. Over alle verschillende datasets en diverse modelgroottes heen verbeterde de nieuwe aanpak de nauwkeurigheid van het identificeren van objecten met gemiddeld 2,32 procent in de ene belangrijke metriek en 2,88 procent in een andere. Hoewel deze cijfers klein mogen lijken, kan in de hooggespannen wereld van autonoom rijden zelfs een fractie van een procent het verschil betekenen tussen een veilige stop en een botsing.

De studie onthulde ook dat er geen enkele "perfecte" instelling voor dit hulpmiddel bestaat die voor elke situatie werkt. De onderzoekers ontdekten dat de beste combinatie van filters afhing van de specifieke dataset die werd gebruikt. Voor sommige datasets werkte een combinatie van zeer smalle, medium en zeer brede filters het best, terwijl voor andere een andere mix van maten superieur was. Dit suggereert dat de spectrale handtekeningen van materialen in verschillende omgevingen uniek zijn, en dat het systeem moet worden afgestemd op de specifieke "lichttaal" van de locatie die het observeert. Ondanks deze variaties bleek de multi-scale benadering effectiever dan het gebruik van een enkele filtergrootte of het onafhankelijk behandelen van de kleurbanden.

Wanneer vergeleken met andere geavanceerde methoden die proberen computers te helpen zich op belangrijke delen van een afbeelding te concentreren, hield het nieuwe systeem stand. Het bereikte nauwkeurigheidsniveaus die concurrerend waren met de beste bestaande technieken, terwijl het snel genoeg draaide op krachtige grafische processoren om bruikbaar te zijn in real-time toepassingen. De onderzoekers merkten op dat het systeem weliswaar meer rekenkracht vereist op standaard computerchips, maar dat het op de gespecialiseerde hardware die gewoonlijk in moderne zelfrijdende auto's wordt gevonden, efficiënt presteert. Dit werk vormt een solide fundament voor de toekomst van de perceptie bij autonoom rijden. Door te bewijzen dat het kijken naar licht door meerdere schalen van detail het vermogen van de computer om de wereld te begrijpen verbetert, biedt de studie een praktisch pad naar het veiliger en betrouwbaarder maken van zelfrijdende auto's in complexe, real-world omstandigheden.