Polarimetric Imaging for Perception

Probleemstelling

Autonome voertuigen en geavanceerde bestuurdersassistentiesystemen (ADAS) vertrouwen doorgaans op een sensorset bestaande uit RGB-camera's, radar, lidar en ultrasone sensoren om de omgeving te interpreteren. Hoewel polarisatie een fundamentele eigenschap van licht is die informatie biedt over oppervlakteoriëntatie en materiaal, wordt deze zelden gebruikt voor perceptietaken in de automobielindustrie. Bestaande datasets met polarimetrische data zijn vaak gebrekkig (bijvoorbeeld door onvolledige synchronisatie tussen RGB- en polarimetrische camera's) of beperkt in schaal. Het doel van dit onderzoek is om te analyseren of het toevoegen van polarimetrische informatie aan standaard RGB-beelden de prestaties van perceptiealgoritmen kan verbeteren, specifiek voor monoculaire dieptebepaling en detectie van vrije ruimte (free space detection), zonder ingrijpende architecturale wijzigingen in bestaande deep learning-modellen.

Methodologie

1. Dataset en Hardware

De auteurs hebben een nieuwe, gesynchroniseerde dataset ontwikkeld bestaande uit 12.627 beelden uit zes verschillende locaties (voorsteden), opgenomen rond het middaguur om de invloed van de zonshoogte te minimaliseren en de polarisatieonafhankelijkheid van de rijrichting te garanderen.

• Hardware: Een RGB-polarimetrische camera (Lucid Vision TRI050S-QC), een Velodyne Alpha Prime lidar en een GNSS/INS-systeem (OxTS RT3000).
• Data-verwerking: De camera meet intensiteit op vier hoeken ($0^\circ, 45^\circ, 90^\circ, 135^\circ$). Hieruit worden drie kanalen berekend:
  • Intensiteit ($I$)
  • Hoek van lineaire polarisatie (AoLP)
  • Graad van lineaire polarisatie (DoLP)
• Kalibratie: Volledige intrinsieke en extrinsieke kalibratie tussen alle sensoren zorgt voor perfecte uitlijning. De dataset bevat ook handmatig verfijnde segmentaties van vrije ruimte voor 8.141 beelden.

2. Perceptie Taken en Architectuur

De studie focust op twee taken met minimale aanpassingen aan state-of-the-art netwerken:

• Vrije Ruimte Detectie (Free Space Detection):

  • Gebaseerd op het SNE-RoadSeg netwerk (een top-performer op de KITTI-benchmark).
  • In plaats van oppervlaktenormale (surface normals) afgeleid van lidar, worden de polarimetrische kenmerken gebruikt.
  • Input: RGB-beeld + gepolariseerde kanalen. De polarimetrische input wordt geconverteerd naar een vector: $P = [\sin(2\cdot\text{AoLP}), \cos(2\cdot\text{AoLP}), 2\cdot\text{DoLP}-1]$. De sinus/cosinus-transformatie op AoLP lost het cyclische karakter van de hoek op ($0^\circ$ is gelijk aan $180^\circ$).
  • Het netwerk (genaamd RGBP-RoadSeg) combineert RGB-features met deze polarimetrische features via een multi-stream architectuur.

• Monoculaire Dieptebepaling (Monocular Depth Estimation):

  • Gebaseerd op het Monodepth v2 framework (zelftoezichtend, gebruikmakend van geometrische relaties tussen opeenvolgende frames).
  • Input: Vergelijking van vier scenario's:
    1. Alleen RGB (RGB-Depth).
    2. Alleen polarimetrische features (P-Depth).
    3. Gecombineerde RGB + polarimetrie (RGBP-Depth).
    4. Voorgeladen op RGB en fijnge tuned op gecombineerde data (pt-RGBP-Depth).

Belangrijkste Bijdragen

1. Nieuwe Dataset: Een grote, gesynchroniseerde dataset met RGB, AoLP, DoLP, lidar-puntenwolken en GNSS/IMU-data, specifiek ontworpen voor het trainen van deep learning-modellen in de automobielcontext.
2. Validatie van Polarimetrie: Het aantonen dat polarimetrische informatie complementair is aan RGB-data en significante prestatieverbeteringen oplevert voor zowel dieptebepaling als vrije ruimte detectie.
3. Efficiëntie: Het bewijs dat deze verbeteringen bereikt kunnen worden met minimale architecturale wijzigingen in bestaande state-of-the-art netwerken.
4. Kosteneffectiviteit: Het voorstellen van een goedkopere alternatief voor lidar-gebaseerde dieptebepaling en robuustere vrije ruimte detectie, aangezien RGB-polarimetrische camera's goedkoper zijn dan lidar en een dichte kaart leveren die direct uitgelijnd is met het RGB-beeld.

Resultaten

Vrije Ruimte Detectie

• Vergelijking: RGBP-RoadSeg (RGB + Polarimetrie) presteerde beter dan alleen RGB (RGB-RoadSeg) en alleen polarimetrie (P-RoadSeg).
• Metingen: RGBP-RoadSeg bereikte een Accuracy van 0.986 en een IoU van 0.939. Dit is vergelijkbaar met de lidar-gebaseerde SNE-RoadSeg (IoU 0.934), maar zonder de noodzaak van dure lidar-hardware.
• Kwalitatief: Polarimetrie verbeterde de detectie in gebieden met lage kleurcontrasten (bijv. een muur met dezelfde kleur als de weg), waar de oriëntatieverschillen in de AoLP een duidelijk contrast bieden.

Monoculaire Dieptebepaling

• Vergelijking: Het combineren van RGB en polarimetrie (RGBP-Depth) leverde lagere foutmarges op dan alleen RGB.
• Metingen: De beste methode (pt-RGBP-Depth) bereikte de laagste Abs Rel (0.086) en RMSE (6.109), en de hoogste nauwkeurigheid ($\delta < 1.25$ op 0.915).
• Kwalitatief: De resultaten tonen scherpere randen en betere reconstructie van structuren, vooral waar RGB-data onzekerheid vertoont.

Betekenis en Conclusie

Dit werk demonstreert dat polarimetrische imaging een waardevolle toevoeging is aan de sensorset voor autonoom rijden. Hoewel de huidige studie beperkt is tot omstandigheden met de zon hoog aan de hemel (middag), bewijst het dat lichtpolarisatie unieke informatie biedt over oppervlakteoriëntatie en materiaal die niet beschikbaar is in standaard RGB-beelden.

De belangrijkste implicaties zijn:

• Robuustheid: Betere prestaties in situaties met lage kleurcontrasten of reflecties.
• Kostenefficiëntie: Een potentieel goedkoper alternatief voor lidar voor bepaalde perceptietaken, met een dichte uitkomst die direct uitgelijnd is met visuele data.
• Toekomstperspectief: De auteurs benadrukken dat toekomstig werk zich moet richten op het uitbreiden van de modellen naar situaties waar de zon niet hoog staat (bijv. ochtend/avond), waar de polarisatie afhankelijk wordt van de rijrichting.