CSNR and JMIM Based Spectral Band Selection for Reducing Metamerism in Urban Driving

Titel: CSNR en JMIM-gebaseerde spectrale bandselectie voor het verminderen van metamerisme in stedelijk rijden

1. Het Probleem: Metamerisme en VRU-veiligheid

Autonome voertuigen (AV) en geavanceerde bestuurdersassistentiesystemen (ADAS) vertrouwen voornamelijk op RGB-camera's voor objectdetectie. Een fundamentele beperking hiervan is metamerisme: een fenomeen waarbij verschillende materialen (bijvoorbeeld kleding van een voetganger en asfalt) onder specifieke lichtomstandigheden dezelfde kleur lijken te hebben in RGB-afbeeldingen, hoewel ze spectrally verschillend zijn.

• Gevolg: Dit creëert visuele ambiguïteit, waardoor kwetsbare weggebruikers (VRU's) zoals voetgangers en fietsers onzichtbaar kunnen worden voor het systeem, wat leidt tot veiligheidsrisico's.
• Huidige limieten: Hoewel LiDAR en radar waardevolle aanvullingen zijn, missen ze kleurensensitiviteit of hebben ze een lage resolutie voor textuurdetectie. Hyperspectrale beeldvorming (HSI) biedt een oplossing door duizenden smalle spectrale banden te capturen, maar de hoge dimensionaliteit en redundantie van HSI-data maken real-time verwerking in voertuigen onhaalbaar.

2. Methodologie

De auteurs stellen een geavanceerde strategie voor spectrale bandselectie voor om de meest informatieve banden te identificeren uit een HSI-cube (450–950 nm, 128 banden), met als doel een minimale set banden te vinden die metamerisme oplost en visuele kwaliteit behoudt. De methode combineert drie criteria:

1. Informatiemaximalisatie (JMIM):
   • Gebruik van Joint Mutual Information Maximization (JMIM) om banden te selecteren die de maximale informatie delen met de doelklasse (VRU vs. achtergrond) terwijl redundantie met reeds geselecteerde banden wordt geminimaliseerd.
2. Redundantieanalyse (Inter-band correlatie):
   • Berekening van de Pearson-correlatiecoëfficiënt tussen banden om sterk gecorreleerde (redundante) banden te elimineren en spectrale diversiteit te garanderen.
3. Perceptueel Contrast (CSNR):
   • Introductie van een nieuwe toepassing van Contrast Signal-to-Noise Ratio (CSNR). Deze metric evalueert het vermogen van een band om een sterk en stabiel contrastsignaal te genereren tussen kritieke materialen (bijv. kleding vs. asfalt), wat essentieel is voor visuele interpreteerbaarheid.

Selectieproces:
De auteurs gebruiken een multi-criteria benadering waarbij ze banden selecteren die hoog scoren op JMIM, lage correlatie vertonen met andere kandidaten, en een hoge CSNR-waarde hebben.

• Geselecteerde banden: 497 nm (blauw-groen), 607 nm (rood) en 895 nm (NIR).
• Pseudo-kleur reconstructie: De NIR-band (895 nm) wordt gemapt naar het blauwe kanaal in de afbeelding. Omdat veel kledingstoffen hoog reflecteren in het NIR-spectrum maar donker lijken in RGB, creëert deze mapping een kunstmatige blauwe kleur voor VRU's, waardoor ze visueel sterk contrasteren met de achtergrond.

3. Belangrijkste Bijdragen

1. Nieuwe Bandselectiestrategie: Een geïntegreerde framework die JMIM, correlatieanalyse en CSNR combineert om informatieve banden te vinden die zowel statistisch als visueel optimaal zijn.
2. Rol van NIR: Het aantonen dat de Near-Infrared (NIR) regio (specifiek rond 895 nm) cruciaal is voor het oplossen van metamerisme en het verbeteren van de scheiding tussen VRU en achtergrond.
3. Validatie met H-City Dataset: Gebruik van de Hyperspectral City V2 (H-City) dataset met co-geregistreerde RGB- en HSI-afbeeldingen voor een eerlijke vergelijking.
4. Data-efficiëntie: Het reduceren van de data van 128 banden naar slechts 3 banden, wat een datareductie van 97,6% oplevert, waardoor real-time verwerking haalbaar wordt.

4. Resultaten

De prestaties van de geselecteerde 3-band HSI-composieten werden vergeleken met standaard RGB-afbeeldingen op basis van dissimilariteitsmetrieken en perceptuele metrics:

• Verbetering in Dissimilariteit: De HSI-composieten toonden aanzienlijk betere scheiding tussen VRU en asfalt:
  • Euclidische afstand (D2): +70,24% verbetering.
  • Spectral Angle Mapper (SAM): +528,46% verbetering.
  • Multivariate T²-test: +1206,83% verbetering.
  • Perceptueel verschil (CIE ∆E): +246,62% verbetering.
• Visuele Kwaliteit: In scenario's waar VRU's in RGB-afbeeldingen onzichtbaar waren (metamerisme), waren ze duidelijk zichtbaar in de pseudo-kleur HSI-afbeeldingen dankzij de NIR-mapping.
• Generaliseerbaarheid: De methode bleef effectief voor andere wegobjecten zoals verkeerslichten en wegmarkeringen. Hoewel RGB soms hogere scores gaf voor reeds goed zichtbare objecten, behielden de HSI-composieten voldoende discriminatievermogen zonder metamerisme-risico.

5. Betekenis en Conclusie

Dit onderzoek bewijst dat een strategisch geselecteerde set van slechts drie spectrale banden, inclusief een NIR-band, de kritieke beperking van metamerisme in stedelijke rijomgevingen kan oplossen.

• Veiligheid: Het biedt een robuuste basis voor het verbeteren van de detectie van kwetsbare weggebruikers, wat direct bijdraagt aan de veiligheid in ADAS en autonome rijsystemen.
• Praktische Toepasbaarheid: Door de datareductie van 97,6% wordt hyperspectrale beeldvorming computatieel haalbaar voor real-time toepassingen in voertuigen, zonder de noodzaak van zware verwerking van volledige HSI-cubes.
• Toekomst: De studie legt de basis voor verdere integratie met state-of-the-art objectdetectiemodellen en validatie op bredere datasets.

Kortom, de paper demonstreert dat het combineren van informatietheorie met perceptuele kwaliteitsmetrieken (CSNR) een krachtige route is om hyperspectrale technologie bruikbaar te maken voor de toekomst van veilig autonoom rijden.