Automatic Labelling for Low-Light Pedestrian Detection

Probleemstelling

Het detecteren van voetgangers in RGB-beelden (zichtbaar licht) is cruciaal voor de veiligheid in autonome voertuigen en geavanceerde bestuurdersassistentiesystemen (ADAS). Een grote uitdaging is echter de prestatie onder zwakke lichtomstandigheden (nacht/donker).

• Beperkingen: Bestaande methoden en datasets voor voetgangersdetectie zijn vaak beperkt tot daglicht. In het donker sufferen RGB-camera's aan lage contrasten, ruis en verlies van kenmerken.
• Data-tekort: Het ontbreken van grote, handmatig gelabelde datasets voor nachtelijke situaties is een knelpunt. Handmatige annotatie is tijdrovend, duur en vatbaar voor fouten, vooral wanneer voetgangers slecht zichtbaar zijn.
• Sensor-afhankelijkheid: Hoewel infrarood (IR) camera's beter presteren in het donker, zijn de meeste productievoertuigen uitgerust met RGB-camera's. Er is dus behoefte aan methoden om robuuste RGB-modellen te trainen zonder handmatige inspanning.

Methodologie

De auteurs stellen een geautomatiseerd labelling-pipeline voor die gebruikmaakt van het paar IR-RGB-beelden om labels voor RGB-detectie te genereren zonder menselijke tussenkomst. De pipeline bestaat uit drie hoofdstappen:

1. IR-detectie:

   • Omdat infraroodstraling van voetgangers weinig afhankelijk is van zichtbaar licht, worden voetgangers in IR-beelden ook in het donker goed zichtbaar (vaak als warme objecten tegen een koelere achtergrond).
   • Een IR-detectiemodel wordt getraind op daglicht-IR-data. Dit model wordt vervolgens gebruikt om voetgangers te detecteren in ongelabelde IR-beelden van nachtelijke scenario's.
   • Drie architecturen werden getest: YOLOv11, Faster RCNN en DETR (RF-DETR).

2. Label-overdracht (Label Transfer):

   • De gedetecteerde bboxes uit het IR-beeld worden direct overgebracht naar het corresponderende RGB-beeld.
   • Dit is mogelijk omdat de dataset (KAIST) gebruikmaakt van een beam-splitter-setup waarbij de optische middelpunten van de IR- en RGB-camera's perfect zijn uitgelijnd en de frames zijn gecorrigeerd (rectified). Hierdoor is een complexe projectie niet nodig; de coördinaten zijn direct overdraagbaar.

3. Training van het RGB-detectiemodel:

   • De gegenereerde "autolabels" (oorspronkelijk uit IR) worden gebruikt als ground truth om nieuwe objectdetectiemodellen te trainen voor RGB-beelden in zwakke lichtomstandigheden.
   • Het eindresultaat is een model dat alleen RGB-beelden nodig heeft voor inferentie, maar is getraind op data die automatisch is gegenereerd via IR.

Dataset: De research is uitgevoerd op het KAIST Multi-spectral Pedestrian Detection Benchmark dataset. Er zijn ongeveer 91.8k samples gebruikt (exclusief fietsers en groepen), verdeeld over dag- en nachtsituaties.

Belangrijkste Bijdragen

• Volledig geautomatiseerde pipeline: De eerste implementatie van een volledig geautomatiseerd proces voor het labellen van nachtelijke RGB-voetgangersdata via IR, wat menselijke inspanning volledig elimineert.
• Prestatie-overtreffing: Het paper toont aan dat modellen getraind op deze automatisch gegenereerde labels vaak beter presteren dan modellen getraind op de menselijk gegenereerde ground truth van de KAIST-dataset.
• Schalbaarheid: De methode maakt het mogelijk om enorme datasets te verzamelen en te labelen voor het trainen van robuuste nachtdetectiemodellen, wat essentieel is voor de ontwikkeling van veiligere autonome systemen.

Resultaten

De evaluatie omvatte drie objectdetectiemodellen (YOLO, RCNN, DETR) getraind op zowel de gegenereerde autolabels als de originele ground truth labels.

• Prestatiemetingen: De modellen getraind op autolabels overtroffen de modellen getraind op ground truth in 5 van de 6 gevallen voor de metrics mAP@50 en LAMR (Log Average Miss Rate), en in alle gevallen voor mAP@50-95.
• Beste Architectuur: Het DETR-model, getraind op autolabels gegenereerd met een betrouwbaarheidsthereshold van 0.25, behaalde de beste algehele prestaties.
• Invloed van de drempelwaarde: Het verlagen van de confidencedrempel van 0.5 naar 0.25 resulteerde in meer gegenereerde labels en over het algemeen betere prestaties voor de RGB-modellen. Dit suggereert dat het meenemen van "moeilijkere" of minder zeker gedetecteerde voetgangers (die door de IR-detectie werden gevonden maar misschien minder duidelijk zijn) gunstig is voor het trainen van het RGB-model.
• Filtering van moeilijke gevallen: Een interessante bevinding is dat de autolabels bepaalde uiterst moeilijke gevallen (bijvoorbeeld sterk verduisterde voetgangers) automatisch filteren omdat de IR-detectie ze niet ziet. In de handmatige ground truth staan deze soms wel, maar missen ze visuele cues, wat het trainen van het model kan verstoren. De autolabels fungeren hierdoor als een vorm van "hard filtering".

Betekenis en Toekomstperspectief

• Kostenreductie: De methode lost het probleem van de hoge kosten en tijdsinvestering van handmatige annotatie op voor nachtelijke scenario's.
• Praktische toepasbaarheid: Hoewel de datacollectie een IR-camera vereist (wat duur en complex kan zijn in kalibratie), zijn de getrainde modellen volledig gebaseerd op RGB. Dit betekent dat ze kunnen worden ingezet in voertuigen die standaard uitgerust zijn met RGB-camera's.
• Uitbreidbaarheid: De aanpak kan worden toegepast op andere taken in zwakke lichtomstandigheden, zoals pose-schatting (pose estimation) of het voorspellen van de intentie van voetgangers.
• Beperkingen: De huidige resultaten tonen nog steeds een recall van maximaal 0.369, wat aangeeft dat nachtelijke voetgangersdetectie op basis van alleen RGB nog steeds een zeer moeilijke taak is en dat verdere verbeteringen nodig zijn, mogelijk door grotere datasets en geavanceerdere IR-detectiemethoden.

Kortom, dit paper bewijst dat het gebruik van infrarood als "leraar" voor het automatisch labellen van RGB-data een veelbelovende route is om de veiligheid van voetgangers in het donker te verbeteren zonder de afhankelijkheid van menselijke annotatie.