Driver Activity Detection and Classification Using Deep Learning- Based YOLO Models for Intelligent Transportation Systems

Technische Samenvatting: Detectie en Classificatie van Rijgedrag met behulp van Deep Learning-gebaseerde YOLO-modellen

Probleemstelling
Afleiding van de bestuurder en onveilig gedrag blijven wereldwijd primaire bijdragers aan verkeersongelukken, wat resulteert in aanzienlijke economische verliezen, letsel en sterfte. Hoewel Intelligent Transport Systemen (ITS) deze risico's proberen te beperken door middel van realtime monitoring, kampen bestaande oplossingen vaak met beperkingen. Bestaand onderzoek leunt veelal op geïsoleerde gedragsdetectie (bijv. alleen telefoongebruik of vermoeidheid), mist een uitgebreide multi-feature analyse (het negeren van volledige lichaamshouding of interacties met objecten) en wordt vaak geëvalueerd in offline omgevingen in plaats van in realtime video-omgevingen. Bovendien missen veel bestaande datasets de specifieke bounding-box annotaties die vereist zijn voor moderne objectdetectie-architecturen, of zijn ze gebaseerd op sensoren, wat een gat creëert in robuuste, realtime systemen voor herkenning van rijgedrag die geschikt zijn voor diverse rijomstandigheden.

Methodologie
De studie stelt een deep learning-framework voor dat gebruikmaakt van You Only Look Once (YOLO) objectdetectie-architecturen om rijactiviteiten in reële scenario's te detecteren en te classificeren.

• Dataset Constructie: Een aangepaste dataset werd ontwikkeld uit reële rijomstandigheden in de steden Debre Markos en Motta, Ethiopië. Met behulp van een Samsung Galaxy A52 smartphone en een digitale camera werden 10 videosequenties opgenomen en omgezet naar 5.422 handmatig geannoteerde frames. De dataset bevat acht verschillende activiteitsklassen: veilig rijden, drinken, eten, telefoneren, het bedienen van voertuigcomponenten, make-up/haar aanpassen, objectbeheer en praten met passagiers.
• Preprocessing en Annotatie: Afbeeldingen werden geschaald naar 1280×720 (JPG-formaat) en geannoteerd met de LabelImg tool. Annotaties werden geëxporteerd in YOLO-formaat, bestaande uit genormaliseerde bounding box coördinaten (centrum x, y, breedte, hoogte) en class ID's. De dataset werd gesplitst in 80% trainings-, 10% validatie- en 10% testsets.
• Modelarchitectuur: Vier YOLO-gebaseerde modellen werden geëvalueerd: YOLOv5s, YOLOv5m, YOLOv5l en YOLOv8n. Deze modellen werden geselecteerd vanwege hun balans tussen snelheid en nauwkeurigheid. De studie maakte gebruik van transfer learning technieken, waarbij de modellen op de aangepaste dataset werden getraind met hyperparameters waaronder een batchgrootte van 10, 5 epochs, een beeldgrootte van 640 en een leersnelheid van 0.001.
• Evaluatiemetrieken: Prestaties werden beoordeeld met behulp van standaard objectdetectie metrieken: Precisie, Recall, F1-score en Mean Average Precision (mAP) bij een Intersection over Union (IoU) drempelwaarde van 0.5. Trainings- en validatieverliescurves werden eveneens geanalyseerd om convergentie te monitoren.

Belangrijkste Bijdragen
Het artikel schetst vijf primaire bijdragen:

1. Geïntegreerd Detectiemodel: Het ontwerp van een model dat zowel bestuurdersacties als objectbehandeling incorporeert, waardoor het verder gaat dan geïsoleerde feature-detectie.
2. Vergelijkend Framework: Een systematische evaluatie die state-of-the-art YOLOv5 varianten vergelijkt met YOLOv8 voor de herkenning van rijactiviteiten.
3. Verfijnde Activiteitsklassen: De introductie van een compacte, goed gedefinieerde set van acht activiteitsklassen om de nauwkeurigheid en interpreteerbaarheid van gedetecteerd gedrag te verbeteren.
4. Real-time Monitoringsysteem: De ontwikkeling van een op een vaste camera gebaseerd systeem dat in staat is om bestuurdersactiviteiten en de zichtbaarheid van passagiers in realtime te observeren.
5. Prestatievalidatie: Demonstratie van verbeterde detectie-nauwkeurigheid en classificatiebetrouwbaarheid vergeleken met bestaande gerelateerde studies.

Experimentele Resultaten
Experimenten werden uitgevoerd met behulp van Google Colab met GPU-acceleratie (NVIDIA Tesla K80). De resultaten wezen op een duidelijke correlatie tussen modelcomplexiteit en detectieprestaties:

• YOLOv5s: Behaalde een mAP van 90.0%.
• YOLOv5m: Behaalde een mAP van 92.5%.
• YOLOv5l: Behaalde een mAP van 95.0%.
• YOLOv8n: Behaalde de hoogste prestatie met een mAP van 96.3%.

Hoewel YOLOv8n een superieure nauwkeurigheid demonstreerde, vereiste het de langste trainingstijd (3.012 uur) en resulteerde het in het grootste modelgewicht (102.4 MB). Omgekeerd bood YOLOv5s de snelste training, maar met een lagere nauwkeurigheid. De trainings- en validatieverliescurves bevestigden een stabiele convergentie voor alle modellen.

Betekenis en Claims
Het artikel beweert dat geavanceerde YOLO-architecturen, in het bijzonder YOLOv8, nauwkeurige en efficiënte oplossingen bieden voor realtime herkenning van rijactiviteiten. De studie stelt dat het voorgestelde framework significant bijdraagt aan de verbetering van Intelligent Transport Systemen en verkeersveiligheid door het mogelijk te maken van continue, geautomatiseerde monitoring van risicovol rijgedrag. De auteurs concluderen dat de voorgestelde methode andere benaderingen overtreft in termen van detectienauwkeurigheid en betrouwbaarheid, waarmee het gebruik van deep learning-gebaseerde objectdetectie voor monitoring in de cabine wordt gevalideerd.

Toekomstige Richtingen
De auteurs suggereren bescheiden dat toekomstig werk zich moet richten op het optimaliseren van YOLO-architecturen en het verkennen van aanvullende hyperparameters. Ze bevelen aan om de dataset uit te breiden met meer diverse gedragingen en het aantal activiteitsklassen te vergroten om de generalisatie te verbeteren. Daarnaast zou toekomstig onderzoek rekening moeten houden met beperkingen met betrekking tot detectie bij nacht en implementatie in de echte wereld in complexe verkeersomgevingen om de robuustheid van het systeem verder te versterken.