Classification of Driver Behaviour Using External Observation Techniques for Autonomous Vehicles

Deze studie introduceert een visiegebaseerd systeem dat met behulp van computer vision en objectdetectie het rijgedrag van niet-verbonden voertuigen analyseert om afleiding en vermoeidheid te detecteren en zo bijdraagt aan het verminderen van verkeersongevallen.

De kern

Stel je voor dat je op de snelweg rijdt en je ziet een auto die een beetje "slordig" rijdt. Hij zwaait van links naar rechts, alsof de bestuurder misschien aan het bellen is, een appje stuurt of zelfs een beetje in de war is. Normaal gesproken zou jij als andere bestuurder alleen maar hopen dat die auto niet tegen jou aan rijdt. Maar wat als je auto een slimme "bliksem-oog" had die dit gedrag direct herkent en je waarschuwt?

Dat is precies wat Ian Nell en Shane Gilroy van de Atlantic Technological University in Ierland hebben bedacht. Ze hebben een systeem ontwikkeld dat buiten de auto kijkt om te zien of een bestuurder gevaarlijk rijdt, zonder dat die auto zelf slim hoeft te zijn.

Hier is hoe het werkt, vertaald in simpele taal:

1. De "Buitenstaander" die meekijkt

Meestal kijken slimme auto's alleen naar wat er in hun eigen auto gebeurt (zoals de ogen van de bestuurder). Maar veel auto's op de weg zijn nog niet zo slim en hebben geen verbinding met elkaar.

Het systeem van Nell en Gilroy werkt als een slimme observator aan de kant van de weg. Het kijkt niet naar de bestuurder zelf (want dat kan je van buitenaf niet goed zien), maar kijkt naar hoe de auto rijdt.

• De Metafoor: Stel je voor dat je een danser ziet. Als de danser perfect in het ritme blijft, is alles goed. Maar als de danser ineens begint te wankelen, te struikelen of uit de rij valt, weet je: "Die persoon is niet helemaal bij de les." Het systeem doet precies hetzelfde met auto's.

2. De Twee Soorten "Dansfouten"

Het systeem zoekt naar twee specifieke soorten gedrag dat wijst op gevaar:

• De "Distractie-Dans" (Afgeleid rijden):
  Stel je voor dat een auto langzaam over de weg slingeren, alsof de bestuurder aan het zoeken is naar zijn sleutels of een appje leest. Het systeem meet hoe ver de auto van het midden van de rijbaan afwijkt. Als de auto te ver de kant op duwt of te veel zwaait, gaat er een alarm af: "Let op, die bestuurder is afgeleid!"
• De "Drank-Of-Moe-Dans" (Gestoord rijden):
  Dit is het gevaarlijkste. Een dronken of vermoeide bestuurder rijdt vaak als een slingerende slang: eerst een beetje naar links, dan een beetje naar rechts, dan weer links. Het systeem telt deze schokkerige bewegingen. Als de auto drie keer snel van richting verandert, denkt het systeem: "Oh oh, deze bestuurder is niet fit om te rijden."

3. Hoe ziet het eruit? (De Technologie)

Het systeem gebruikt een gewone dashcam (zoals die in veel auto's zit) en een heel slim computerprogramma.

• De Camera: Kijkt naar de weg en de auto's eromheen.
• De "Oog" (YOLO): Dit is een slimme software die auto's herkent, net zoals je een hond of een kat herkent op een foto.
• De "Regels" (Rijbanen): Het programma tekent virtuele lijnen op het scherm om te zien waar de rijbaan is. Zelfs als de lijnen op de weg vervaagd zijn, probeert het de weg te raden.
• De "Rekenaar": Deze meet elke seconde hoe ver de auto van het midden zit en of hij schokkerig beweegt.

4. Wat hebben ze ontdekt?

Ze hebben het systeem getest in de echte wereld, op snelwegen en kleine straatjes, bij daglicht en in de schemering.

• Het werkt goed: Het kon de "slordige" en de "schokkerige" auto's bijna altijd herkennen.
• Het is slim: Het maakt onderscheid tussen een auto die gewoon een bocht neemt en een auto die gevaarlijk slingert.
• De beperkingen: Net als een mens kan het systeem soms verward raken als het erg regent, als er mist is, of als de weglijnen helemaal weggesleten zijn. Ook als de weg heel hobbelig is, kan het denken dat een auto "schokkerig" rijdt, terwijl het gewoon de weg is.

5. Waarom is dit belangrijk?

We zitten in een overgangsperiode. Er rijden nog veel "oude" auto's (die niet slim zijn) naast nieuwe, zelfrijdende auto's.

• De Grootse Visie: Stel je voor dat elke auto op de weg een "wachtmeester" is. Als jij ziet dat de auto voor je gevaarlijk rijdt, kan jouw auto je waarschuwen: "Pas op, die auto voor je is afgeleid, blijf op afstand!"
• Dit hoeft geen dure, nieuwe technologie te zijn die in elke auto moet worden geïnstalleerd. Het kan werken met de camera's die we al hebben.

Kortom:
Dit onderzoek is als het geven van een superkracht aan onze ogen. Het helpt ons om gevaar op de weg te zien voordat het te laat is, door te kijken naar hoe auto's bewegen in plaats van naar wie er achter het stuur zit. Het is een stap in de richting van een veiligere wereld, waar slimme auto's en gewone auto's samen veilig kunnen rijden.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Classification of Driver Behaviour Using External Observation Techniques for Autonomous Vehicles" in het Nederlands.

Probleemstelling

Het paper adresseert het aanhoudende wereldwijde probleem van verkeersongevallen, waarbij menselijke fouten zoals afgeleid rijden (distraction) en rijden onder invloed (impairment) de belangrijkste oorzaken zijn. Hoewel er grote vooruitgang is geboekt met Intelligent Transport Systems (ITS) en Advanced Driver Assistance Systems (ADAS), blijven veel voertuigen op de openbare weg beperkt tot SAE-niveaus 0 tot 2. Deze voertuigen missen vaak geavanceerde connectiviteitsfuncties zoals Vehicle-to-Vehicle (V2V) communicatie.

Dit creëert een uitdaging voor autonome voertuigen (AV's) om onveilig rijgedrag van niet-verbonden voertuigen in gemengd verkeer te detecteren en te reageren. Bestaande systemen vertrouwen vaak op in-voertuig sensoren (zoals infraroodcamera's of stuurwiel-sensoren) of smartphone-gegevens, wat niet schaalbaar is voor externe observatie. Er is dus behoefte aan een systeem dat rijgedrag kan analyseren op basis uitsluitend van extern waarneembare patronen, zonder afhankelijk te zijn van directe communicatie tussen voertuigen.

Methodologie

De auteurs stellen een visie-gebaseerd (computer vision) raamwerk voor dat rijgedrag classificeert door externe observatie. Het systeem is ontworpen om onveilige patronen te detecteren via een monochromatische camera (Garmin 55 dashcam) gemonteerd op het "ego-voertuig".

De kerncomponenten van de methodologie zijn:

1. Objectdetectie (YOLOv8n):

   • Het YOLOv8n-model (You Only Look Once) wordt gebruikt voor real-time detectie van voertuigen en andere weggebruikers.
   • Het model is getraind op de Microsoft COCO-dataset en gekozen vanwege zijn lichte architectuur, hoge inferentiesnelheid (≈ 2–4 ms/frame) en competitieve nauwkeurigheid.

2. Lijnherkenning (Lane Detection):

   • Een multi-stap beeldverwerkingspijplijn wordt gebruikt om rijstrookmarkeringen te detecteren:
     • Conversie naar grijswaarden.
     • Gaussian Blurring (ruisreductie).
     • Adaptieve drempelwaarde (voor variabele lichtomstandigheden).
     • Canny Edge Detection.
   • RANSAC-regressie wordt toegepast om polynoomcurven te fitten aan de gedetecteerde lijnen, waardoor de rijstrookgrenzen en het midden van de rijstrook nauwkeurig worden geschat, zelfs bij ruis.

3. Gedragsanalyse en Classificatie:
   Het systeem analyseert twee hoofdindicatoren voor onveilig gedrag:

   • Afgeleid Rijden (Distracted Driving): Gedetecteerd op basis van laterale verplaatsing. Als de afwijking van het voertuigcentrum ten opzichte van het rijstrookmidden een drempelwaarde overschrijdt (bijv. >40 pixels) en de gemiddelde laterale beweging een bepaalde waarde passeert (bijv. >0,3 pixels), wordt een alarm geactiveerd.
   • Rijden onder Invloed (Impaired Driving): Gedetecteerd op basis van oscillerend gedrag. Het systeem telt het aantal tekenveranderingen (sign changes) in de laterale beweging. Drie of meer tekenveranderingen (frequent heen-en-weer sturen) leiden tot een "Impaired Driver" alarm.

4. Data Logging:
   Alle gedetecteerde objecten worden gelogd in CSV-bestanden met frame-nummers, object-ID, klasse, laterale verplaatsing, afwijking van de rijstrook en geactiveerde alarmen.

Belangrijkste Bijdragen

• Externe Observatie zonder V2X: Het paper introduceert een systeem dat onveilig gedrag kan detecteren bij voertuigen die geen communicatie-interfaces hebben, wat cruciaal is voor de overgangsperiode naar volledig autonoom rijden.
• Kosteneffectieve Implementatie: Het gebruik van een enkele monochromatische camera en een lichtgewicht YOLO-model maakt de oplossing betaalbaar en toepasbaar op niet-autonome voertuigen.
• Robuustheid in Gemengd Verkeer: Het raamwerk biedt een schaalbare oplossing voor hazard-detectie in omgevingen waar menselijk bestuur en autonome systemen naast elkaar bestaan.
• Real-time Feedback: Het systeem biedt visuele feedback (bounding boxes, kleurcodering voor ernst) en logbestanden voor directe analyse van rijgedrag.

Resultaten

De systematische evaluatie vond plaats op diverse video-datasets met gecontroleerde simulaties en real-world scenario's (snelwegen, lokale wegen, achterstraten) onder verschillende lichtomstandigheden.

• Detectie van Afgeleid Rijden: Het systeem slaagde er consistent in om voertuigen te flaggen die significant afweken van de rijstrook. In gecontroleerde tests werd een alarm geactiveerd bij een afwijking van >40 pixels. De CSV-logs bevestigden een hoge correlatie tussen visuele indicatoren en de gemeten metrics.
• Detectie van Rijden onder Invloed: Het systeem detecteerde oscillaties betrouwbaar. In simulaties werd een alarm geactiveerd na drie tekenveranderingen in de laterale beweging. De visuele weergave (kleurverandering van blauw naar groen, geel en tenslotte rood) illustreerde de escalatie van de dreiging.
• Uitdagingen en Beperkingen:
  • De nauwkeurigheid nam af bij vervaagde rijstrookmarkeringen en complexe weggeometrieën.
  • Adverse weersomstandigheden (regen, mist) en oneffen wegdek (verkeersdrempels, gaten) leidden soms tot vals-positieven (misclassificatie van weg-gerelateerde bewegingen als rijgedragsfouten).
  • Real-time prestaties daalden bij het verwerken van scènes met meerdere bewegende objecten, wat hardware-versnelling vereist.

Betekenis en Toekomstperspectief

Dit onderzoek vormt een belangrijke stap in de ontwikkeling van veilige, intelligente transportsystemen. Door zich te richten op extern waarneembare patronen, overbrugt het de kloof tussen huidige niet-verbonden voertuigen en de toekomstige autonome infrastructuur.

De significante bijdrage ligt in het bewijzen dat computer vision, gecombineerd met geavanceerde algoritmen voor lijnherkenning en objecttracking, een haalbare alternatieve methode is voor rijgedragsmonitoring wanneer V2X-communicatie ontbreekt. Voor de toekomst plotten de auteurs de integratie van multi-modale sensoren (LiDAR, RADAR) om de robuustheid bij slecht weer te verbeteren, en de uitbreiding van datasets om de algoritmen te trainen op een breder scala aan rijscenario's en culturele rijnormen. Dit systeem heeft potentie om de veiligheid in de overgangsfase naar volledig autonoom rijden aanzienlijk te verhogen.