Real-Time Driver Emotion Detection Using Convolutional Neural Network and Computer Vision for Road Safety.

Rijden is een daad van constante, stille onderhandeling tussen een persoon en een machine. Decennialang heeft de technologie die gebouwd is om ons veilig te houden zich bijna volledig gericht op de machine en de weg. Sensoren houden de banden in de gaten, camera's scannen de rijstrookmarkeringen en radar volgt de auto voor de bestuurder. Toch blijft de meest kritieke variabele in elk voertuig de mens achter het stuur, specifiek hun interne staat. Wanneer een bestuurder boos, gestrest of vermoeid is, vervaagt hun vermogen om te concentreren en vertraagt hun reactievermogen, waardoor een routineuze rit een potentieel gevaar wordt. Hoewel er systemen bestaan om slaperigheid te detecteren door oogbewegingen of gapen te volgen, is er een groeiend besef dat het volledige spectrum van menselijke emoties een rol speelt bij de veiligheid. De vraag is niet langer alleen of een bestuurder wakker is, maar of zij emotioneel in staat is om veilig te rijden.

Een recente studie door Mayuri Salunke verkent een nieuwe manier om deze vraag te beantwoorden door een prototype-systeem te bouwen dat het gezicht van de bestuurder observeert om hun stemming te raden. Het werk beweert niet het probleem van verkeersveiligheid te hebben opgelost, noch presenteert het een afgewerkt product dat klaar is voor auto's van vandaag. In plaats daarvan biedt het een voorlopende blik op de vraag of een eenvoudige combinatie van bestaande hulpmiddelen samen in real-time kan werken. De onderzoekers construeerden een pijplijn die een videofeed neemt, het gezicht van de bestuurder vindt, en vervolgens een digitale hersenstructuur gebruikt, bekend als een convolutioneel neuraal netwerk, om te classificeren wat dat gezicht uitdrukt. Deze digitale hersenen zijn getraind op duizenden afbeeldingen om zeven basismenselijke gevoelens te herkennen: boosheid, walging, angst, blijdschap, verdriet, verrassing en een neutrale staat. Het systeem besluit vervolgens of de emotie die het ziet veilig of gevaarlijk is. In dit specifieke ontwerp worden blijdschap, verrassing en een neutrale blik als veilig beschouwd, terwijl boosheid, verdriet, angst en walging worden gemarkeerd als potentieel onveilig.

De onderzoekers begrepen echter dat een computer fouten kan maken, en dat een menselijk gezicht in een fractie van een seconde van expressie kan veranderen. Als het systeem een alarm zou laten afgaan elke keer dat het een vluchtige frons of een moment van boosheid ziet, zou het nutteloos zijn. Om dit op te lossen, bevat het prototype een regel die enkele frames negeert. Het wacht om te zien of een onveilige emotie een bepaalde tijd aanhoudt voordat er een melding wordt getriggerd. Deze aanpak behandelt de waarschuwing niet als een reactie op een enkele afbeelding, maar als een reactie op een aanhoudende staat. Het hele systeem werd gebouwd met standaard softwaretools en gedraaid op een gewone computerprocessor, zonder de noodzaak voor gespecialiseerde, dure hardware. Het doel was om te zien of een dergelijk lichtgewicht systeem het tempo van een videofeed kon bijhouden terwijl het deze complexe beslissingen neemt.

Om hun idee te testen, draaide het team de software op een korte videoclip van een persoon die voor een camera zit. De video bevatte 115 frames, en het systeem lokaliseerde het gezicht in 114 van hen. Zodra het gezicht gevonden was, analyseerde de software de expressie en legde het resultaat vast. Het systeem verwerkte de video met een snelheid van ongeveer 14,7 frames per seconde, wat iets langzamer is dan de oorspronkelijke snelheid van de video van 24,7 frames per second. In deze specifieke test voorspelde de computer dat de persoon voor het grootste deel van de clip blij was, maar het identificeerde ook momenten van verdriet en boosheid. Cruciaal was dat omdat deze "onveilige" voorspellingen slechts in zeer korte salvo's verschenen, de regel van het systeem geen alarm liet afgaan. Het waarschuwingsmechanisme werd pas geactiveerd tijdens een aparte, gecontroleerde test waarbij de onderzoekers het systeem herhaaldelijk dezelfde "verdrietige" afbeelding gedurende twee seconden voerden, wat bewees dat de timinglogica naar behoren werkte.

De resultaten van deze studie zijn strikt voorlopig. De onderzoekers merkten er zorgvuldig bij op dat zij niet wisten of de voorspellingen van de computer over de emoties van de persoon daadwerkelijk correct waren, omdat de gebruikte video geen labels bevatte om de waarheid te verifiëren. De persoon in de video reed geen auto, en de belichting en hoeken waren niet die van een echte weg. Bovendien kon het systeem vermoeidheid of slaperigheid niet direct detecteren, aangezien de specifieke digitale hersenen die zij gebruikten niet getraind waren om die staten te herkennen. Verder had het systeem moeite met de snelheid van de video, wat suggereert dat het in een echte auto mogelijk enkele frames moet overslaan om het tempo bij te houden. De auteur benadrukt dat dit werk een proof of concept is, die laat zien dat de onderdelen geassembleerd en gedraaid kunnen worden op gewone hardware, maar dat het nog geen betrouwbaar hulpmiddel is voor het echte verkeer.

Ondanks deze beperkingen demonstreert het experiment een duidelijke weg vooruit. Het toont aan dat het mogelijk is om gezichtsdetectie, emotieclassificatie en een logische regel die wacht op een aanhoudende staat, te combineren in één enkel, werkend systeem. De studie suggereert dat hoewel de technologie nog niet klaar is om menselijk oordeel of bestaande veiligheidsfuncties te vervangen, de basisarchitectuur haalbaar is. Toekomstig werk zal het systeem moeten testen op echte bestuurders in echte voertuigen, de nauwkeurigheid van de emotiedetectie moeten verbeteren en betere manieren moeten vinden om de uitdagingen van een bewegende auto aan te pakken. Voor nu staat het onderzoek als een stille stap naar een toekomst waarin auto's misschien op een dag niet alleen de weg begrijpen, maar ook de persoon die erin rijdt.