InCarEmo: A Multimodal Dataset for In-Cabin Emotion Recognition and Driver State Monitoring
Het artikel introduceert InCarEmo, een uitgebreide multimodale dataset die RGB, infrarood, audio en dialoogtekst uit gescripteerde in-cabinescenario's integreert om de herkenning van emoties van bestuurders, vermoeidheidsdetectie en afleidingsmonitoring te bevorderen, terwijl de beperkingen van bestaande visuele datasets wordt geadresseerd.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een auto bestuurt, maar in plaats van alleen een stuur en pedalen, de auto een persoonlijkheid begint te krijgen. De auto wil weten of je gelukkig, moe of afgeleid bent, zodat hij je kan helpen om veilig te blijven. Dit is de wereld van "affective computing" — een chique term voor het aanleren aan computers om menselijke emoties te begrijpen. Denk erbij als een superintelligente co-piloot die niet alleen de weg leest, maar ook jou leest. Lange tijd hebben wetenschappers geprobeerd deze co-piloot te bouwen door naar je gezicht te kijken of naar je stem te luisteren. Maar er is een probleem: de meeste trainingsdata die ze hebben gebruikt, is als een zwart-witfilm. Het laat alleen het gezicht zien of alleen de stem horen, en het negeert vaak het feit dat wanneer we rijden, we meestal met iemand of iets anders aan het praten zijn. Het is alsof je probeert een grap te begrijpen door alleen naar de mond van de persoon te kijken, zonder de clou te horen. Om een echt veilige en empathische auto te maken, moeten we het hele plaatje begrijpen: het gezicht, de stem, de woorden en zelfs de stemming van het gesprek.
Maak kennis met InCarEmo, een nieuw project van onderzoekers van het Harbin Institute of Technology en SERES, dat aanvoelt alsoals je de computer van de auto een full-color film met surround sound geeft van het echte leven tijdens het rijden. Het team realiseerde zich dat bestaande datasets een cruciaal puzzelstukje misten: het werkelijke gesprek dat in de auto plaatsvindt. Ze hebben een enorme nieuwe bibliotheek met gegevens gebouwd genaamd InCarEmo, die bestuurders vastlegt die niet alleen naar de weg kijken, maar ook praten over het verkeer, trips plannen of over de auto zelf discussiëren. Ze namen deze momenten op met high-definition camera's (zowel regulier als infrarood, wat in het donker kan zien), hoogwaardige microfoons en zetten zelfs de exacte gesproken woorden uit in tekst.
Het artikel introduceert deze dataset als een toolkit voor drie hoofdtaken: achterhalen welke emotie een bestuurder voelt (zoals boosheid of angst), ontdekken of iemand te moe wordt om te rijden, en merken of iemand wordt afgeleid door een telefoon of een drankje. Om te testen of deze nieuwe data werkt, bouwden de onderzoekers een lichtgewicht AI-model genaamd CAMEL. Ze ontdekten dat wanneer de AI alle informatie samen gebruikte — zicht, geluid en woorden — het veel beter was in het raden van de staat van de bestuurder dan wanneer het slechts één zintuig gebruikte. Bijvoorbeeld, in situaties met weinig licht waarin een camera het moeilijk kan hebben, hielpen de audio- en tekst aanwijzingen de AI om accuraat te blijven. De studie creëerde ook een speciale Engelse versie van de data om onderzoekers uit verschillende landen samen te laten werken, hoewel ze opmerkten dat het vertalen van emoties tussen talen lastig is. Uiteindelijk suggereert het artikel dat door AI een rijker, realistischer beeld van de wereld van de bestuurder te geven, we auto's kunnen bouwen die niet alleen slim zijn, maar ook echt begripvol en veiliger voor iedereen op de weg.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.