Robust Multimodal Sentiment Recognition Using Facial Expressions, Heart Rate Variability and Speech Signals
Dit artikel stelt een robuust multimodaal deep learning-framework voor dat gezichtsuitdrukkingen, hartslagvariabiliteit en spraaksignalen fuseert met behulp van CNN's, BiLSTMs en ECAPA-TDNN's met een self-organizing map voor featurefusie, waarbij een nauwkeurigheid van 98,6% wordt bereikt bij het herkennen van zeven emotionele staten en hiermee de unimodale baselines aanzienlijk overtreft.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de uitgestrekte, meeslepende werelden van moderne videogames zijn spelers niet langer alleen maar knoppen aan het indrukken; ze beleven intense emotionele reizen. Jarenlang hebben gameontwerpers vertrouwd op enquêtes of eenvoudige statistieken om te raden hoe een speler zich voelt, maar deze methoden missen vaak het doel en leggen slechts een momentopname vast nadat de ervaring voorbij is. Om de menselijke ervaring echt in realtime te begrijpen, hebben wetenschappers zich gericht op een veld dat bekend staat als affective computing, dat probeert machines te leren menselijke gevoelens te herkennen. Dit streven berust op het idee dat emoties niet slechts één ding zijn; het zijn complexe signalen die naar buiten lekken via ons gezicht, onze stem en zelfs ons lichaam. Een glimlach kan gefingeerd zijn, maar een plotselinge piek in de hartslag of een krakende stem onthult vaak de waarheid. Door deze verschillende stromen informatie te combineren, hopen onderzoekers systemen te bouwen die kunnen zien, horen en voelen wat een persoon ervaart terwijl het gebeurt, wat een veel duidelijker beeld geeft van menselijke emotie dan welke enkele methode dan ook alleen zou kunnen bieden.
Een team van onderzoekers heeft dit concept genomen en direct toegepast op de chaotische, snelle omgeving van gaming. Ze ontwikkelden een nieuw systeem dat ontworpen is om de emotionele staat van een speler te lezen door tegelijkertijd naar hun gezicht te kijken, naar hun stem te luisteren en hun hartslag te monitoren. Het team besefte dat het vertrouwen op slechts één van deze signalen riskant is. Een helder scherm kan een gezichtsuitdrukking wegwassen, achtergrondgeluid kan een kreet overstemmen, en een sensor kan een hartslag verkeerd interpreteren. Om dit op te lossen, bouwden ze een framework dat werkt als een driepoot; als één poot wankelt, houden de andere het stabiel. Ze trainden kunstmatige intelligentiemodellen om gezichtsbewegingen te analyseren met behulp van een type netwerk dat uitblinkt in het herkennen van patronen in afbeeldingen, om het ritme en de toon van spraak te interpreteren met een gespecialiseerde audioverwerker, en om de subtiele schommelingen in de hartslag te volgen die stress of opwinding signaleren. Deze drie afzonderlijke datastromen werden vervolgens samengevoegd tot één samenhangend begrip van de stemming van de speler.
De onderzoekers testten hun creatie op een enorme collectie gegevens, inclusief duizenden afbeeldingen, uren aan opgenomen stemmen en uitgebreide hartslaglogs van spelers die verschillende soorten games speelden. Ze richtten zich op zeven kernemotionele staten: vreugde, verdriet, woede, angst, afkeer, verbazing en een neutrale staat. Toen ze hun experimenten uitvoerden, waren de resultaten opmerkelijk. Door alle drie de signalen te fuseren, identificeerde het systeem de emotie van de speler in 98,6 procent van de gevallen. Deze prestatie was aanzienlijk hoger dan wanneer het systeem alleen het gezicht, alleen de stem of alleen de hartslag gebruikte. Het systeem bleek ook opmerkelijk betrouwbaar te zijn; het behield een hoge nauwkeurigheid, zelfs wanneer de audio ruisig was of de verlichting slecht was, omstandigheden die vaak single-signaal-systemen in verwarring brengen. Sterker nog, het systeem was zo effectief in het onderscheiden van verschillende gevoelens dat het het verschil kon zien tussen subtiele emoties zoals angst en verbazing met bijna perfecte consistentie.
Wat deze prestatie bijzonder opmerkelijk maakt, is hoe het systeem omgaat met de rommelige realiteit van het echte leven. In een typische gamesessie kan een speler achterover leunen van de camera, over een harde explosie heen schreeuwen, of een verhoogde hartslag hebben door een jump scare in plaats van door woede. Een systeem dat slechts naar één van deze aanwijzingen kijkt, kan in de war raken. Omdat dit nieuwe framework echter naar alle drie de signalen tegelijkertijd luistert, kan het ze tegen elkaar controleren. Als het gezicht verborgen is, maar de stem trilt en de hartslag stijgt, kan het systeem nog steeds met vertrouwen angst identificeren. De onderzoekers ontdekten dat deze aanpak het systeem in staat stelde om zeldzame en moeilijke emoties even goed te detecteren als veelvoorkomende emoties, waardoor er geen enkel gevoel werd over het hoofd gezien. Het hele proces vindt plaats in minder dan een tiende van een seconde, snel genoeg om het snelle tempo van een videogame bij te houden zonder deze te vertragen.
Dit werk suggereert dat de toekomst van interactieve technologie ligt in systemen die zich in realtime aan de gebruiker kunnen aanpassen. De onderzoekers hebben aangetoond dat het door het combineren van visuele, auditieve en fysiologische gegevens mogelijk is om een robuuste emotiedetector te creëren die zelfs in uitdagende omgevingen werkt. Hoewel de studie specifiek gericht was op gaming, reiken de implicaties naar elke situatie waarin het begrijpen van menselijke emotie cruciaal is, van mentale gezondheidsmonitoring tot meer intuïtieve mens-computerinteracties. Het team heeft aangetoond dat wanneer we stoppen met het bekijken van emoties door een enkele lens en in plaats daarvan het volledige spectrum van menselijke expressie samenbrengen, we machines kunnen bouwen die ons veel beter begrijpen dan ooit tevoren.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.