💻 computer science

Combining Facial Videos and Biosignals for Stress Estimation During Driving

Dit artikel stelt een multimodaal raamwerk voor stressschatting tijdens het rijden voor dat gezichtsvideo-kenmerken op basis van 3D Morphable Models integreert met fysiologische signalen met behulp van cross-modale aandacht, wat de nauwkeurigheid van stressdetectie en de AUROC aanzienlijk verbetert in vergelijking met het gebruik van alleen biosignalen.

Oorspronkelijke auteurs: Paraskevi Valergaki, Vassilis C. Nicodemou, Iason Oikonomidis, Antonis Argyros, Anastasios Roussos

Gepubliceerd 2026-05-05

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Paraskevi Valergaki, Vassilis C. Nicodemou, Iason Oikonomidis, Antonis Argyros, Anastasios Roussos

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert te raden of een vriend gestrest is terwijl hij rijdt. Je hebt twee manieren om dit te doen: je kunt hun gezicht op video bekijken, of je kunt naar hun hartslag luisteren en naar hun zweet kijken. Meestal kiezen wetenschappers het een of het ander. Maar dit artikel zegt: "Waarom niet allebei?" en, nog belangrijker, "Wat als de video ons kan helpen om de lichaamssignalen te begrijpen, zelfs als die signalen rommelig zijn?"

Hier is het verhaal van hoe de onderzoekers de code kraakten voor stressdetectie, eenvoudig uitgelegd.

Het Probleem: Stress is een Kameleon

Stress is lastig. Soms verbergen mensen het; soms verraadt hun lichaam hen. Als je alleen naar het gezicht van een bestuurder kijkt, doen ze misschien alsof ze kalm zijn. Als je alleen naar hun hartslag kijkt, kunnen de sensoren slippen of ruis veroorzaken. De onderzoekers wilden een systeem dat zowel het gezicht als de lichaamssignalen kon bekijken om een helder beeld te krijgen, zelfs als een van de signalen zwak is.

De "Gezichtsscanner": Een 3D-Poppenspeelmeester

In plaats van gewoon een reguliere video van een bestuurder te maken, gebruikte het team een speciaal hulpmiddel genaamd EMOCA. Denk hierbij aan een high-tech poppenspeelmeester.

Wanneer je een video van een bestuurder bekijkt, ziet het hulpmiddel niet alleen "een gezicht". Het verwijdert de identiteit van de persoon (zoals de vorm van hun neus of hun huidskleur) en verandert hun gezicht in een 56-dimensionaal digitaal poppetje.

Het volgt hoe de mond beweegt (expressie).
Het volgt hoe het hoofd kantelt of draait (houding).
Het volgt zelfs de snelheid van deze bewegingen.

De onderzoekers ontdekten dat stress niet alleen gaat over hoe het gezicht eruitziet, maar hoe snel het verandert. Het is als het verschil tussen een kalme plas en een plas die door een storm wordt geraakt. De "storm" (stress) komt naar voren in de snelle, trillende bewegingen van het digitale poppetje, niet alleen in de statische vorm.

De "Lichaamssignalen": Hartslag en Zweet

Ze keken ook naar het lichaam van de bestuurder met standaard sensoren:

Hartslag: Hoe snel het hart slaat.
Ademhalingssnelheid: Hoe snel ze ademen.
Perinasale transpiratie: Zweet rond de neus (een klassiek stresssymbool).

De Grote Ontdekking: Het Gezicht is een Beter Detective dan Je Denkt

Voordat ze hun AI bouwden, deden de onderzoekers een statistische "showdown". Ze vergeleken de gezichtsbewegingen met de lichaamssignalen tijdens stressvolle rijmomenten (zoals sms'en tijdens het rijden) versus kalm rijden.

Het Resultaat: Ze ontdekten dat 38 van de 56 onderdelen van het digitale gezichtspoppetje reageerden op stress net zo sterk als de hartslag- of zweetsensoren.

Analogie: Stel je voor dat je probeert te raden of iemand nerveus is. Je kijkt misschien of hun handen trillen (lichaamssignaal). Maar dit artikel vond dat als je kijkt naar hun dartelende ogen of hun geklemde kaak (gezichtssignaal), je net zoveel informatie krijgt. Sterker nog, het gezicht was zo goed in dit dat de lichaamssignalen alleen eigenlijk vrij slecht waren in het raden van stress op zichzelf (slechts ongeveer 50% nauwkeurigheid – in feite een muntworp!).

De Oplossing: De "Teamcaptain" AI (Transformers)

De onderzoekers bouwden een slim AI-systeem met behulp van een technologie genaamd Transformers. Denk aan deze AI als een teamcaptain met twee spelers:

Speler A: Het Gezicht (het 3D-poppetje).
Speler B: Het Lichaam (hart, ademhaling, zweet).

Ze probeerden drie manieren om deze spelers te laten communiceren:

Solo Spel: Laat het Gezicht alleen spelen of het Lichaam alleen spelen.
Vroege Fusie: Plak de handen van de twee spelers aan elkaar zodat ze als één blok bewegen.
Cross-Modal Attention (De Winnaar): Dit is de geheime saus. De AI fungeert als een super-intelligente vertaler. Het laat het Gezicht naar het Lichaam kijken en zeggen: "Hé, je hart klopt snel, laat me controleren of je kaak geklemd is om dit te bevestigen." Dan laat het het Lichaam naar het Gezicht kijken en zeggen: "Je gezicht trilt, laat me controleren of je ademhaling ondiep is."

Deze "Cross-Modal Attention" stelde de twee signalen in staat om elkaar te helpen de gaten op te vullen.

De Resultaten: Van Muntworp tot Kristallen Bal

Hier is hoe goed de verschillende methoden waren in het raden of de bestuurder gestrest was:

Alleen Lichaamssignalen: ~52% nauwkeurigheid. (In feite raden).
Alleen Gezicht: ~90% nauwkeurigheid. (Zeer goed!).
Gezicht + Lichaam (Eenvoudige Mix): ~90% nauwkeurigheid.
Gezicht + Lichaam (De "Vertaler" AI): 92% nauwkeurigheid.

Het meest verrassende deel? Hoewel de lichaamssignalen op zichzelf zwak waren, steeg de nauwkeurigheid aanzienlijk toen de AI de "vertaler"-methode gebruikte om ze te combineren met het gezicht. Het bewees dat het gezicht en het lichaam een perfect team zijn, maar alleen als ze op de juiste manier met elkaar praten.

Waarom Dit Belangrijk is voor het Rijden

Het onderzoek werd gedaan in een rij-simulatie. De onderzoekers ontdekten dat je in een auto niet altijd de handen of voeten van de bestuurder kunt zien (beperkte lichaamssignalen). Maar je kunt bijna altijd hun gezicht zien. Dit systeem bewijst dat door het kijken naar de subtiele, snelle bewegingen van het gezicht van een bestuurder, je stress bijna net zo goed kunt detecteren als wanneer je een volledige medische uitrusting om hen heen zou hebben.

Kortom: Het artikel laat zien dat als je wilt weten of een bestuurder gestrest is, je niet alleen naar hun hartslag moet kijken. Kijk als een havik naar hun gezicht, gebruik een 3D-poppetje om elke kleine trilling te volgen, en laat een AI die bewegingen vertalen naar een duidelijk "Stress" of "Kalm" signaal. Het is als het hebben van superzicht dat stress ziet voordat de bestuurder zelfs maar weet dat ze het hebben.

Technische Samenvatting: Het Combineren van Gezichtsvideo's en Biosignalen voor Stressschatting tijdens het Besturen

Probleemstelling

Betrouwbare stressherkenning is cruciaal voor veiligheidskritieke systemen, met name in real-world rijscenario's. Hoewel fysiologische signalen (bijvoorbeeld hartslag, perinasale transpiratie) gevestigde markers zijn voor stressdetectie, kan het verkrijgen ervan intrusief of uitdagend zijn in praktische situaties. Daarentegen staat video-gebaseerde stressschatting voor aanzienlijke hindernissen vanwege de subjectieve aard van stress, individuele variabiliteit en de mogelijkheid van bewust maskeren van gezichtsuitdrukkingen. Bestaande video-gebaseerde benaderingen vertrouwen vaak op laag-niveau geometrische kenmerken of Facial Action Units (AUs), wat kan leiden tot verstrengeling van identiteit, houding en expressie, waardoor hun vermogen om subtiele 3D-gezichtsdynamiek te vangen beperkt wordt. Bovendien hebben weinig werken effectief de complementaire interactie tussen ontkoppelde 3D-gezichtsdynamiek en fysiologische signalen binnen een unificerend kader onderzocht, met name onder de beperkende omstandigheden van het rijden waar lichaamssignalen beperkt zijn.

Methodologie

Dataset en Experimentele Opstelling

De studie maakt gebruik van de publiek beschikbare dataset voor afgeleid rijden van Taamneh et al., verzameld in een simulator. Het protocol onderscheidt tussen Normaal Rijden (ND) als basislijn en Sensorimotorische Distractie (MD) fasen (P2 en P4), waarbij tekstberichten sturen stress induceert. Andere fasen (P1, P3, P5) dienen als niet-stress intervallen. De dataset bevat gesynchroniseerde infrarood gezichtsvideo's, fysiologische signalen (hartslag, ademhalingsfrequentie, perinasale transpiratie) en blikmetingen.

Kenmerkextractie

1. Ontkoppelde 3D-Gezichtskenmerken:
De auteurs extraheren per frame 3D-gezichtsexpressie- en houdingsparameters met behulp van EMOCA, een state-of-the-art monocular 3D-gezichtherconstructieframework gebaseerd op DECA.

Representatie: Een 56-dimensionale vector per frame ( $x_t$ ) bestaande uit 50 expressiecoëfficiënten ( $exp_t$ ) en 6 houdingsparameters ( $pose_t$ ).
Dynamiek: Om tijdsgebonden gedrag te vangen, worden eerste-orde tijdsafgeleiden ( $\Delta x_t$ ) berekend om snelle bewegingsveranderingen en expressieve overgangen te benadrukken.
Normalisatie: Een vensterniveau snelheidsverschil-descriptor wordt berekend door de stressor-rit (MD) te vergelijken met de gekoppelde normale rit (ND) voor elk onderwerp, met nadruk op stress-geïnduceerde afwijkingen van de basislijn.

2. Fysiologische en Blikkenkenmerken:
Fysiologische markers omvatten hartslag, ademhalingsfrequentie en perinasale transpiratie. Wanneer beschikbaar, worden blikdynamiek berekend als horizontale/verticale snelheden en versnellingen, samen met korte-termijn statistieken (rollend gemiddelde, standaardafwijking en dispersie).

Statistische Analyse

Voordat diep leren wordt toegepast, voeren de auteurs een statistische analyse uit met behulp van gepaarde tweezijdige één-steekproef t-toetsen om MD- en ND-fasen te vergelijken.

Vondsten: 38 van de 56 gezichtcomponenten (expressie en houding) vertonen consistente, fase-specifieke stressreacties die vergelijkbaar zijn met fysiologische markers.
Belangrijke Correlaties: Principal Component Analysis (PCA) en Linear Discriminant Analysis (LDA) identificeren dat globale houding (specifiek pose_00) en specifieke expressiecoëfficiënten (bijvoorbeeld exp_40, exp_20) het sterkst correleren met stress. Visualisaties geven aan dat deze componenten voornamelijk invloed hebben op vervormingen van het onderste gelaat (mond, kaak) en hoofdpositie.
Tijdsgebonden Belang: Snelheidsgebaseerde representaties (tijdsafgeleiden) blijken informatiever dan statische kenmerken op gemiddeld niveau, wat suggereert dat stress is gecodeerd in snelle frame-tot-frame dynamiek.

Modellering Framework

De kern van het voorgestelde systeem is een Transformer-gebaseerd tijdsgebonden modellering framework ontworpen voor multimodale fusie.

Architectuur: De pijplijn gebruikt een multiscale convolutiestam (kerngroottes 3, 5, 7) om korte-termijn patronen te extraheren, gevolgd door een stapel Transformer-encoderlagen met multi-head zelf-attention.
Tijdsgebonden Pooling: Een representatie met vaste lengte wordt verkregen via attention-gebaseerde tijdsgebonden pooling, die stress-relevante tijdssegmenten weegt.
Fusiestrategieën:
1. Unimodaal: Uitsluitend gezichtskenmerken gebruiken.
2. Vroege Fusie: 3D-gezichtparameters samenvoegen met fysiologische/blikkenkenmerken op het invoerniveau.
3. Cross-Modal Attention: Een bidirectionele architectuur waarbij gezicht- en fysiologische stromen onafhankelijk worden gecodeerd en vervolgens worden gefuseerd via cross-attention mechanismen. Dit stelt elke modus in staat selectief aandacht te schenken aan tijdsgebonden relevante aanwijzingen in de andere voordat aggregatie plaatsvindt.

Belangrijkste Bijdragen

Complementaire Rol van 3D-Gezichtsbeweging: Het werk toont aan dat het fuseren van dichte 3D-gezichtsbewegingskenmerken (ontkoppelde expressie en houding) met fysiologische kenmerken de stressvoorspelling aanzienlijk verbetert, wat hun complementaire aard bevestigt.
Robuust Cross-Modal Framework: De auteurs stellen een Transformer-gebaseerd cross-modal attention framework voor dat effectief de interactie tussen gezichtsdynamiek en biosignalen modelleert. Cruciaal blijft dit framework robuust en effectief, zelfs wanneer alleen gezichtsvideo's beschikbaar zijn (unimodale prestaties).
Rij-specifieke Focus: De studie benadrukt gezichtsbeweging als een primaire bron van stress-gerelateerde visuele informatie in rijscenario's waar lichaamssignalen beperkt zijn, en biedt een protocol dat generaliseert naar andere stressschattingssituaties.

Resultaten

De modellen werden geëvalueerd met 5-voudige cross-validatie per proefpersoon om datalekken te voorkomen.

Basisprestaties:
- Uitsluitend Fysiologische Signalen: Presteerde slecht, met een AUROC van 52,7% en een nauwkeurigheid van 51,0%.
- Uitsluitend Gezichtskenmerken (Unimodaal): Bereikte een AUROC van 90,8% en een nauwkeurigheid van 84,1%, wat beter was dan traditionele ML-baselines (SVM/kNN) en volledig verbonden deep learning-baselines.
- Vroege Fusie: Het combineren van gezicht- en fysiologische kenmerken via eenvoudige concatenatie leverde een AUROC van 90,1% op, iets lager dan de visuele-only baseline, wat suggereert dat gezichtsdynamiek in deze setting al de dominante stressinformatie vangt.
Prestaties van Cross-Modal Attention:
- De voorgestelde Cross-Modal Attention strategie (gezicht + fysiologie) bereikte de hoogste prestaties: AUROC 92,0% en Nauwkeurigheid 86,7%.
- Dit vertegenwoordigt een aanzienlijke verbetering ten opzichte van uitsluitend fysiologische signalen en een consistente winst ten opzichte van unimodale en vroege-fusie benaderingen.
- Combinaties waarbij gezichtsdynamiek ontbrak (bijvoorbeeld Blik + Bio) presteerden aanzienlijk slechter, wat de centraliteit van gezichtsbeweging bevestigt.

Betekenis en Beweringen

Het artikel beweert dat stressdetectie via uitsluitend fysiologische signalen onbetrouwbaar kan zijn of moeilijk te verkrijgen in real-world rijden, terwijl gezichtactiviteit complementaire aanwijzingen biedt die onopvallend kunnen worden vastgelegd. De studie stelt vast dat:

Stress is gecodeerd in dynamiek: Stress-gerelateerde modulaties zijn het meest opvallend in de snelheid en tijdsgebonden dynamiek van 3D-gezichtparameters in plaats van statische verschijning.
Multimodale synergie: Hoewel gezichtskenmerken op zichzelf zeer effectief zijn, levert de expliciete modellering van inter-modale interacties via cross-modal attention de beste resultaten op, waarbij gebruik wordt gemaakt van de complementaire aard van biosignalen.
Generaliseerbaarheid: Hoewel geëvalueerd op gesimuleerde rijdata, zijn de voorgestelde methodologie en het protocol ontworpen om uit te breiden naar andere situaties waarbij stressherkenning plaatsvindt op basis van gezichtsvideo's.

De auteurs merken beperkingen op met betrekking tot het gebruik van gesimuleerde data en suggereren dat toekomstig werk zich moet richten op het valideren van deze bevindingen in naturalistische settings, het verbeteren van interpreteerbaarheid, en het verkennen van real-time implementatie via lichtgewicht 3D-herconstructiepijplijnen.