💻 computer science

Multimodal Driver Visual Load Assessment and Prediction under Dynamic Lighting Environments Using RaceGrid-OPTICS and WA-PSRSMformer

Deze studie stelt een multimodale framework voor die oogbewegings-, verlichtings- en voertuigsnelheidsgegevens integreert met een nieuw RaceGrid-OPTICS clusteringalgoritme en een WA-PSRSMformer deep learning model om de visuele belasting van bestuurders onder dynamische lichtomstandigheden nauwkeurig te beoordelen en te voorspellen, waarbij een nauwkeurigheid van 90,13% in tunnelomgevingen wordt bereikt.

Oorspronkelijke auteurs: Noman Iqbal, Yishui Zhu, Fenjiao Wang, Luyang Wang

Gepubliceerd 2026-09-25

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Noman Iqbal, Yishui Zhu, Fenjiao Wang, Luyang Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Rijden is een constante onderhandeling tussen de menselijke geest en de weg. Voor de meesten van ons vindt deze onderhandeling plaats zonder bewust nadenken, maar het leunt zwaar op één zintuig: het zicht. Wanneer het licht plotseling verandert—van een heldere, door de zon beschenen snelweg naar het schemerige interieur van een tunnel stappen, of rijden door een stuk weg waar boomschaduwen snel over de voorruit flikkeren—moeten de ogen en het brein hard werken om zich aan te passen. Deze plotselinge vraag naar visuele informatie creëert een staat die bekend staat als visuele belasting (visual load). Het is de mentale inspanning die nodig is om te verwerken wat de ogen zien. Wanneer deze belasting te groot wordt, kan het vermogen van een bestuurder om gevaren op te merken, vormen te herkennen en te reageren op gevaar afnemen, waardoor een routineuze rit in een potentieel risico verandert. Hoewel we weten dat deze lichtverschuivingen gevaarlijk zijn, blijft het moeilijk om precies te meten hoeveel mentale spanning ze in realtime bij een bestuurder veroorzaken.

Een team onderzoekers aan de Chang'an Universiteit heeft een nieuwe manier ontwikkeld om in deze onzichtbare mentale inspanning te kijken. Ze zetten zich het doel om een systeem te bouwen dat niet alleen de visuele belasting van een bestuurder kan meten terwijl deze plaatsvindt, maar ook kan voorspellen wanneer deze op het punt staat te pieken, terwijl de auto door complex, veranderend licht beweegt. Om dit te bereiken, gingen ze verder dan de gecontroleerde, kunstmatige omgevingen van rijsimulatoren en namen ze hun experiment mee naar echte wegen. Ze rekruteerden tien bestuurders en rustten een standaard sedan uit met een reeks sensoren: een draagbare camera om te volgen waar de bestuurder naar keek en hoe hun pupillen reageerden, een dashboardcamera om de weg voor zich op te nemen, en een lichtmeter om de exacte helderheid van de omgeving te meten. De bestuurders navigeerden door drie verschillende scenario's: een lange, rechte weg met constant licht, een beschaduwd gedeelte waar zonlicht door bomen flikkerde, en een tunnel waar het licht dramatisch verschoof van helder daglicht naar duisternis en weer terug.

De onderzoekers verzamelden een enorme hoeveelheid gegevens, waarbij ze de oogbewegingen van de bestuurders synchroniseerden met de veranderende lichtinval en de snelheid van de auto. Ze concentreerden zich op specifieke biologische signalen, zoals de grootte van de pupillen en hoe snel deze veranderden, evenals waar de ogen op gefixeerd waren en hoe vaak ze naar nieuwe punten sprongen. Deze signalen zijn de eerlijke reactie van het lichaam op de werklast van het brein; wanneer de ogen moeite hebben om zich aan te passen aan een plotselinge verandering in licht, verschuiven de pupillen en de blikpatronen op voorspelbare manieren. Het omzetten van deze ruwe stroom getallen in een duidelijk beeld van "hoge belasting" of "lage belasting" is echter een complexe puzzel. Het team gebruikte eerst een geavanceerde methode om vergelijkbare patronen bij elkaar te groeperen, waardoor ze een computer effectief leerden het verschil te herkennen tussen een ontspannen rit en een stressvolle rit zonder gebruik te maken van vooraf ingestelde regels. Ze ontdekten dat deze aanpak er succesvol in slaagde de gegevens te sorteren in vijf verschillende niveaus van visuele belasting, van kalm tot zeer belastend.

Zodra het systeem deze staten kon identificen, richtten de onderzoekers zich op de moeilijkere taak van voorspelling. Ze wilden weten of het systeem naar de huidige gegevens kon kijken en kon raden wat de visuele belasting van de bestuurder enkele momenten later zou zijn. Ze testten verschillende verschillende computermodellen, waaronder modellen die goed zijn in het herkennen van patronen in afbeeldingen en andere die ontworpen zijn om sequenties van gebeurtenissen in de loop van de tijd te onthouden. De meest succesvolle aanpak was een type kunstmatige intelligentie-model bekend als een Transformer, die bijzonder goed is in het begrijpen van hoe één gebeurtenis tot een andere leidt in een lange sequentie. Om dit model nog beter te maken voor de specifieke uitdaging van het rijden, voegde het team drie belangrijke verbeteringen toe. Ten eerste leerden ze het model om extra aandacht te besteden aan de zeldzame, stressvolle momenten, die minder vaak voorkomen dan kalm rijden maar wel de meest kritieke zijn om te vangen. Ten tweede stroomlijnden ze de interne verwerking zodat het lange periodes van rijdata kon afhandelen zonder te verzuipen in onnodige berekeningen. Tot slot optimaliseerden ze het geheugengebruik, waardoor het efficiënt kan draaien op hardware die in een echte auto te vinden is.

De resultaten van deze tests in de echte wereld waren opmerkelijk. In de meest uitdagende omgeving—de tunnel, waar het licht abrupt verandert—voorspelde het nieuwe systeem de visuele belasting van de bestuurder met een nauwkeurigheid van meer dan 90 procent. Dit was aanzienlijk beter dan de andere modellen die zij testten, die moeite hadden om de snelle veranderingen bij te houden. Het systeem was ook opmerkelijk efficiënt en verwerkte de gegevens in een fractie van de tijd die de oudere modellen nodig hadden, een cruciale factor voor elke technologie die direct moet werken in een bewegend voertuig. De studie bevestigde dat de combinatie van oogtracking-gegevens, lichtmetingen en voertuigsnelheid een compleet beeld geeft van de stress van de bestuurder. Het toonde aan dat, hoewel rechte wegen over het algemeen gemakkelijk te voorspellen zijn, de momenten van het in- en uitrijden van een tunnel de meest complexe visuele eisen stellen, wat bestuurders vaak in staten van hoge belasting brengt die het systeem kon detecteren en anticiperen.

Dit werk biedt niet alleen een manier om stress te meten; het biedt een blauwdruk voor een veiligere toekomst. Door precies te begrijpen hoe lichtomstandigheden het zicht van een bestuurder belasten, kunnen ingenieurs betere waarschuwingssystemen ontwerpen die bestuurders waarschuwen voordat ze overweldigd raken. Het systeem bewees dat het mogelijk is om de onzichtbare mentale werklast van het rijden in realtime te monitoren, met behulp van de natuurlijke reacties van het menselijk oog. Naarmate wegen complexer worden en autonome rijsystemen meer verantwoordelijkheid op zich nemen, zal het essentieel zijn om een betrouwbare manier te hebben om de capaciteit van het menselijke element om te zien en te reageren te peilen. De onderzoekers hebben aangetoond dat we met de juiste instrumenten de onzichtbare last van de weg kunnen zien en wellicht, door dat te doen, de ongelukken kunnen voorkomen die gebeuren wanneer die last te zwaar wordt om te dragen.

Technische Samenvatting: Multimodale Visuele Belastingbeoordeling en Voorspelling van de Bestuurder onder Dynamische Verlichtingsomstandigheden

1. Probleemstelling

Snelle overgangen in de wegverlichting, met name in tunnels en schaduwrijke secties, verhogen de visuele werkbelasting van de bestuurder aanzienlijk en brengen de veiligheid in gevaar. Deze overgangen induceren fysiologische verschijnselen zoals het "black hole"- en "white hole"-effect, wat leidt tot vertraagde visuele adaptatie, verminderde contrastgevoeligheid en een verslechterde herkenning van gevaren. Bestaande methoden voor het beoordelen van de visuele belasting van de bestuurder lijden aan drie primaire beperkingen:

Afhankelijkheid van enkelvoudige modaliteiten of statische drempelwaarden: Veel methoden zijn afhankelijk van geïsoleerde fysiologische indicatoren (bijv. pupildiameter) of handmatig vooraf gedefinieerde drempelwaarden, waardoor de complexe, niet-lineaire interacties tussen bestuurdersgedrag, omgevingsverlichting en voertuigdynamiek niet worden gevangen.
Gefragmenteerde analyse: Beoordeling van de visuele belasting en temporele voorspelling worden vaak als onafhankelijke taken behandeld, waardoor de volledige exploitatie van de relatie tussen adaptieve labeling en voorspelling wordt voorkomen.
Computationele beperkingen: Hoewel Transformer-gebaseerde modellen veelbelovend zijn voor het vastleggen van langetermijn-temporele afhankelijkheden, hindert hun hoge computationele complexiteit en geheugeneisen vaak de implementatie in real-time Intelligent Transport Systemen (ITS).

Er is een gebrek aan een verenigd framework dat in staat is om gelijktijdig adaptieve visuele-belastingsclassificatie, multimodale featurefusie, klassenonbalans en computationele efficiëntie onder dynamische lichtomstandigheden aan te pakken.

2. Methodologie

De studie stelt een verenigd multimodaal framework voor bestaande uit data-acquisitie, adaptieve clustering voor labelgeneratie en een deep learning voorspellingsarchitectuur.

2.1 Data-acquisitie en Preprocessing

Experimentele opzet: Real-vehicle experimenten werden uitgevoerd op de testbaan van de Chang'an University met 10 bestuurders (novice en ervaren) in drie omgevingen: schaduwrijke secties, lange rechte wegen en tunnels.
Sensoren: De gegevens werden gesynchroniseerd van een Tobii Pro Glasses 3 eye tracker (50 Hz), een 360 Dash Cam (1 Hz) en een Tesan digitale luxmeter.
Features: De dataset integreert oogbewegingskenmerken (gaze coördinaten, pupildiameter, fixatieduur, saccade amplitude/frequentie), omgevingsverlichting (Lux), voertedsnelheid en demografische gegevens van de bestuurder.
Preprocessing: De pipeline omvatte ruisonderdrukking (Kalman-filtering), interpolatie van ontbrekende waarden (cubic spline) en robuuste normalisatie om uitschieters te verwerken. Temporele synchronisatie bracht alle datastromen samen op een uniforme tijdlijn gebaseerd op rijgebeurtenissen. Vervolgens werden alle modaliteiten gehersampled naar een gemeenschappelijke frequentie van 5 Hz: eye-tracking signalen werden gedownsampled, voertedsnelheidsmetingen werden lineair geïnterpoleerd, en de oorspronkelijke verlichtingsfrequentie werd behouden.

2.2 Visuele Belastingbeoordeling (Labeling)

In plaats van vooraf gedefinieerde drempelwaarden, gebruikt de studie een unsupervised learning benadering om visuele belastingsstatussen af te leiden:

Feature Extractie: Zeven visuele belastingindicatoren (pupiloppervlak, veranderingssnelheden, MTPA, saccade amplitude, fixatieduur, saccade frequentie) werden geëxtraheerd.
Dimensiereductie: Principal Component Analysis (PCA) reduceerde deze indicatoren tot drie hoofdcomponenten die 89,52% van de variantie verklaren.
Clustering: Een nieuw RaceGrid-OPTICS algoritme werd ontwikkeld. Het combineert:
- Progressive Grid Search: Voor coarse-to-fine parameter exploratie.
- F-Race Optimalisatie: Om inferieure parameterconfiguraties statistisch te evalueren en te elimineren.
- OPTICS: Om clusters van variërende dichtheden te identificeren zonder het aantal clusters vooraf te definiëren.
Labeling: De clustering resulteerde in vijf interpreteerbare visuele belastingsniveaus (0–4), gerangschikt op basis van gewogen scores afgeleid van de hoofdcomponenten.

2.3 Visueel Belasting Voorspellingsframework

De gelabelde gegevens werden gebruikt om een temporeel voorspellingsmodel te trainen, geformuleerd als een supervised sequence-learning taak.

Baselines: Vier standaard Deep Learning (DL) modellen werden geïmplementeerd: Fully Convolutional Network (FCN), Convolutional Neural Network (CNN), Long Short-Term Memory (LSTM) en de standaard Transformer.
Voorgestelde Architectuur (WA-PSRSMformer): Op basis van de Transformer werden drie verbeteringen geïntroduceerd:
1. Weighted Adaptive Loss (WAL): Adresseert klassenonbalans door hogere straffen toe te kennen aan ondervertegenwoordigde (hoge belasting) klassen.
2. Residual Sparse Attention (RSA): Vervangt standaard self-attention om de computationele complexiteit ( $O(N^2)$ ) te verminderen, terwijl langetermijn-afhankelijkheden behouden blijven en aandachtsinformatie over lagen heen wordt gepropageerd.
3. Parameter Sharing (PS): Deelt parameters over query, key, value projecties en feed-forward lagen om modelredundantie en geheugengebruik te verminderen.

3. Belangrijkste Bijdragen

Multimodaal Framework: Integratie van gesynchroniseerde eye-tracking, verlichting en voertuigdynamiek data uit de echte wereld om de visuele belasting in dynamische lichtomstandigheden te beoordelen.
RaceGrid-OPTICS Clustering: Een nieuwe strategie die PCA en adaptieve parameteroptimalisatie (Grid Search + F-Race) combineert om robuust visuele belastingsstatussen te identificeren zonder handmatige drempelwaarden, waarbij een hoge clusteringkwaliteit wordt bereikt.
WA-PSRSMformer Architectuur: Een Transformer-gebaseerd model dat tegelijkertijd de voorspellingsnauwkeurigheid verbetert, klassenonbalans afhandelt en de computationele overhead vermindert via WAL, RSA en PS mechanismen.
Empirische Validatie: Uitgebreide evaluatie over drie verschillende wegomgevingen, waarbij superieure prestaties ten opzichte van state-of-the-art baselines worden aangetoond.

4. Experimentele Resultaten

Het framework werd geëvalueerd met behulp van nauwkeurigheid, weighted precision/recall/F1-score, Mean Absolute Error (MAE) en rangcorrelatiemetrieken (Kendall's Tau, Spearman's Rho).

Clustering Prestaties: RaceGrid-OPTICS presteerde beter dan standaard OPTICS, DBSCAN en K-means, met een Silhouette Coefficient van 0,86, een Calinski–Harabasz Index van 159.532,83, en een Davies–Bouldin Index van 0,28.
Baseline Vergelijking: De standaard Transformer presteerde consequent beter dan LSTM, CNN en FCN in alle omgevingen. In tunnelscenario's bereikte de Transformer een nauwkeurigheid van 85,54% vergeleken met 80,72% (LSTM), 74,22% (FCN) en 72,42% (CNN).
Voorgestelde Model Prestaties:
- WA-PSRSMformer behaalde de hoogste algehele prestaties, met een nauwkeurigheid van 90,13% en een MAE van 0,1525 onder tunnelrijcondities.
- Het toonde significante verbeteringen ten opzichte van de baseline Transformer in tunnelomgevingen (+5,37% nauwkeurigheid) en op rechte wegen (+1,71%).
- Het model vertoonde een sterke rangcorrelatie met de grondwaarheid (Spearman's Rho = 0,8807 in tunnels).
Computationele Efficiëntie: De voorgestelde optimalisaties verminderden de inferentietijd en het geheugengebruik drastisch. In tunnelscenario's verminderde WA-PSRSMformer de executietijd met ongeveer 72,9% (van 43,46s naar 11,77s) en het geheugengebruik met 16,3% vergeleken met de baseline Transformer, wat het geschikt maakt voor real-time implementatie.

5. Betekenis en Claims

Het artikel claimt dat het voorgestelde framework een effectieve aanpak biedt voor real-time monitoring van de bestuurder. Door adaptieve clustering te verenigen met een efficiënt deep learning architectuur, adresseert de studie de kritieke kloof in het omgaan met dynamische lichtomstandigheden waar de visuele belasting snel fluctueert.

De auteurs benadrukken dat de WA-PSRSMformer succesvol een balans vindt tussen hoge voorspellingsnauwkeurigheid en lage computationele kosten, een noodzakelijke voorwaarde voor integratie in Intelligent Transportation Systems (ITS) en Advanced Driver-Assistance Systems (ADAS). De studie concludeert dat het framework een robuuste oplossing biedt voor het voorspellen van de visuele belasting van de bestuurder onder complexe, veranderende verlichting, en daarmee de ontwikkeling van veiligere verkeersveiligheidssystemen ondersteunt. Toekomstig werk richt zich op het uitbreiden van de scenario-diversiteit en het integreren van aanvullende fysiologische signalen (ECG, EEG).