Leakage-Resistant Evaluation of Calibrated Multimodal Driver Drowsiness Detection Across Drivers and Routes

Stel je voor dat je een robot probeert te leren wanneer een mens op het punt staat achter het stuur in slaap te vallen. Je geeft de robot een camera, een smartwatch en een dashboardsensor om de bestuurder in de gaten te houden. Maar hier komt het lastige gedeelte: als je niet voorzichtig bent, kan de robot gaan vertrouwen op sluiproutes. De robot zou de specifieke persoon van de bestuurder kunnen leren herkennen of de specifieke weg waarop hij rijdt, in plaats van daadwerkelijk te leren hoe "slaperig" eruitziet. Het is alsof je studeert voor een wiskundetoets door de antwoorden op de oefenvragen uit je hoofd te leren in plaats van de formules te leren. Als de testvragen ook maar een klein beetje veranderen, faalt de robot. Dit is het probleem van "data leakage" (datalekken) in kunstmatige intelligentie.

Om een echt veilig systeem te bouwen, moeten we ervoor zorgen dat de robot de universele tekenen van slaperigheid leert kennen — zoals zware oogleden, trage reacties of veranderingen in de hartslag — zodat hij op elke bestuurder kan werken, op elke weg, zelfs op wegen die hij nog nooit heeft gezien. We moeten ook zorgen dat de robot niet alleen gokt "wakker" of "slapend", maar dat hij ons kan vertellen hoe zeker hij is. Als de robot 99% zeker weet dat de bestuurder slaapt, willen we dat getal kunnen vertrouwen. Dit artikel duikt diep in deze vragen en fungeert als een strenge scheidsrechter om te controleren of eerdere claims over detectoren voor slaperig rijden daadwerkelijk eerlijk waren, of dat ze slechts gelukkige gokken waren gebaseerd op het vertrouwen op sluiproutes.

---

Het Grote Audit van de Drowsiness Detective

In dit onderzoek besloten een team van onderzoekers de rol van "leakage detectives" (lekdetectives) aan te nemen. Ze namen twee enorme collecties gegevens mee — één met 225.000 observaties van 15 bestuurders op snelwegen, ruig terrein en in stadscentra, en een andere met meer dan 87.000 metingen van huidgeleiding van 20 mensen — en onderwierpen deze aan een rigoureuze test waarbij geen enkele sluiproute werd toegestaan. Hun doel was om te zien of de best presterende modellen uit eerdere studies nog steeds hun werk konden doen wanneer ze niet mochten spieken naar de antwoorden of de specifieke bestuurders uit hun hoofd leerden.

**De Schoonmaak van de "Sluiproutes"
In het begin hebben de onderzoekers de data grondig schoongemaakt. Ze realiseerden zich dat sommige datakolommen werkten als het geven van het antwoordmodel aan de detective. Bijvoorbeeld, als de data een kolom bevatte die letterlijk zei "Plotselinge Reming Gebeurd", kon de computer simpelweg "Slaperig" voorspellen telkens wanneer er geremd werd, zonder daadwerkelijk de staat van de bestuurder te begrijpen. Ze verwijderden ook alle kolommen die slechts andere manieren waren om de "slaperige" label te beschrijven. Zododé ze deze "sluiproutes" hadden weggehaald, bleven ze over met de rauwe, eerlijke signalen: hartslag, grijpkracht, voetbeweging en voertuiggegevens.

**De Vier Manieren van Testen
Om te zien of de modellen echt slim waren of slechts memoriseerden, gebruikte het team vier verschillende teststrategieën, zoals het veranderen van de spelregels om te zien wie de regels echt kent:

1. Random Row Split: Het schudden van alle data als een kaartspel. Dit is de "makkelijke modus" waarbij de computer delen van dezelfde bestuurder en weg ziet in zowel zijn trainings- als testdata.
2. Time-Blocked: Ervoor zorgen dat de computer alleen leert van het verleden om de toekomst te voorspellen, zoals het kijken naar een film en proberen de afloop te raden zonder de laatste 20 minuten te zien.
3. Driver-Held-Out: Dit is de "nieuwe bestuurder" test. De computer leert van 10 bestuurders en wordt getest op 5 die hij nog nooit heeft ontmoet.
4. Route-Held-Out: De ultieme "nieuwe wereld" test. De computer leert op snelwegen en ruige wegen, maar wordt getest op druk stadsverkeer dat hij nog nooit heeft gezien.

**De Winnaar: Het "Alles-in-één" Brein
De onderzoekers testten drie verschillende soorten AI-hersenen: een eenvoudige lineaire denker (Logistische Regressie), een complexe boom-leerder genaamd Pooled HGB (Histogram-based Gradient Boosting), en een team van specialisten die over het antwoord stemmen (CQMF, of Calibrated Quality-Weighted Modality Fusion).

De verrassende winnaar was de Pooled HGB. Denk aan dit model als een enkele, superintelligente detective die naar alles tegelijk kijkt — hartslag, voetbeweging en autosnelheid — tegelijkertijd. Het probeerde de aanwijzingen niet in verschillende categorieën te verdelen; het liet de data gewoon met elkaar communiceren.

• Wanneer getest op nieuwe bestuurders (Driver-Held-Out), was dit model ongelooflijk accuraat. Het behaalde een score van 0,9990 (van de 1,0) voor het onderscheiden van wakker versus slapend, en een score van 0,9819 voor het vinden van de zeldzame slaperige momenten.
• Het was ook heel eerlijk over zijn vertrouwen. De "Brier score" (een maatstaf voor hoe goed het vertrouwen overeenkomt met de werkelijkheid) was een minimale 0,00355, wat betekent dat wanneer het zei "Ik ben 90% zeker", het bijna altijd juist was.

**Het "Specialisten-Team" Faalde
De onderzoekers hadden gehoopt dat het "Specialisten-Team" (CQMF) beter zou presteren. Het idee was: laat één AI naar het hart kijken, een andere naar de handen, en een derde naar de auto, en laat hen dan stemmen over het antwoord. Maar deze aanpak presteerde eigenlijk slechter. Wanneer het team de afzonderlijke meningen probeerde te combineren, verloren ze de subtiele verbindingen tussen de signalen. Het blijkt dat een enkele detective die het hele plaatje ziet, beter is dan een commissie van specialisten die niet met elkaar kunnen praten. Het "Alles-in-één" brein legde de connectie vast dat een specifiek hartslagpatroon iets anders kan betekenen afhankelijk van wat de auto aan het doen is, iets wat de afzonderlijke specialisten misten.

**De "Nieuwe Weg" Straf
Hier wordt het een beetje minder perfect. Wanneer de onderzoekers het model testten op een volledig nieuw type weg (Route-Held-Out), daalde de prestatie.

• Op snelwegen was het model nog steeds erg goed.
• Maar op drukke stedelijke routes daalde het vermogen om slaperige bestuurders op te merken. De "sensitiviteit" (hoeveel slaperige bestuurders het daadwerkelijk oppikte) daalde naar 0,7216.
  Dit onthult een "route-transfer penalty". Het model leerde hoe slaperige bestuurders op snelwegen eruitzien, maar stadsverkeer is chaotisch en anders. Als je een model dat alleen op snelwegen is getraind in een drukke stad plaatst, kan het de slaperige bestuurders missen.

**De "Defecte Sensor" Stress-test
Het echte leven is rommelig. Sensoren gaan kapot, draden raken los en gegevens gaan verloren. De onderzoekers simuleerden dit door willekeurig 10%, 20%, 30% en zelfs 50% van de data te verwijderen om te zien wat er gebeurde.

• Het "Alles-in-één" model (Pooled HGB) hield het verrassend goed vol. Zelfs met 50% ontbrekende data behaalde het nog steeds een redelijke score van 0,6630.
• Het "Specialisten-Team" (CQMF) viel veel sneller uit elkaar, met een daling naar 0,5260 bij 50% ontbrekende data.
  Dit suggere le dat het hebben van één robuust model dat met ontbrekende stukjes kan omgaan, beter is dan het vertrouwen op een team van specialisten die allemaal stil kunnen vallen als hun specifieke sensor uitvalt.

**Het Mysterie van de Huidgeleiding
Het team keek ook naar een tweede dataset met betrekking tot huidgeleiding (hoe je huid zweterig wordt als je gestrest of slaperig bent). Zelfs na het verwijderen van de "sluiproutes", presteerde het model nog steeds verbazingwekkend goed, met een score van 0,9994. De onderzoekers zijn echter voorzichtig. Ze merkten op dat omdat ze de originele ruwe video- of audio-logs niet hadden, ze niet 100% zeker konden zijn of de "slaperige" labels in de eerste plaats perfect accuraat waren. Het is alsof je een perfect cijfer vindt op een toets, maar je weet niet of de leraar het wel eerlijk heeft nagekeken. Dus hoewel de cijfers er geweldig uitzien, kunnen ze nog niet beweren dat dit bewijst dat het systeem in de echte wereld werkt.

De Kern van het Verhaal

Dit artikel vertelt ons niet alleen welke AI-model de "beste" is. Het leert ons hoe we niet op sluiproutes moeten vertrouwen. De belangrijkste les is dat je een systeem voor het detecteren van slaperigheid bij de bestuurder niet kunt vertrouwen, tenzij je het test op bestuurders en wegen die het nog nooit eerder heeft gezien.

De studie vond dat een enkel, krachtig model dat alle data samen bekijkt (Pooled HGB), het meest betrouwbaar is. Het is beter dan het combineren van aparte modellen, en het is robuust genoeg om met ontbrekende data om te gaan. De studie waarschuwt ons echter ook dat zelfs het beste model niet perfect is. Als je een systeem van een snelweg naar een drukke stad verplaatst, of als sensoren beginnen te falen, kan het systeem het gevaar missen.

De auteurs concluderen dat hoewel we op dit moment een zeer sterk hulpmiddel hebben voor het opsporen van slaperigheid, we nog niet klaar zijn om dit in elk auto te plaatsen. We hebben meer tests in de echte wereld nodig, betere data van ruwe sensoren, en een systeem dat weet wanneer het in de war is en om hulp moet vragen. Tot die tijd dient dit onderzoek als een cruciale "leakage audit", die ervoor zorgt dat wanneer we beweren dat een systeem veilig is, we onszelf niet voorliegen met een gelukkige gok.