Prediction of Challenging Behaviors Associated with Profound Autism in a Classroom Setting Using Wearable Sensors

Technische Samenvatting: Voorspelling van Uitdagend Gedrag Geassocieerd met Diepe Autisme in een Klaslokaal met Draagbare Sensoren

Probleemstelling
Ongeveer een kwart van de personen met Autisme Spectrumstoornis (ASS) wordt geclassificeerd als zijnde 'diep autisme', een subgroep die vatbaar is voor frequente en intense episodes van uitdagend gedrag zoals zelfverwondend gedrag (ZVG), agressie en onrust. Deze gedragingen vormen aanzienlijke veiligheidsrisico's en verstoren het leerproces. De huidige monitoring is afhankelijk van tijdsintensieve, subjectieve menselijke observatie of videobeoordeling, wat niet in staat is om de subtiele fysiologische voorlopers te detecteren die vaak aan gedragsepisoden voorafgaan. Hoewel draagbare sensoren zijn toegepast voor gedragsdetectie, was eerdere werk grotendeels beperkt tot gecontroleerde laboratoriumomgevingen, gericht op retrospectieve detectie in plaats van proactieve voorspelling, en beperkt door enkelvoudige modale data of ondiepe architecturen. Er is een kritieke behoefte aan schaalbare, objectieve en contextbewuste hulpmiddelen die in staat zijn om uitdagend gedrag te voorspellen in echte speciale onderwijsklassen om proactieve interventie mogelijk te maken.

Methodologie
Het onderzoek werd uitgevoerd bij The Center for Discovery (TCFD) met negen mannelijke deelnemers (leeftijd 10–21) met diep autisme. Dataverzameling vond plaats tijdens standaard klaslokaalsessies met Q-Sensor-banden (Affectiva Inc.) gedragen aan de pols of enkel, die tri-axiale accelerometrie, elektrodermale activiteit (EDA) en huidtemperatuur opnamen met een frequentie van 30 Hz.

• Dataannotatie: Getrainde gedragsanalisten annoceerden videobeelden om specifiek uitdagend gedrag te labelen, dat werd gegroepeerd in drie hoog-niveau categorieën: Agressie, Zelfverwondend Gedrag (ZVG) en Stereotypie. De dataset bestond uit ongeveer 110,7 uur gelabelde multimodale tijdreeksdata.
• Preprocessing: Signalen werden gesegmenteerd met een schuifend venster van 5 seconden met een stapgrootte van 1 seconde. EDA-signalen werden ontleed in tonische en fasische componenten, waarbij alleen de tonische component voor analyse werd behouden om algehele sympathische opwaking te vertegenwoordigen. Datakwaliteit werd gebaseerd op EDA-geldigheid gefilterd om correct huidcontact te waarborgen.
• Modelarchitectuur: De auteurs gebruikten een multimodaal fusieframework dat gebruikmaakt van state-of-the-art foundation modellen die zijn fijngefineerd voor de specifieke taak:
  • Accelerometrie: HarNet5 (ResNet-stijl, voorgetraind op Capture-24), DeepConvLSTM en een Transformer-gebaseerde classifier (Actigraphy Transformer) werden geëvalueerd.
  • EDA: Een convolutionele autoencoder, voorgetraind op het WESAD-dataset, werd gebruikt.
  • Huidtemperatuur: Gemodelleerd met een lichtgewicht 1D CNN.
  • Fusiestrategieën: Drie fusiebenaderingen werden vergeleken: (1) Naïeve feature-concatenatie van tijdelijk gepoolde features gevolgd door een MLP; (2) Tijdelijke zelf-attentie met een Vision Transformer (ViT) op tijd-uitgelijnde multimodale embeddings; en (3) Cross-time cross-modale attention met ViT om interacties over modaliteiten en tijdstappen vast te leggen.
• Experimenteel Protocol: Het onderzoek gebruikte subject-specifieke vijf-voudige kruisvalidatie (of vier-voudig voor multiclass-taken) om generaliseerbaarheid te beoordelen. De primaire taak was binaire detectie/voorspelling van uitdagend gedrag versus geen gedrag. Een secundaire taak omvatte multiclass-voorspelling (Geen, Agressie, ZVG, Stereotypie). Voorspellinghorizons werden getest van 30 seconden tot 30 minuten door labels in de tijd vooruit te verschuiven.

Belangrijkste Bijdragen

1. Validatie in de Wereld: Dit werk toont de haalbaarheid aan van het voorspellen van episodes van uitdagend gedrag in een natuurlijke speciale onderwijsklaslokaalomgeving, verder dan gecontroleerde laboratoriumomgevingen.
2. Multimodale Foundation Modellen: Het onderzoek introduceert een framework dat voorgetrainde foundation modellen fijnfint voor multimodale draagbare tijdreeksanalyse (accelerometrie, EDA, huidtemperatuur), waarmee de schaarste aan gelabelde data in klinische settings wordt aangepakt.
3. Proactieve Voorspelling: In tegenstelling tot eerdere retrospectieve detectiesystemen, voorspelt deze aanpak succesvol uitdagend gedrag tot 10 minuten van tevoren, waarmee een concrete operationele venster voor lerareninterventie wordt vastgesteld.
4. Uitgebreide Analyse: Het artikel biedt een gedetailleerde analyse van modaliteitsbijdragen, fusiestrategieën en de impact van voorspellinghorizons, waarbij de dominantie van accelerometrie wordt benadrukt terwijl de marginale maar complementaire rol van autonome signalen wordt gekwantificeerd.

Resultaten

• Detectieprestaties: Bij binaire detectietaken bereikte de naïeve feature-concatenatie-aanpak de beste prestaties met een AUC-ROC van 0,793. Onder unimodale modellen presteerde het accelerometer-gebaseerde HarNet5-model het beste (AUC-ROC 0,778), beter dan EDA- en huidtemperatuurmodellen.
• Voorspellingsprestaties: Het systeem slaagde erin uitdagend gedrag tot 10 minuten van tevoren te voorspellen met een gemiddelde AUC-ROC van 0,78 (95% CI ±0,10). De prestaties namen geleidelijk af naarmate de voorspellinghorizon toenam tot 30 minuten, hoewel deze boven de 0,75 bleef.
• Modaliteitsbelang: MM-SHAP-analyse onthulde dat accelerometrie de dominante voorspeller was (bijdragend aan ongeveer 90% aan de beslissing), terwijl EDA en huidtemperatuur marginale bijdragen leverden (respectievelijk ongeveer 8% en 2%). Grad-CAM-visualisaties bevestigden dat modelattentie overeenkwam met bewegingsrijke intervallen die aan gedrag voorafgingen.
• Multiclass-beperkingen: De vier-class-voorspellingstaak (Geen, Agressie, ZVG, Stereotypie) leverde een AUC-ROC van 0,65 op, gedreven bijna volledig door het vermogen om de klasse 'Geen' te detecteren. Het model faalde in het onderscheiden van zeldzame gedragssoorten (Agressie en ZVG) vanwege extreme class-imbalance. Een grovere drie-class-groepering (Hoog-risico vs. Laag-risico vs. Geen) resulteerde in een AUC-ROC van 0,53, wat aangeeft dat fijnmazige gedragssoort-discriminatie momenteel niet haalbaar is met de beschikbare dataschaal.
• Per-Subject Variabiliteit: Prestaties varieerden aanzienlijk tussen deelnemers (AUC-ROC variërend van 0,65 tot 0,90), en correleerden sterker met de dichtheid van gelabelde gedragsgebeurtenissen dan met leeftijd of sensorplaatsingslocatie.

Betekenis en Claims
Het artikel claimt dat de resultaten een 'concrete basis' vormen voor het ontwikkelen van proactieve interventiesystemen in de klas. Door een voorspellinghorizon van 10 minuten te bereiken met een AUC-ROC van 0,78, biedt het systeem een praktisch venster voor leraren om in te grijpen en veiligheidsrisico's te minimaliseren voordat een episode escaleert. De auteurs benadrukken dat het systeem, hoewel het prioriteit geeft aan sensitiviteit (recall van 0,55) boven precisie (0,31) om veiligheid te waarborgen, deze trade-off klinisch verdedigbaar is in speciale onderwijscontexten waar de kosten van een gemiste gebeurtenis zwaarder wegen dan die van een vals alarm.

Het onderzoek concludeert dat multimodale draagbare sensing een haalbare aanpak is voor het anticiperen op uitdagend gedrag bij diep autisme. De auteurs blijven echter bescheiden over de huidige beperkingen, en merken op dat het onvermogen van het systeem om specifieke gedragssoorten te onderscheiden een direct gevolg is van dataschaarste en class-imbalance. Zij stellen dat toekomstige verbeteringen in generalisatie en fijnmazige voorspelling grotere, diversere datasets en de integratie van aanvullende contextuele signalen (bijvoorbeeld video, activiteitenschema's) vereisen. Het werk claimt niet het probleem van gedragsvoorspelling volledig op te lossen, maar toont eerder een aanzienlijke stap naar schaalbare, datagedreven, proactieve ondersteuning voor een van de meest onderbediende populaties in het speciale onderwijs.