Inclusive AI for Group Interactions: Predicting Gaze-Direction Behaviors in People with Intellectual and Developmental Disabilities

Probleemstelling

Huidige kunstmatige intelligentie (AI)-systemen die menselijke groepsinteracties ondersteunen (bijvoorbeeld voor het regelen van beurtwisselingen of het detecteren van aandacht), zijn overwegend getraind op data van neurotypische populaties. Dit leidt tot systematische fouten bij de toepassing op mensen met een verstandelijke en ontwikkelingsbeperking (VOD, in het Engels: Intellectual and Developmental Disabilities of IDD).

• Specifiek probleem: Oogcontact is een cruciaal niet-verbaal signaal voor sociale interactie. Bestaande modellen falen vaak in inclusieve contexten omdat mensen met VOD atypische interactiepatronen vertonen, zoals minder oogcontact, indirecte blikrichting, en het gebruik van alternatieve communicatievormen (gebaren, vocalisaties).
• Data-gat: Er ontbreekt een gestructureerd dataset voor multi-party gesprekken met volwassenen met VOD, waardoor modellen niet kunnen generaliseren naar deze heterogene groepen.

Methodologie

1. De MIDD Dataset (Multi-party Interaction with Intellectual and Developmental Disabilities)
De auteurs introduceerden een nieuwe dataset, MIDD, om de kloof te overbruggen:

• Opzet: 24 gesynchroniseerde video-opnames van 6 groepsgesprekken (4-5 deelnemers per groep) met in totaal 13 volwassenen met VOD (o.a. Downsyndroom, autisme, cerebrale parese).
• Omgeving: Gesimuleerde MultiMediate-benchmark (zelfde kamerindeling, camera's en microfoons) om directe vergelijking mogelijk te maken.
• Data: 2.962 samples (10-seconden chunks), handmatig geannoteerd voor oogcontactrichting (geen, links, front, rechts) en actieve spreker.
• Karakteristieken: De dataset vertoont een sterke class-imbalance (66,6% "geen oogcontact") en lagere beeldkwaliteit (slechte verlichting) vergeleken met neurotypische datasets.

2. Vergelijkende Analyse
Er werd een rigoureuze vergelijking gemaakt tussen MIDD en de bestaande MultiMediate-dataset (neurotypisch):

• Gedrag: MIDD toont aanzienlijk minder oogcontact (33% vs 65%) en minder actieve spreekmomenten (62% vs 92%).
• Ongelijkheid: De spreiding van spreektijd is ongelijker in MIDD (Gini-coëfficiënt 0,52 vs 0,34), wat wijst op dominante sprekers en passieve deelnemers.
• Kwaliteit: De beeldkwaliteit (helderheid en contrast) is significant slechter in MIDD.

3. Model Evaluatie en Experimenten
Drie modellen werden getest op oogcontactdetectie:

• Classical ML: Support Vector Classifier (SVC) en XGBoost, getraind op handmatige features (OpenFace 2.0: blikrichting, hoofdpositie, spreekstatus).
• Deep Learning: FSFNet (Feature Selection and Fusion Network), een transformer-architectuur gebaseerd op ResNet-50.
• Strategieën:
  • Zero-shot: Direct toepassen van modellen getraind op neurotypische data.
  • Fine-tuning: Aanpassen van modellen op de MIDD-dataset.
  • Ensembling: Combineren van visuele (FSFNet) en gestructureerde (SVC/XGBoost) voorspellingen via gewogen gemiddelden of stacking.
  • Ablation Study: Testen van verschillende feature-combinaties (blik, pose, spreekstatus) om de invloed van specifieke signalen te meten.

Belangrijkste Resultaten

1. Prestatie Daling en Verbetering

• Modellen getraind op neurotypische data presteerden slecht op MIDD door de domeinverschillen (verschil in blikpatronen en beeldkwaliteit).
• Fine-tuning op MIDD verbeterde de prestaties aanzienlijk, maar beperkingen bleven bestaan vanwege de extreme class-imbalance.
• FSFNet (Deep Learning) behaalde de beste resultaten na fine-tuning (Validation Accuracy ~82%, Macro F1 ~0,71), maar neigde tot overfitting bij volledige aanpassing.
• Classical Models (SVC/XGBoost) hadden moeite met de onbalans; ze neigden sterk naar het voorspellen van de meerderheidsklasse ("geen oogcontact"), wat resulteerde in lage Macro F1-scores (~0,44 voor SVC).

2. Ensembling Strategie
De meest succesvolle aanpak was een gewogen ensemble van FSFNet en XGBoost (60% FSFNet / 40% XGBoost):

• Resultaat: 70% nauwkeurigheid, Macro F1 van 0,55 en een Composite Score van 0,60.
• Dit benutte de sterke visuele detectie van FSFNet en de robuustheid van XGBoost voor gestructureerde data, wat leidde tot een beter evenwicht tussen het detecteren van meerderheids- en minderheidsklassen.

3. Feature Impact (Ablation Study)

• Positie (Head Pose): Modellen die zwaar leunden op hoofdpositie (pose) presteerden goed in validatie maar faalden volledig in de testset (voorspelde bijna alleen "geen oogcontact"). Dit kwam door semantische ambiguïteit bij het herlabelen van data (bijv. 5 deelnemers in een groep vs. 4 klassen) en gevoeligheid voor ruimtelijke inconsistenties.
• Blik en Spreekstatus: Configuraties die alleen leunden op blikrichting en spreekstatus gaven robuustere resultaten op de testset, hoewel de absolute scores lager waren. Dit suggereert dat directe blik- en spreeksignalen minder gevoelig zijn voor domeinverschuivingen dan ruimtelijke positie.

4. Expert Inzicht (Focusgroep)
Een focusgroep met zes therapeuten bevestigde dat:

• "Stimming" (herhalende bewegingen) en stilte niet per se gebrek aan betrokkenheid zijn, maar zelfregulerend gedrag.
• Ondersteuning door educatoren (scaffolding) cruciaal is voor beurtwisselingen.
• Visuele cues alleen onvoldoende zijn; multimodale interpretatie (gebaren, aanraking) is noodzakelijk.

Bijdragen

1. Nieuwe Dataset: Introductie van de MIDD-dataset, de eerste zorgvuldig geannoteerde corpus voor multi-party interacties met volwassenen met VOD, openbaar beschikbaar voor onderzoek.
2. Empirische Analyse: Gedetailleerde kwantitatieve vergelijking die aantoont dat neurodiverse interacties fundamenteel verschillen van neurotypische interacties (ongelijkere spreiding van oogcontact en spreektijd, lagere beeldkwaliteit).
3. Model Evaluatie: Systematische evaluatie van klassieke en state-of-the-art modellen, waarbij wordt aangetoond dat fine-tuning en ensembling noodzakelijk zijn voor inclusieve AI.
4. Expert Validatie: Koppeling van kwantitatieve resultaten aan kwalitatieve inzichten van therapeuten, wat de interpretatie van "atypisch" gedrag verrijkt.

Betekenis en Implicaties

Dit werk benadrukt dat AI-systemen voor sociale interactie niet "one-size-fits-all" kunnen zijn.

• Inclusieve AI: Er is een dringende behoefte aan domeinadaptatiestrategieën en datasets die neurodiversiteit omvatten om marginalisatie te voorkomen.
• Feature Choice: De keuze van features is kritiek; puur visuele of ruimtelijke modellen zijn kwetsbaar. Multimodale fusie (blik + pose + spreekstatus) en contextbewuste modellen zijn essentieel.
• Toekomstige Richting: De auteurs pleiten voor self-supervised pretraining, context-aware modeling en mens-in-de-lus frameworks waarbij expertkennis wordt geïntegreerd in het ontwerp van AI-systemen voor therapeutische en welzijnscontexten.

Samenvattend biedt dit onderzoek een praktische basis voor het ontwikkelen van eerlijke en toegankelijke tools die de sociale participatie van mensen met een verstandelijke beperking werkelijk kunnen ondersteunen.