Inclusive AI for Group Interactions: Predicting Gaze-Direction Behaviors in People with Intellectual and Developmental Disabilities

1. Il Problema

L'articolo affronta la sfida di sviluppare agenti artificiali in grado di supportare le interazioni di gruppo in contesti sensibili (come il benessere e le terapie), con un focus specifico sulle persone con Disabilità Intellettive e dello Sviluppo (IDD).
Il problema centrale risiede nel fatto che i modelli di IA attuali per il rilevamento di comportamenti non verbali (come il contatto visivo, il turno di parola e l'attenzione) sono addestrati quasi esclusivamente su dati di popolazioni neurotipiche. Questo porta a:

• Fallimenti sistematici quando i modelli vengono applicati a contesti inclusivi.
• Marginalizzazione degli stili interattivi atipici (es. ridotta o indiretta direzione dello sguardo, uso di segnali non verbali alternativi).
• Incapacità di generalizzare a dinamiche di gruppo eterogenee dove sono presenti caregiver o dispositivi di comunicazione aumentativa.

2. Metodologia

La ricerca adotta un approccio multidisciplinare che combina raccolta dati, analisi comparativa, modellazione algoritmica e validazione qualitativa.

A. Creazione del Dataset MIDD

È stato introdotto un nuovo dataset denominato MIDD (Multi-party Interaction with Intellectual and Developmental Disabilities).

• Composizione: 13 adulti con profili IDD eterogenei (sindrome di Down, autismo, disabilità intellettiva moderata/grave) coinvolti in 6 sessioni di conversazione di gruppo (4-5 partecipanti).
• Setup: Registrazione con 4 webcam sincronizzate e un microfono centrale, in un ambiente semi-circolare, per replicare il benchmark MultiMediate (neurotipico) ma con partecipanti IDD.
• Dati: 24 video sincronizzati (~476 minuti), segmentati in chunk di 10 secondi. Sono stati estratti 2.962 campioni con annotazioni su: direzione del contatto visivo (nessuno, sinistra, fronte, destra) e identità del parlante attivo.
• Sfide: Illuminazione variabile, occlusioni, e un forte sbilanciamento delle classi (66,6% di "nessun contatto visivo").

B. Analisi Comparativa (MIDD vs. Neurotipico)

È stata condotta un'analisi statistica diretta tra il dataset MIDD e il dataset MultiMediate (neurotipico):

• Contatto Visivo: Nel dataset MIDD, l'engagement visivo è quasi dimezzato (33% vs 65% nel neurotipico).
• Attività di Parlato: La probabilità che qualcuno stia parlando è inferiore nel MIDD (62% vs 92%).
• Disuguaglianza: La distribuzione del tempo di parola è più disuguale nel MIDD (Coefficiente di Gini = 0,52 vs 0,34), indicando che pochi partecipanti dominano la conversazione.
• Qualità dell'Immagine: Il dataset MIDD presenta condizioni visive più difficili (luminosità e contrasto più variabili e spesso sottoposti).

C. Modellazione e Valutazione

Sono stati valutati diversi classificatori per il rilevamento del contatto visivo:

1. Modelli Classici: Support Vector Classifier (SVC) e XGBoost, basati su feature ingegnerizzate (vettori di sguardo, pose della testa, segnali vocali estratti con OpenFace).
2. Deep Learning: FSFNet (Feature Selection and Fusion Network), un'architettura basata su Transformer e ResNet-50, addestrata su immagini facciali.
3. Strategie di Adattamento:
   • Zero-shot: Test dei modelli pre-addestrati su dati neurotipici direttamente su MIDD.
   • Fine-tuning: Adattamento dei modelli sui dati MIDD.
   • Ensemble: Combinazione ponderata (weighted averaging) e stacking di FSFNet con i modelli classici per sfruttare i punti di forza di entrambi.

D. Validazione Qualitativa

È stato organizzato un focus group con 6 terapisti esperti in IDD per interpretare i risultati quantitativi e comprendere il significato dei comportamenti atipici (es. movimenti ripetitivi, silenzi intenzionali).

3. Risultati Chiave

• Performance Degradata: I modelli addestrati su dati neurotipici hanno subito un crollo delle prestazioni su MIDD a causa dello sbilanciamento delle classi e delle differenze comportamentali.
• Miglioramento con Fine-tuning: L'addestramento specifico su MIDD ha migliorato le prestazioni, ma le limitazioni persistono.
• Importanza delle Feature:
  • I modelli basati sulla pose della testa hanno mostrato buone prestazioni in validazione ma sono collassati sul test set (predicendo quasi esclusivamente la classe maggioritaria), probabilmente a causa di incongruenze spaziali e semantiche nei dati di test.
  • Le configurazioni che escludevano la pose e si basavano su sguardo diretto + stato del parlante hanno generalizzato meglio, ottenendo un F1 macro più equilibrato.
• Successo degli Ensemble: La strategia migliore è stata un ensemble ponderato tra FSFNet (visione) e XGBoost/SVC (feature strutturate).
  • L'ensemble FSFNet + XGBoost ha raggiunto il 70% di accuratezza e un F1 macro del 55%, superando significativamente i modelli singoli (test statistico di McNemar, p < .001).
• Insight dei Terapisti: I terapisti hanno confermato che i comportamenti etichettati come "mancanza di engagement" (es. sguardo indiretto, movimenti ripetitivi) sono spesso forme valide di comunicazione o autoregolazione, sottolineando la necessità di modelli contestuali e multimodali.

4. Contributi Principali

1. Dataset MIDD: Introduzione di un nuovo corpus annotato specifico per interazioni di gruppo con persone IDD, aperto alla ricerca.
2. Analisi delle Differenze: Documentazione empirica delle differenze distributive (sbilanciamento, dinamiche di turno, qualità visiva) tra popolazioni neurotipiche e neurodiverse.
3. Valutazione Modelli: Benchmark rigoroso che dimostra i limiti dei modelli SOTA (FSFNet) e classici (SVC, XGBoost) nel transfer learning verso l'IDD, e l'efficacia delle strategie di ensemble.
4. Validazione Umana: Integrazione di esperti clinici per contestualizzare i dati quantitativi, evidenziando come i modelli attuali possano fraintendere i segnali sociali atipici.

5. Significato e Implicazioni

Il lavoro sottolinea l'urgenza di passare da un'IA "neurocentrica" a un'IA inclusiva.

• Strategie Dati: È necessario l'uso di feature multimodali (sguardo, pose, identità del parlante) e strategie di adattamento di dominio per gestire lo sbilanciamento delle classi e la variabilità comportamentale.
• Progettazione Centrata sull'Uomo: I modelli devono essere progettati tenendo conto del "contesto sociale" (es. il ruolo di scaffolding degli educatori) e non solo dei segnali visivi grezzi.
• Futuro: La ricerca futura dovrebbe esplorare l'addestramento auto-supervisionato, la fusione multimodale avanzata e modelli temporali più complessi per catturare la ricchezza delle interazioni neurodiverse.

In sintesi, il paper fornisce le basi empiriche e tecniche per costruire strumenti di interazione uomo-computer più equi e accessibili, capaci di riconoscere e supportare la diversità neurocognitiva nelle dinamiche di gruppo.