🤖 AI

GroupAffect-4: A Multimodal Dataset of Four-Person Collaborative Interaction

Questo articolo presenta GroupAffect-4, un dataset multimodale completo di 40 partecipanti suddivisi in dieci gruppi di quattro persone che svolgono compiti collaborativi diversificati, il quale integra dati sincronizzati fisiologici, di tracciamento oculare, audio e di autovalutazione per consentire l'analisi dell'affettività a livello individuale, interpersonale e di gruppo.

Autori originali: Meisam Jamshidi Seikavandi, Alice Modica, Anna Obara, Shan Ahmed Shaffi, Fabricio Batista Narcizo, Tanya Ignatenko, Ted Vucurevich, Karim Haddad, Daniel Barratt, Daniel Overholt, Jesper Bunsow Boldt

Pubblicato 2026-05-20

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Meisam Jamshidi Seikavandi, Alice Modica, Anna Obara, Shan Ahmed Shaffi, Fabricio Batista Narcizo, Tanya Ignatenko, Ted Vucurevich, Karim Haddad, Daniel Barratt, Daniel Overholt, Jesper Bunsow Boldt, Paolo Burelli, Andrew Burke Dittberner

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di capire un gruppo di amici che risolve un puzzle insieme. Di solito, i ricercatori potrebbero ascoltare solo le loro voci, o guardare solo i loro volti, o magari chiedere loro come si sono sentiti dopo. Ma per comprendere davvero l'"atmosfera del gruppo", è necessario osservare tutto ciò che accade contemporaneamente: i loro battiti cardiaci, dove stanno guardando, cosa stanno dicendo e come si sentono, tutti sincronizzati allo stesso identico secondo.

È esattamente ciò che introduce il paper GroupAffect-4. È un nuovo, dettagliatissimo "film" del lavoro di squadra umano, ma invece di una cinepresa, utilizza una suite di sensori high-tech.

Ecco la spiegazione di ciò che hanno fatto e di ciò che hanno scoperto, utilizzando semplici analogie:

1. L'allestimento: Una "tuta sensoriale" per una squadra

I ricercatori hanno riunito 40 persone e le hanno divise in 10 gruppi di quattro. Non si sono limitati a farli sedere in una stanza; hanno fornito a tutti un "kit da detective digitale":

Sensori al polso: Come un smartwatch, questi tracciavano la frequenza cardiaca, la sudorazione cutanea (che indica lo stress) e la temperatura corporea.
Occhiali intelligenti: Questi tracciavano esattamente dove stava guardando ogni persona e come cambiava la dimensione delle loro pupille (un segno di sforzo mentale).
Microfoni da bavero: Piccoli microfoni sul petto di tutti per sentire esattamente chi stava parlando e quando.
Tablet: Questi proponevano domande durante i compiti, chiedendo: "Quanto sei stressato in questo momento?" o "Quanto ti senti felice?".

2. La trama: Quattro diversi "capitoli" di interazione

I gruppi non si sono limitati a chiacchierare; hanno giocato quattro giochi specifici progettati per suscitare emozioni diverse:

Il Mistero (Pool di informazioni): Tutti avevano indizi diversi su un falso candidato al lavoro. Dovevano condividere i loro segreti per trovare la risposta giusta.
La Negoziazione: Dovevano pianificare un workshop, ma ognuno aveva un'agenda segreta (ad esempio: "Devo per forza scegliere l'argomento sull'IA"). Questo creava tensione e dibattito.
Il Brainstorming: Dovevano venire a capo di idee creative per una festa. Questa era la parte "divertente".
Il Gioco della Fiducia: Dovevano decidere quanto del loro "denaro" (gettoni) mettere in un fondo comune. Questo metteva alla prova la cooperazione e l'avidità.

3. La grande scoperta: Cosa dicevano realmente i dati

I ricercatori hanno provato a usare i computer per prevedere cosa stava accadendo guardando solo i dati dei sensori. Ecco cosa ha funzionato e cosa no:

Il segnale del "parlare sopra": Il modo migliore per capire se un gruppo era sotto pressione mentale (come durante la negoziazione) non era la loro frequenza cardiaca. Era chi parlava sopra chi. Quando le persone si interrompevano a vicenda di più, il computer sapeva che il gruppo era stressato. È come sentire una cucina caotica durante la preparazione della cena rispetto a una tranquilla.
Gli occhi raccontano una storia diversa: Mentre i modelli di conversazione mostravano lo stress, le pupille (gli occhi) erano migliori nel mostrare quanto qualcuno fosse coinvolto.
Il limite della "frequenza cardiaca": Sorprendentemente, i sensori al polso (frequenza cardiaca) non erano ottimi nel indovinare se qualcuno era felice o arrabbiato. Erano troppo "rumorosi" e non corrispondevano perfettamente a ciò che le persone dicevano di provare.
Il puzzle della "personalità": I ricercatori hanno provato a indovinare i tratti della personalità delle persone (come "Sei un introverso o un estroverso?") semplicemente osservandoli lavorare. Hanno fallito. I dati non erano chiari abbastanza per farlo. È come cercare di indovinare l'intera storia della vita di qualcuno guardandolo ordinare un caffè per 10 minuti.
Il mistero del "Gruppo": Hanno provato a prevedere come si sarebbe comportato l'intero gruppo basandosi sulla somma delle sue parti. Anche il computer si è sbagliato qui. Un gruppo è più della semplice somma di quattro individui; la "dinamica di gruppo" è una danza complessa che i dati attuali non sono riusciti a catturare pienamente.

4. Perché questo è importante (secondo il paper)

Il paper afferma che questo dataset è speciale perché è denso, non solo grande.

Vecchi dataset: Come una foto sfocata in cui si vedono le persone ma non le loro espressioni.
GroupAffect-4: Come un video 4K in slow-motion in cui si può vedere il sudore sulla fronte, la dilatazione delle pupille e sentire il tono esatto della loro voce, tutto perfettamente sincronizzato.

5. Avvertenze importanti (Cosa il paper non dice)

Gli autori sono molto attenti a dire per cosa questi dati NON sono:

Non uno strumento medico: Non puoi usarlo per diagnosticare problemi di salute mentale.
Non uno strumento per le assunzioni: Non puoi usarlo per decidere chi assumere o licenziare.
Non uno strumento di spionaggio: I dati sono protetti in modo che nessuno possa tentare di identificare le persone specifiche (anche se i dati vocali sono mantenuti privati per questo motivo).
Non una sfera di cristallo: Poiché i gruppi erano piccoli (solo 10 gruppi), i risultati sono un "controllo di fattibilità". Dimostra che l'idea funziona, ma non significa che possiamo ancora prevedere perfettamente il comportamento umano in ogni situazione.

In breve: GroupAffect-4 è una registrazione ad alta definizione e multisensoriale di quattro persone che lavorano insieme. Ci mostra che chi interrompe chi è un indizio enorme su quanto sia stressata una squadra, ma prevedere la personalità o dinamiche di gruppo complesse è ancora un puzzle molto difficile che questo dataset ci aiuta a iniziare a risolvere, ma che non ha ancora finito.

Riepilogo Tecnico: GroupAffect-4

Enunciato del Problema

I corpora esistenti per il calcolo affettivo e l'elaborazione dei segnali sociali catturano tipicamente l'interazione umana in contesti a partecipante singolo o diadici (due persone). Sebbene questi dataset offrano intuizioni preziose, raramente supportano l'analisi dell'affetto in gruppi co-localizzati come un processo accoppiato che si verifica simultaneamente a tre livelli:

Intra-persona: Stato fisiologico, attenzione e carico cognitivo.
Inter-persona: Personalità, fiducia e posizioni negoziali.
Livello di gruppo: Equilibrio del turno di parola, coordinamento e risultati collettivi.

La letteratura corrente frammenta spesso i segnali necessari (fisiologia per partecipante, movimento oculare, audio, auto-relazioni, esiti delle attività e personalità) attraverso tradizioni di dataset separate. Manca un corpus pubblicamente descritto che combini tutte queste modalità in un unico contesto di gruppo sincronizzato a quattro persone per abilitare l'analisi cross-livello (ad esempio, testare se l'arousal fisiologico traccia il dominio soggettivo o se la sovrapposizione audio prevede la domanda cognitiva indipendentemente dalla fisiologia).

Metodologia

Design del Dataset e Partecipanti

GroupAffect-4 è un corpus multimodale composto da 10 sessioni di gruppi a quattro persone ( $N=40$ partecipanti unici). Lo studio è stato condotto in un'unica sede (GN Advanced Science, Danimarca) con partecipanti reclutati dal personale interno e dalle reti universitarie. La coorte ha un'età media di 35,4 anni (SD 9,2) ed è composta prevalentemente da estranei (media di familiarità pre-sessione di 1,68 su una scala a 7 punti).

Protocollo Sperimentale

Ogni sessione è durata circa 70 minuti e ha seguito una sequenza fissa senza controbilanciamento:

T0 (Baseline conversazione libera): 5 minuti di conversazione non strutturata per la stabilizzazione dei sensori.
T1 (Decisione su profilo nascosto): Un compito di ragionamento di gruppo che richiedeva un consenso su una decisione di assunzione con informazioni asimmetriche.
T2 (Mini-negoziazione): Un compito con interessi interdipendenti in cui i gruppi negoziavano un tema e una modalità per un workshop.
T3 (Generazione di idee): Un compito creativo che utilizzava la Tecnica del Gruppo Nominal (NGT) per generare e selezionare idee.
T4 (Gioco dei beni pubblici): Un micro-gioco che misurava la tensione cooperativa e il confronto sociale tramite contributi in gettoni.

Acquisizione Dati e Modalità

I partecipanti sono stati strumentati con:

Fisiologia: Sensori al polso EmotiBit che registravano Fotopletismografia (PPG), Attività Elettrodermica (EDA), temperatura cutanea e IMU a ~25 Hz.
Eye Tracking: Tobii Pro Glasses 3 che registravano lo sguardo relativo al frame della scena e il diametro pupillare a 50 Hz.
Audio: Microfoni a cravatta DPA 4060 vicini alla bocca registrati a 48 kHz.
Auto-relazione: Sonde basate su tablet con lo Self-Assessment Manikin (SAM) per Valenza, Arousal e Dominanza (VAD) raccolte a intervalli programmati, più questionari post-attività.
Personalità: Punteggi pre-sessione dell'Inventario Big-Five (BFI-44).
Sincronizzazione: Tutte le modalità sono state sincronizzate tramite una base temporale comune Lab Streaming Layer (LSL), con correzioni applicate alla deriva dell'orologio hardware per l'audio.

Elaborazione e Benchmark

Il rilascio segue una struttura ispirata a BIDS con metadati Croissant. Gli autori hanno definito 15 target di benchmark attraverso tre livelli di analisi e hanno stabilito baseline di fattibilità utilizzando la Validazione Incrociata Leave-One-Group-Out (LOGO-CV) per garantire che nessun partecipante nel fold di test condivideva un contesto di interazione con i dati di addestramento.

Livello 1 (Stato intra-persona): Predizione di etichette di attività, valenza, arousal, dominanza, domanda mentale, coinvolgimento, soddisfazione e fiducia.
Livello 2 (Tratti inter-persona): Predizione dei tratti di personalità BFI (Estroversione, Apertura, Gradevolezza) e dei livelli di contributo.
Livello 3 (Dinamiche di gruppo): Predizione dei coefficienti Gini di parlato (disuguaglianza) e delle frazioni di sovrapposizione del parlato.

Il pre-processing ha incluso il controllo di qualità, verifiche di plausibilità, winsorizzazione e normalizzazione robusta z-score intra-persona (per il Livello 1) o ritenzione assoluta delle caratteristiche (per il Livello 2).

Risultati Chiave

Qualità e Copertura dei Dati

Il dataset dimostra un'elevata integrità del segnale:

Fisiologia: 91,0% delle righe attese osservate; 76,0% di usabilità per PPG/EDA/Temp.
Eye Tracking: 98,0% delle righe osservate; 87,2% di usabilità per lo sguardo e 95,4% per la pupilla.
Audio: 95% di tasso di passaggio per l'usabilità.
Auto-relazioni: 98,9% di completezza complessiva per gli elementi post-attività.

Performance dei Benchmark

Classificazione delle Attività (B0): Raggiunta un'accuratezza del 64,1% (vs 26,5% baseline), confermando che le attività sono distinguibili a livello comportamentale.
Stato Intra-persona:
- Domanda Mentale (B3a): Il segnale più forte (AUC 0,719), guidato principalmente da una singola caratteristica audio: frazione di sovrapposizione. Ciò suggerisce che il carico cognitivo nei gruppi è largamente un fenomeno del turno di conversazione.
- Valenza (B1a): Performance moderata (AUC 0,657).
- Arousal (B1b) e Dominanza (B2): Performance vicine al caso, attribuite rispettivamente a disallineamenti temporali tra sonde retrospettive e picchi di risposte fisiologiche, e a limitazioni delle caratteristiche.
- Fiducia (B3d): Vicina al caso complessivamente, ma migliorata ad AUC 0,679 quando limitata al contesto cooperativo di T4, indicando che i segnali di fiducia sono dipendenti dal contesto.
Tratti Inter-persona (Livello 2): Tutti i benchmark di personalità (B4a–B4c) hanno performato vicino o sotto il caso. Gli autori attribuiscono ciò alla piccola dimensione del fold di test (4 partecipanti) che rende le stime AUC instabili, piuttosto che a una mancanza di segnale. Le correlazioni sul campione completo suggeriscono che esistono associazioni (ad es., Pupilla $\times$ Gradevolezza $r=0,51$ ), ma il design corrente non può prevederle in modo robusto.
Dinamiche di Gruppo (Livello 3): I benchmark per la disuguaglianza nel parlato (B6a, B6b) e la sovrapposizione (B7) non sono riusciti a superare le baseline naive utilizzando aggregati a finestra di attività. Tuttavia, un classificatore binario sulla deviazione standard della frazione di parlato grezza ha raggiunto un AUC 0,952, confermando che il segnale esiste ma viene perso quando aggregato a livello di finestra di attività.

Complementarità Cross-Modale

L'analisi ha rivelato una correlazione vicina allo zero ( $|r| < 0,10$ ) tra il diametro pupillare e la fisiologia al polso, confermando che forniscono informazioni distinte. Le caratteristiche audio e pupillari sono state identificate come i predittori dominanti per il rilevamento dello stato cognitivo, mentre la fisiologia ha contribuito principalmente a target sensibili all'arousal.

Significato e Affermazioni

Il paper posiziona GroupAffect-4 non come un corpus su larga scala, ma come una risorsa compatta ad alta densità progettata per una caratterizzazione rigorosa del dataset. I suoi contributi principali sono:

Integrazione: È il primo dataset pubblicamente descritto a combinare fisiologia indossabile, sguardo egocentrico, audio vicino alla bocca, auto-relazioni in situ, esiti espliciti delle attività e misure di personalità in un contesto sincronizzato a quattro persone.
Sincronizzazione: Fornisce uno stack multimodale strettamente sincronizzato (allineamento sub-10ms per video/audio, correzione lineare per la deriva audio) che permette lo studio di relazioni cross-livello impossibili da testare in dataset frammentati.
Baseline di Fattibilità: Il paper stabilisce che, sebbene il dataset supporti una valutazione significativa degli stati intra-persona (in particolare la domanda mentale tramite le dinamiche audio), espone le attuali limitazioni nella previsione dei tratti inter-persona e delle dinamiche di gruppo con dimensioni di coorte ridotte.
Trasparenza: Il rilascio include un datasheet, metadati Croissant, report di qualità e script di elaborazione aperti, aderendo ai principi FAIR e alle linee guida per un'IA responsabile (ad es., limitazione dell'audio grezzo sotto un Accordo di Utilizzo dei Dati per prevenire la re-identificazione).

Gli autori concludono che il dataset funge da risorsa fondamentale per lo studio dell'affetto in gruppi co-localizzati, offrendo una visione trasparente di ciò che è attualmente raggiungibile con segnali multimodali in piccoli gruppi e evidenziando dove sono necessari futuri miglioramenti metodologici o di scala dei dati.