🤖 AI

GroupAffect-4: A Multimodal Dataset of Four-Person Collaborative Interaction

Dit artikel introduceert GroupAffect-4, een uitgebreide multimodale dataset van 40 deelnemers in tien groepen van vier personen die diverse samenwerkende taken uitvoeren, die gesynchroniseerde fysiologische, eye-tracking, audio- en zelfrapportagegegevens integreert om analyse van affect op individueel, interpersoonlijk en groepsniveau mogelijk te maken.

Oorspronkelijke auteurs: Meisam Jamshidi Seikavandi, Alice Modica, Anna Obara, Shan Ahmed Shaffi, Fabricio Batista Narcizo, Tanya Ignatenko, Ted Vucurevich, Karim Haddad, Daniel Barratt, Daniel Overholt, Jesper Bunsow Boldt

Gepubliceerd 2026-05-20

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Meisam Jamshidi Seikavandi, Alice Modica, Anna Obara, Shan Ahmed Shaffi, Fabricio Batista Narcizo, Tanya Ignatenko, Ted Vucurevich, Karim Haddad, Daniel Barratt, Daniel Overholt, Jesper Bunsow Boldt, Paolo Burelli, Andrew Burke Dittberner

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert te begrijpen hoe een groep vrienden samen een puzzel oplost. Meestal luisteren onderzoekers alleen naar hun stemmen, kijken ze alleen naar hun gezichten, of vragen ze misschien pas achteraf hoe ze zich voelden. Maar om de "groepsstemming" echt te begrijpen, moet je alles tegelijk zien gebeuren: hun hartslag, waar ze naar kijken, wat ze zeggen en hoe ze zich voelen, allemaal gesynchroniseerd tot op exact dezelfde seconde.

Dat is precies wat het GroupAffect-4-artikel introduceert. Het is een nieuwe, uiterst gedetailleerde "film" van menselijke samenwerking, maar in plaats van een filmcamera gebruikt het een suite van high-tech sensoren.

Hier is de uitleg van wat ze deden en wat ze vonden, met eenvoudige analogieën:

1. De Opzet: Een "Sensorkostuum" voor een Team

De onderzoekers verzamelden 40 mensen en verdeelden hen in 10 groepen van vier. Ze zaten ze niet zomaar in een kamer; ze gaven iedereen een "digitaal detectivepakket":

Pols-sensoren: Net als een smartwatch, deze hielden de hartslag, huidzweet (wat stress aangeeft) en lichaamstemperatuur bij.
Slimme brillen: Deze hielden exact bij waar elke persoon naar keek en hoe hun pupillen van grootte veranderden (een teken van mentale inspanning).
Lapel-microfoons: Kleine microfoons op ieders borst om precies te horen wie er sprak en wanneer.
Tablets: Deze toonden tijdens de taken vragen, zoals: "Hoe gestrest ben je op dit moment?" of "Hoe gelukkig voel je je?"

2. Het Plot: Vier Verschillende "Hoofdstukken" van Interactie

De groepen praatten niet zomaar; ze speelden vier specifieke spelletjes die ontworpen waren om verschillende emoties op te wekken:

Het Mysterie (Informatiepooling): Iedereen had verschillende aanwijzingen over een nep-kandidaat voor een baan. Ze moesten hun geheimen delen om het juiste antwoord te vinden.
De Onderhandeling: Ze moesten een workshop plannen, maar iedereen had een geheime agenda (bijvoorbeeld: "Ik moet het AI-onderwerp kiezen"). Dit creëerde spanning en debat.
Het Brainstormen: Ze moesten creatieve ideeën bedenken voor een feestje. Dit was het "leuke" deel.
Het Vertrouwensspel: Ze moesten beslissen hoeveel van hun eigen "geld" (tokens) ze in een gezamenlijke pot zouden stoppen. Dit testte samenwerking en hebzucht.

3. De Grote Ontdekking: Wat de Data Eigenlijk Zei

De onderzoekers probeerden met computers te voorspellen wat er gebeurde door alleen naar de sensordata te kijken. Hier is wat wel werkte en wat niet:

Het "Iemand Onderbreken"-Signaal: De beste manier om te zien of een groep onder mentale druk stond (zoals tijdens de onderhandeling), was niet hun hartslag. Het was wie er wie onderbrak. Als mensen elkaar vaker onderbraken, wist de computer dat de groep gestrest was. Het is als het horen van een chaotische keuken tijdens het bereiden van het diner versus een rustige.
De Ogen Vertellen een Anders Verhaal: Terwijl spreekpatronen stress toonden, waren de pupillen (ogen) beter in het tonen hoe betrokken iemand was.
De "Hartslag"-Beperking: Verrassend genoeg waren de pols-sensoren (hartslag) niet goed in het raden of iemand blij of boos was. Ze waren te "ruisend" en kwamen niet perfect overeen met wat de mensen zeiden dat ze voelden.
De "Persoonlijkheid"-Puzzel: De onderzoekers probeerden de persoonlijkheidstrekken van mensen te raden (zoals "Ben je een introvert of extrovert?") door ze gewoon te kijken terwijl ze werkten. Ze faalden. De data was niet duidelijk genoeg om dit te doen. Het is als proberen het hele levensverhaal van iemand te raden door ze slechts 10 minuten te kijken terwijl ze koffie bestellen.
Het "Groeps"-Mysterie: Ze probeerden te voorspellen hoe de hele groep zou gedragen op basis van de som van hun delen. De computer kreeg dit ook fout. Een groep is meer dan alleen de som van vier individuen; de "groepsdynamiek" is een complexe dans die de huidige data niet volledig kon vastleggen.

4. Waarom Dit Belangrijk Is (Volgens het Artikel)

Het artikel beweert dat deze dataset speciaal is omdat deze dicht is, niet alleen groot.

Oude Datasets: Als een wazige foto waar je de mensen wel kunt zien, maar niet hun uitdrukkingen.
GroupAffect-4: Als een 4K-video in slow-motion waar je het zweet op hun voorhoofd kunt zien, de verwijding van hun pupillen en de exacte toon van hun stem kunt horen, allemaal perfect gesynchroniseerd.

5. Belangrijke Waarschuwingen (Wat het Artikel Niet Zegt)

De auteurs zijn zeer voorzichtig om te zeggen waarvoor deze data NIET is:

Geen Medisch Hulpmiddel: Je kunt dit niet gebruiken om mentale gezondheidsproblemen te diagnosticeren.
Geen Wervingsinstrument: Je kunt dit niet gebruiken om te beslissen wie je moet aannemen of ontslaan.
Geen Spionagetool: De data is beschermd zodat niemand kan proberen te identificeren wie de specifieke mensen zijn (hoewel de stemdata om deze reden privé wordt gehouden).
Geen Kristallen Bol: Omdat de groepen klein waren (slechts 10 groepen), zijn de resultaten een "haalbaarheidstest". Het bewijst dat het idee werkt, maar het betekent niet dat we menselijk gedrag in elke situatie nog perfect kunnen voorspellen.

Kortom: GroupAffect-4 is een high-definition, multisensorische opname van vier mensen die samenwerken. Het laat zien dat wie wie onderbreekt een enorme aanwijzing is voor hoe gestrest een team is, maar het voorspellen van persoonlijkheid of complexe groepsdynamiek is nog steeds een zeer moeilijke puzzel die deze dataset ons helpt op te lossen, maar die nog niet is opgelost.

Technische Samenvatting: GroupAffect-4

Probleemstelling

Bestaande corpora voor affectief rekenen en verwerking van sociale signalen vangen menselijke interactie doorgaans op in situaties met één deelnemer of in dyadische (twee-persoons) settings. Hoewel deze datasets waardevolle inzichten bieden, ondersteunen ze zelden de analyse van affect in co-gevestigde groepen als een gekoppeld proces dat gelijktijdig op drie niveaus plaatsvindt:

Binnen-persoon: Fysiologische toestand, aandacht en cognitieve belasting.
Tussen-persoon: Persoonlijkheid, vertrouwen en onderhandelingshoudingen.
Groepsniveau: Sprekersbalans, coördinatie en collectieve uitkomsten.

De huidige literatuur fragmenteert de benodigde signalen (per-deelnemer fysiologie, oogbewegingen, audio, zelfrapportages, taakuitkomsten en persoonlijkheid) vaak over aparte dataset-tradities. Er ontbreekt een publiek beschreven corpus dat al deze modaliteiten combineert in één gesynchroniseerde vier-persoons groepsetting om analyse op kruisniveaus mogelijk te maken (bijvoorbeeld testen of fysiologische opwaking subjectieve dominantie volgt of dat audio-overlap cognitieve vraag voorspelt, onafhankelijk van fysiologie).

Methodologie

Datasetontwerp en Deelnemers

GroupAffect-4 is een multimodaal corpus bestaande uit 10 sessies van vier-persoons groepen ( $N=40$ unieke deelnemers). Het onderzoek werd uitgevoerd op één locatie (GN Advanced Science, Denemarken) met deelnemers geworven uit intern personeel en universiteitsnetwerken. De cohort heeft een gemiddelde leeftijd van 35,4 jaar (SD 9,2) en bestaat grotendeels uit vreemden (gemiddelde pre-sessie vertrouwdheidsbeoordeling van 1,68 op een 7-puntsschaal).

Experimenteel Protocol

Elke sessie duurde ongeveer 70 minuten en volgde een vaste volgorde zonder tegenbalancering:

T0 (Free-talk baseline): 5 minuten ongestructureerd gesprek voor sensorstabilisatie.
T1 (Hidden-profile decision): Een groepsredeneertaak die consensus vereiste over een aanwervingsbeslissing met asymmetrische informatie.
T2 (Mini-negotiation): Een taak met onderling afhankelijke belangen waarbij groepen een workshoponderwerp en -formaat onderhandelden.
T3 (Idea generation): Een creatieve taak waarbij de Nominal Group Technique (NGT) werd gebruikt om ideeën te genereren en selecteren.
T4 (Public-goods game): Een micro-game die coöperatieve spanning en sociale vergelijking mat via token-bijdragen.

Data-acquisitie en Modaliteiten

Deelnemers waren uitgerust met:

Fysiologie: EmotiBit polssensoren die fotoplethysmografie (PPG), elektrodermale activiteit (EDA), huidtemperatuur en IMU opnamen met ~25 Hz.
Eye Tracking: Tobii Pro Glasses 3 die hoofd-gerelateerde scene-frame blik en pupildiameter opnamen met 50 Hz.
Audio: Close-talk DPA 4060 lapel-microfoons opgenomen met 48 kHz.
Zelfrapportage: Tablet-gebaseerde Self-Assessment Manikin (SAM) probes voor Valentie, Opwaking en Dominantie (VAD) verzameld op geplande intervallen, plus vragenlijsten na de taak.
Persoonlijkheid: Pre-sessie Big-Five Inventory (BFI-44) scores.
Synchronisatie: Alle modaliteiten waren gesynchroniseerd via een gemeenschappelijke Lab Streaming Layer (LSL) tijdbase, met hardware-klokdrijftcorrecties toegepast op audio.

Verwerking en Benchmarkresultaten

De release volgt een BIDS-geïnspireerde structuur met Croissant-metadata. De auteurs definieerden 15 benchmarkdoelen over drie analyse-niveaus en vestigden haalbaarheidsbaselines met Leave-One-Group-Out Cross-Validation (LOGO-CV) om te waarborgen dat geen enkele deelnemer in de testfold een interactiecontext deelde met de trainingsdata.

Niveau 1 (Binnen-persoon toestand): Voorspellen van taaklabels, valentie, opwaking, dominantie, mentale vraag, betrokkenheid, tevredenheid en vertrouwen.
Niveau 2 (Tussen-persoon eigenschappen): Voorspellen van BFI-persoonlijkheidstrekken (Extraversie, Openheid, Vriendelijkheid) en bijdrageniveaus.
Niveau 3 (Groepsdynamiek): Voorspellen van sprekende Gini-coëfficiënten (ongelijkheid) en fracties van spraak-overlap.

Preprocessing omvatte kwaliteitsgating, plausibiliteitscontroles, winsorization en binnen-persoon robuuste z-score normalisatie (voor Niveau 1) of behoud van absolute kenmerken (voor Niveau 2).

Belangrijkste Resultaten

Datakwaliteit en Dekking

De dataset toont hoge signaalintegriteit:

Fysiologie: 91,0% van de verwachte rijen waargenomen; 76,0% bruikbaarheid voor PPG/EDA/Temp.
Eye Tracking: 98,0% van de rijen waargenomen; 87,2% blik- en 95,4% pupilverbruik.
Audio: 95% doorlooppercentage voor bruikbaarheid.
Zelfrapportages: 98,9% algehele volledigheid voor items na de taak.

Benchmarkprestaties

Taakclassificatie (B0): Bereikte 64,1% nauwkeurigheid (vs. 26,5% baseline), wat bevestigt dat taken gedragsmatig onderscheidbaar zijn.
Binnen-persoon toestand:
- Mentale vraag (B3a): Het sterkste signaal (AUC 0,719), voornamelijk gedreven door één audio-kenmerk: overlap fractie. Dit suggereert dat cognitieve belasting in groepen grotendeels een conversatievloer-fenomeen is.
- Valentie (B1a): Matige prestatie (AUC 0,657).
- Opwaking (B1b) en Dominantie (B2): Prestaties dicht bij toeval, toegeschreven aan temporele mismatches tussen retrospectieve probes en piek-fysiologische responsen, en respectievelijk beperkingen in kenmerken.
- Vertrouwen (B3d): Over het algemeen dicht bij toeval, maar verbeterd tot AUC 0,679 wanneer beperkt tot de coöperatieve context van T4, wat aangeeft dat vertrouwenssignalen contextafhankelijk zijn.
Tussen-persoon eigenschappen (Niveau 2): Alle persoonlijkheidsbenchmarks (B4a–B4c) presteerden dicht bij of onder toeval. De auteurs schrijven dit toe aan de kleine testfold-grootte (4 deelnemers) waardoor AUC-schattingen onstabiel zijn, eerder dan een gebrek aan signaal. Correlaties in de volledige steekproef suggereren dat associaties bestaan (bijvoorbeeld Pupil $\times$ Vriendelijkheid $r=0,51$ ), maar het huidige ontwerp kan deze niet robuust voorspellen.
Groepsdynamiek (Niveau 3): Benchmarks voor sprekende ongelijkheid (B6a, B6b) en overlap (B7) slaagden er niet in om naïeve baselines te verslaan met behulp van taakvenster-aggregaten. Een binaire classifier op de standaardafwijking van de ruwe spreekfractie bereikte echter AUC 0,952, wat bevestigt dat het signaal bestaat maar verloren gaat wanneer het op het niveau van het taakvenster wordt geaggregeerd.

Complementariteit van Modaliteiten

Analyse onthulde een correlatie dicht bij nul ( $|r| < 0,10$ ) tussen pupildiameter en polsfysiologie, wat bevestigt dat ze verschillende informatie bieden. Audio- en pupilkarakteristieken bleken de dominante voorspellers voor detectie van cognitieve staat, terwijl fysiologie voornamelijk bijdroeg aan opwaking-gevoelige doelen.

Betekenis en Claims

Het artikel positioneert GroupAffect-4 niet als een groot-schalig corpus, maar als een compacte, hoge-dichtheid bron ontworpen voor rigoureuze datasetkarakterisering. De primaire bijdragen zijn:

Integratie: Het is het eerste publiek beschreven dataset dat draagbare fysiologie, egocentrische blik, close-talk audio, in-situ zelfrapportages, expliciete taakuitkomsten en persoonlijkheidsmaten combineert in een gesynchroniseerde vier-persoons setting.
Synchronisatie: Het biedt een strak gesynchroniseerde multimodale stack (sub-10ms uitlijning voor video/audio, lineaire correctie voor audio-drift) die het bestuderen van kruisniveaurelaties mogelijk maakt die onmogelijk te testen zijn in gefragmenteerde datasets.
Haalbaarheidsbaselines: Het artikel vestigt dat hoewel de dataset zinvolle evaluatie ondersteunt van binnen-persoon staten (met name mentale vraag via audiodynamiek), het huidige beperkingen blootlegt in het voorspellen van tussen-persoon eigenschappen en groepsniveau dynamiek met kleine cohortgroottes.
Transparantie: De release omvat een datasheet, Croissant-metadata, kwaliteitsrapporten en open verwerkingsscripts, in overeenstemming met FAIR-principes en richtlijnen voor verantwoord AI (bijvoorbeeld gating van ruwe audio onder een Data Use Agreement om heridentificatie te voorkomen).

De auteurs concluderen dat de dataset dient als een fundamentele bron voor het bestuderen van co-gevestigde groepsaffect, en een transparant beeld biedt van wat momenteel haalbaar is met multimodale signalen in kleine groepen, en benadrukt waar toekomstige methodologische of data-schaalverbeteringen vereist zijn.