🤖 AI

GroupAffect-4: A Multimodal Dataset of Four-Person Collaborative Interaction

Este artículo presenta GroupAffect-4, un conjunto de datos multimodal integral de 40 participantes en diez grupos de cuatro personas que realizan diversas tareas colaborativas, el cual integra datos sincronizados de fisiología, seguimiento ocular, audio y autoinforme para permitir el análisis de la afectividad a nivel individual, interpersonal y grupal.

Autores originales: Meisam Jamshidi Seikavandi, Alice Modica, Anna Obara, Shan Ahmed Shaffi, Fabricio Batista Narcizo, Tanya Ignatenko, Ted Vucurevich, Karim Haddad, Daniel Barratt, Daniel Overholt, Jesper Bunsow Boldt

Publicado 2026-05-20

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Meisam Jamshidi Seikavandi, Alice Modica, Anna Obara, Shan Ahmed Shaffi, Fabricio Batista Narcizo, Tanya Ignatenko, Ted Vucurevich, Karim Haddad, Daniel Barratt, Daniel Overholt, Jesper Bunsow Boldt, Paolo Burelli, Andrew Burke Dittberner

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina intentar entender a un grupo de amigos resolviendo un rompecabezas juntos. Por lo general, los investigadores podrían escuchar solo sus voces, o mirar solo sus rostros, o tal vez simplemente preguntarles cómo se sintieron después. Pero para comprender verdaderamente el "ambiente del grupo", necesitas ver todo lo que sucede al mismo tiempo: sus frecuencias cardíacas, hacia dónde miran, lo que dicen y cómo se sienten, todo sincronizado al mismo segundo exacto.

Eso es exactamente lo que introduce el artículo GroupAffect-4. Es una nueva y altamente detallada "película" del trabajo en equipo humano, pero en lugar de una cámara de cine, utiliza un conjunto de sensores de alta tecnología.

Aquí está el desglose de lo que hicieron y lo que descubrieron, usando analogías simples:

1. La Configuración: Un "traje de sensores" para un equipo

Los investigadores reunieron a 40 personas y las dividieron en 10 grupos de cuatro. No solo las sentaron en una habitación; les dieron a todos un "kit de detective digital":

Sensores de muñeca: Como un reloj inteligente, estos rastreaban la frecuencia cardíaca, el sudor de la piel (que muestra estrés) y la temperatura corporal.
Gafas inteligentes: Estas rastreaban exactamente hacia dónde miraba cada persona y cómo cambiaba de tamaño la pupila (una señal de esfuerzo mental).
Micrófonos de solapa: Micrófonos diminutos en el pecho de todos para escuchar exactamente quién hablaba y cuándo.
Tabletas: Estas mostraban preguntas durante las tareas, preguntando: "¿Qué tan estresado estás ahora?" o "¿Qué tan feliz te sientes?".

2. La Trama: Cuatro "capítulos" diferentes de interacción

Los grupos no solo charlaban; jugaron cuatro juegos específicos diseñados para desencadenar diferentes emociones:

El Misterio (Agrupación de información): Todos tenían pistas diferentes sobre un candidato falso a un trabajo. Tenían que compartir sus secretos para encontrar la respuesta correcta.
La Negociación: Tenían que planificar un taller, pero todos tenían una agenda secreta (por ejemplo: "Yo debo elegir el tema de la IA"). Esto creó tensión y debate.
La Lluvia de ideas: Tenían que proponer ideas creativas para una fiesta. Esta era la parte "divertida".
El Juego de la Confianza: Tenían que decidir cuánto de su propio "dinero" (fichas) poner en un bote compartido. Esto probaba la cooperación y la codicia.

3. El Gran Descubrimiento: Lo que realmente dijeron los datos

Los investigadores intentaron usar computadoras para predecir lo que estaba sucediendo solo mirando los datos de los sensores. Esto es lo que funcionó y lo que no:

La señal de "hablar sobre": La mejor manera de saber si un grupo estaba bajo presión mental (como durante la negociación) no era su frecuencia cardíaca. Era quién hablaba sobre quién. Cuando las personas se interrumpían más, la computadora sabía que el grupo estaba estresado. Es como escuchar una cocina caótica durante la preparación de la cena versus una tranquila.
Los ojos cuentan una historia diferente: Mientras que los patrones de conversación mostraban estrés, las pupilas (ojos) eran mejores para mostrar qué tan comprometido estaba alguien.
El límite de la "frecuencia cardíaca": Sorprendentemente, los sensores de muñeca (frecuencia cardíaca) no eran buenos para adivinar si alguien estaba feliz o enojado. Eran demasiado "ruidosos" y no coincidían perfectamente con lo que las personas decían que sentían.
El rompecabezas de la "personalidad": Los investigadores intentaron adivinar los rasgos de personalidad de las personas (como "¿Eres introvertido o extrovertido?") solo viéndolas trabajar. Fallaron. Los datos no eran lo suficientemente claros para hacer esto. Es como intentar adivinar toda la historia de vida de alguien solo viéndolos pedir un café durante 10 minutos.
El misterio del "grupo": Intentaron predecir cómo se comportaría todo el grupo basándose en la suma de sus partes. La computadora también se equivocó en esto. Un grupo es más que la suma de cuatro individuos; la "dinámica de grupo" es una danza compleja que los datos actuales no pudieron capturar completamente.

4. Por qué esto importa (según el artículo)

El artículo afirma que este conjunto de datos es especial porque es denso, no solo grande.

Conjuntos de datos antiguos: Como una foto borrosa donde puedes ver a las personas pero no sus expresiones.
GroupAffect-4: Como un video en 4K en cámara lenta donde puedes ver el sudor en su frente, la dilatación de sus pupilas y escuchar el tono exacto de su voz, todo perfectamente sincronizado.

5. Advertencias importantes (lo que el artículo no dice)

Los autores tienen mucho cuidado al decir para qué NO sirve este dato:

No es una herramienta médica: No puedes usar esto para diagnosticar problemas de salud mental.
No es una herramienta de contratación: No puedes usar esto para decidir a quién contratar o despedir.
No es una herramienta de espionaje: Los datos están protegidos para que nadie intente identificar quiénes son las personas específicas (aunque los datos de voz se mantienen privados por esta razón).
No es una bola de cristal: Debido a que los grupos eran pequeños (solo 10 grupos), los resultados son una "prueba de viabilidad". Prueba que la idea funciona, pero no significa que podamos predecir perfectamente el comportamiento humano en todas las situaciones todavía.

En resumen: GroupAffect-4 es una grabación de alta definición y multisensorial de cuatro personas trabajando juntas. Nos muestra que quién interrumpe a quién es una gran pista sobre qué tan estresado está un equipo, pero predecir la personalidad o la dinámica compleja de un grupo sigue siendo un rompecabezas muy difícil que este conjunto de datos nos ayuda a comenzar a resolver, pero que aún no ha terminado.

Resumen Técnico: GroupAffect-4

Enunciado del Problema

Los corpus existentes de computación afectiva y procesamiento de señales sociales suelen capturar la interacción humana en configuraciones de un solo participante o diádicas (dos personas). Aunque estos conjuntos de datos ofrecen perspectivas valiosas, raramente apoyan el análisis del afecto en grupos co-ubicados como un proceso acoplado que ocurre simultáneamente en tres niveles:

Intrapersonal: Estado fisiológico, atención y carga cognitiva.
Interpersonal: Personalidad, confianza y posturas de negociación.
A nivel de grupo: Equilibrio de turnos, coordinación y resultados colectivos.

La literatura actual fragmenta a menudo las señales necesarias (fisiología por participante, movimiento ocular, audio, autoinformes, resultados de tareas y personalidad) a través de tradiciones de conjuntos de datos separados. Existe una falta de corpus descritos públicamente que combinen todas estas modalidades en un único entorno sincronizado de grupo de cuatro personas para permitir un análisis cruzado de niveles (por ejemplo, probar si la activación fisiológica sigue la dominancia subjetiva o si la superposición de audio predice la demanda cognitiva independientemente de la fisiología).

Metodología

Diseño del Conjunto de Datos y Participantes

GroupAffect-4 es un corpus multimodal que comprende 10 sesiones de grupos de cuatro personas ( $N=40$ participantes únicos). El estudio se llevó a cabo en un solo sitio (GN Advanced Science, Dinamarca) con participantes reclutados de la plantilla interna y redes universitarias. La cohorte tiene una edad media de 35.4 años (DE 9.2) y está compuesta predominantemente por desconocidos (puntuación media de familiaridad pre-sesión de 1.68 en una escala de 7 puntos).

Protocolo Experimental

Cada sesión duró aproximadamente 70 minutos y siguió una secuencia fija sin contrabalanceo:

T0 (Línea base de conversación libre): 5 minutos de conversación no estructurada para la estabilización de sensores.
T1 (Decisión de perfil oculto): Una tarea de razonamiento grupal que requiere consenso sobre una decisión de contratación con información asimétrica.
T2 (Mini-negociación): Una tarea con intereses interdependientes donde los grupos negociaron un tema y formato de taller.
T3 (Generación de ideas): Una tarea creativa utilizando la Técnica de Grupo Nominal (NGT) para generar y seleccionar ideas.
T4 (Juego de bienes públicos): Un micro-juego que mide la tensión cooperativa y la comparación social mediante contribuciones de fichas.

Adquisición de Datos y Modalidades

Los participantes fueron instrumentados con:

Fisiología: Sensores de muñeca EmotiBit que registran Pletismografía de Onda de Pulso (PPG), Actividad Electrodérmica (EDA), temperatura de la piel e IMU a ~25 Hz.
Rastreo Ocular: Gafas Tobii Pro Glasses 3 que registran la mirada relativa al marco de la escena y el diámetro pupilar a 50 Hz.
Audio: Micrófonos de solapa DPA 4060 de cercanía grabados a 48 kHz.
Autoinforme: Sondeos del Maniquí de Autoevaluación (SAM) basados en tabletas para Valencia, Activación y Dominancia (VAD) recopilados en intervalos programados, más cuestionarios post-tarea.
Personalidad: Puntuaciones del Inventario de los Cinco Grandes (BFI-44) previas a la sesión.
Sincronización: Todas las modalidades se sincronizaron mediante una base de tiempo común de la Capa de Transmisión de Laboratorio (LSL), aplicándose correcciones de deriva del reloj de hardware al audio.

Procesamiento y Puntos de Referencia

La publicación sigue una estructura inspirada en BIDS con metadatos Croissant. Los autores definieron 15 objetivos de referencia en tres niveles de análisis y establecieron líneas base de viabilidad utilizando Validación Cruzada de Salida de Grupo (LOGO-CV) para asegurar que ningún participante en el pliegue de prueba compartiera un contexto de interacción con los datos de entrenamiento.

Nivel 1 (Estado intrapersonal): Predicción de etiquetas de tarea, valencia, activación, dominancia, demanda mental, compromiso, satisfacción y confianza.
Nivel 2 (Rasgos interpersonales): Predicción de rasgos de personalidad BFI (Extraversión, Apertura, Amabilidad) y niveles de contribución.
Nivel 3 (Dinámicas grupales): Predicción de coeficientes de Gini de habla (desigualdad) y fracciones de superposición de habla.

El preprocesamiento incluyó filtrado de calidad, comprobaciones de plausibilidad, acotamiento (winsorization) y normalización robusta de puntuaciones z intrapersonal (para el Nivel 1) o retención de características absolutas (para el Nivel 2).

Resultados Clave

Calidad y Cobertura de los Datos

El conjunto de datos demuestra una alta integridad de la señal:

Fisiología: 91.0% de filas esperadas observadas; 76.0% de usabilidad para PPG/EDA/Temperatura.
Rastreo Ocular: 98.0% de filas observadas; 87.2% de usabilidad de mirada y 95.4% de usabilidad pupilar.
Audio: 95% de tasa de aprobación para usabilidad.
Autoinformes: 98.9% de completitud general para elementos post-tarea.

Rendimiento de los Puntos de Referencia

Clasificación de Tareas (B0): Se alcanzó una precisión del 64.1% (frente a una línea base del 26.5%), confirmando que las tareas son distinguibles conductualmente.
Estado Intrapersonal:
- Demanda Mental (B3a): La señal más fuerte (AUC 0.719), impulsada principalmente por una sola característica de audio: fracción de superposición. Esto sugiere que la carga cognitiva en grupos es en gran medida un fenómeno del suelo conversacional.
- Valencia (B1a): Rendimiento moderado (AUC 0.657).
- Activación (B1b) y Dominancia (B2): Rendimiento cercano al azar, atribuido a desajustes temporales entre las sondas retrospectivas y los picos de respuestas fisiológicas, y a limitaciones de características, respectivamente.
- Confianza (B3d): Cercana al azar en general, pero mejoró a un AUC de 0.679 cuando se restringió al contexto cooperativo de T4, lo que indica que las señales de confianza dependen del contexto.
Rasgos Interpersonales (Nivel 2): Todos los puntos de referencia de personalidad (B4a–B4c) funcionaron cerca o por debajo del azar. Los autores atribuyen esto al pequeño tamaño del pliegue de prueba (4 participantes) que hace que las estimaciones de AUC sean inestables, en lugar de una falta de señal. Las correlaciones de muestra completa sugieren que existen asociaciones (por ejemplo, Pupilas $\times$ Amabilidad $r=0.51$ ), pero el diseño actual no puede predecirlas de manera robusta.
Dinámicas Grupales (Nivel 3): Los puntos de referencia para la desigualdad de habla (B6a, B6b) y la superposición (B7) no lograron superar las líneas base ingenuas utilizando agregados de ventana de tarea. Sin embargo, un clasificador binario sobre la desviación estándar de la fracción de habla cruda alcanzó un AUC de 0.952, confirmando que la señal existe pero se pierde al agregarse a nivel de ventana de tarea.

Complementariedad Cruzada de Modalidades

El análisis reveló una correlación cercana a cero ( $|r| < 0.10$ ) entre el diámetro pupilar y la fisiología de muñeca, confirmando que proporcionan información distinta. Se encontró que las características de audio y pupila son los predictores dominantes para la detección del estado cognitivo, mientras que la fisiología contribuyó principalmente a objetivos sensibles a la activación.

Significado y Afirmaciones

El artículo posiciona a GroupAffect-4 no como un corpus a gran escala, sino como un recurso compacto y de alta densidad diseñado para una caracterización rigurosa del conjunto de datos. Sus contribuciones principales son:

Integración: Es el primer conjunto de datos descrito públicamente que combina fisiología portátil, mirada egocéntrica, audio de cercanía, autoinformes in situ, resultados de tareas explícitos y medidas de personalidad en un entorno sincronizado de cuatro personas.
Sincronización: Proporciona una pila multimodal estrechamente sincronizada (alineación sub-10 ms para video/audio, corrección lineal para la deriva de audio) que permite el estudio de relaciones cruzadas de niveles imposibles de probar en conjuntos de datos fragmentados.
Líneas Base de Viabilidad: El artículo establece que, aunque el conjunto de datos apoya una evaluación significativa de los estados intrapersonales (particularmente la demanda mental a través de la dinámica de audio), expone las limitaciones actuales en la predicción de rasgos interpersonales y dinámicas a nivel de grupo con tamaños de cohorte pequeños.
Transparencia: La publicación incluye una hoja de datos, metadatos Croissant, informes de calidad y scripts de procesamiento abiertos, adheridos a los principios FAIR y a las directrices de IA responsable (por ejemplo, filtrando el audio crudo bajo un Acuerdo de Uso de Datos para prevenir la reidentificación).

Los autores concluyen que el conjunto de datos sirve como un recurso fundamental para estudiar el afecto en grupos co-ubicados, ofreciendo una visión transparente de lo que actualmente es posible lograr con señales multimodales en grupos pequeños y destacando dónde se requieren mejoras metodológicas futuras o de escala de datos.