🤖 AI

GroupAffect-4: A Multimodal Dataset of Four-Person Collaborative Interaction

Este artigo apresenta o GroupAffect-4, um conjunto de dados multimodal abrangente de 40 participantes em dez grupos de quatro pessoas executando tarefas colaborativas diversas, que integra dados sincronizados de fisiologia, rastreamento ocular, áudio e autorrelato para permitir a análise do afeto nos níveis individual, interpessoal e de grupo.

Autores originais: Meisam Jamshidi Seikavandi, Alice Modica, Anna Obara, Shan Ahmed Shaffi, Fabricio Batista Narcizo, Tanya Ignatenko, Ted Vucurevich, Karim Haddad, Daniel Barratt, Daniel Overholt, Jesper Bunsow Boldt

Publicado 2026-05-20

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Meisam Jamshidi Seikavandi, Alice Modica, Anna Obara, Shan Ahmed Shaffi, Fabricio Batista Narcizo, Tanya Ignatenko, Ted Vucurevich, Karim Haddad, Daniel Barratt, Daniel Overholt, Jesper Bunsow Boldt, Paolo Burelli, Andrew Burke Dittberner

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine tentar entender um grupo de amigos resolvendo um quebra-cabeça juntos. Geralmente, os pesquisadores podem apenas ouvir suas vozes, ou apenas olhar para seus rostos, ou talvez apenas perguntar como se sentiram depois. Mas para realmente entender a "vibe do grupo", você precisa ver tudo acontecendo ao mesmo tempo: suas frequências cardíacas, para onde estão olhando, o que estão dizendo e como estão se sentindo, tudo sincronizado ao mesmo segundo exato.

Isso é exatamente o que o artigo GroupAffect-4 introduz. É um novo "filme" altamente detalhado do trabalho em equipe humano, mas, em vez de uma câmera de cinema, ele usa um conjunto de sensores de alta tecnologia.

Aqui está a explicação do que eles fizeram e do que descobriram, usando analogias simples:

1. O Cenário: Um "Traje de Sensores" para uma Equipe

Os pesquisadores reuniram 40 pessoas e as colocaram em 10 grupos de quatro. Eles não apenas as sentaram em uma sala; deram a todos um "kit de detetive digital":

Sensores de Pulso: Como um smartwatch, estes rastreavam a frequência cardíaca, o suor da pele (que mostra estresse) e a temperatura corporal.
Óculos Inteligentes: Estes rastreavam exatamente para onde cada pessoa estava olhando e como suas pupilas mudavam de tamanho (um sinal de esforço mental).
Microfones de Lapela: Minúsculos microfones no peito de todos para ouvir exatamente quem estava falando e quando.
Tablets: Estes exibiam perguntas durante as tarefas, perguntando: "Quão estressado você está agora?" ou "Quão feliz você se sente?".

2. O Enredo: Quatro "Capítulos" Diferentes de Interação

Os grupos não apenas conversaram; eles jogaram quatro jogos específicos projetados para desencadear emoções diferentes:

O Mistério (Agrupamento de Informações): Todos tinham pistas diferentes sobre um candidato falso a um emprego. Eles precisavam compartilhar seus segredos para encontrar a resposta correta.
A Negociação: Eles precisavam planejar um workshop, mas todos tinham uma agenda secreta (por exemplo: "Eu preciso escolher o tópico de IA"). Isso criou tensão e debate.
O Brainstorming: Eles precisavam criar ideias criativas para uma festa. Esta era a parte "divertida".
O Jogo da Confiança: Eles precisavam decidir quanto de seu próprio "dinheiro" (fichas) colocar em um pote compartilhado. Isso testava cooperação e ganância.

3. A Grande Descoberta: O Que os Dados Realmente Disseram

Os pesquisadores tentaram usar computadores para prever o que estava acontecendo apenas olhando para os dados dos sensores. Aqui está o que funcionou e o que não funcionou:

O Sinal de "Falar Por Cima": A melhor maneira de dizer se um grupo estava sob pressão mental (como durante a negociação) não era sua frequência cardíaca. Era quem estava falando por cima de quem. Quando as pessoas se interrompiam mais, o computador sabia que o grupo estava estressado. É como ouvir uma cozinha caótica durante o preparo do jantar versus uma calma.
Os Olhos Contam uma História Diferente: Enquanto os padrões de fala mostravam estresse, as pupilas (olhos) eram melhores para mostrar o quão engajada alguém estava.
O Limite da "Frequência Cardíaca": Surpreendentemente, os sensores de pulso (frequência cardíaca) não eram bons para adivinhar se alguém estava feliz ou com raiva. Eles eram muito "ruidosos" e não correspondiam perfeitamente ao que as pessoas diziam que sentiam.
O Quebra-Cabeça da "Personalidade": Os pesquisadores tentaram adivinhar os traços de personalidade das pessoas (como "Você é introvertido ou extrovertido?") apenas observando-os trabalhar. Eles falharam. Os dados não eram claros o suficiente para fazer isso. É como tentar adivinhar toda a história de vida de alguém apenas observando-os pedir um café por 10 minutos.
O Mistério do "Grupo": Eles tentaram prever como o grupo inteiro se comportaria com base na soma de suas partes. O computador também errou nisso. Um grupo é mais do que apenas a soma de quatro indivíduos; a "dinâmica do grupo" é uma dança complexa que os dados atuais não conseguiam capturar totalmente.

4. Por Que Isso Importa (De Acordo com o Artigo)

O artigo afirma que este conjunto de dados é especial porque é denso, não apenas grande.

Conjuntos de Dados Antigos: Como uma foto borrada onde você pode ver as pessoas, mas não suas expressões.
GroupAffect-4: Como um vídeo em 4K em câmera lenta onde você pode ver o suor em suas testas, a dilatação de suas pupilas e ouvir o tom exato de suas vozes, tudo perfeitamente sincronizado.

5. Avisos Importantes (O Que o Artigo Não Diz)

Os autores são muito cuidadosos ao dizer para que estes dados NÃO servem:

Não é uma Ferramenta Médica: Você não pode usar isso para diagnosticar problemas de saúde mental.
Não é uma Ferramenta de Contratação: Você não pode usar isso para decidir quem contratar ou demitir.
Não é uma Ferramenta de Espionagem: Os dados estão protegidos para que ninguém tente identificar quem são as pessoas específicas (embora os dados de voz sejam mantidos privados por essa razão).
Não é uma Bola de Cristal: Como os grupos eram pequenos (apenas 10 grupos), os resultados são uma "verificação de viabilidade". Isso prova que a ideia funciona, mas não significa que podemos prever perfeitamente o comportamento humano em todas as situações ainda.

Em resumo: GroupAffect-4 é uma gravação de alta definição e multissensorial de quatro pessoas trabalhando juntas. Mostra-nos que quem interrompe quem é uma pista enorme sobre o quão estressada uma equipe está, mas prever personalidade ou dinâmicas de grupo complexas ainda é um quebra-cabeça muito difícil que este conjunto de dados nos ajuda a começar a resolver, mas ainda não terminou.

Resumo Técnico: GroupAffect-4

Declaração do Problema

Os corpora existentes de computação afetiva e processamento de sinais sociais tipicamente capturam a interação humana em configurações de participante único ou díade (duas pessoas). Embora esses conjuntos de dados ofereçam insights valiosos, raramente suportam a análise do afeto em grupos co-localizados como um processo acoplado ocorrendo simultaneamente em três níveis:

Intrapessoal: Estado fisiológico, atenção e carga cognitiva.
Interpessoal: Personalidade, confiança e posições de negociação.
Nível de grupo: Equilíbrio de fala, coordenação e resultados coletivos.

A literatura atual frequentemente fragmenta os sinais necessários (fisiologia por participante, movimento ocular, áudio, autorrelatos, resultados de tarefas e personalidade) em tradições de conjuntos de dados separados. Há uma falta de corpora descritos publicamente que combinem todas essas modalidades em um único cenário de grupo sincronizado de quatro pessoas para permitir análise cruzada de níveis (por exemplo, testar se a excitação fisiológica acompanha a dominância subjetiva ou se a sobreposição de áudio prevê a demanda cognitiva independentemente da fisiologia).

Metodologia

Design do Conjunto de Dados e Participantes

O GroupAffect-4 é um corpus multimodal composto por 10 sessões de grupos de quatro pessoas ( $N=40$ participantes únicos). O estudo foi conduzido em um único local (GN Advanced Science, Dinamarca) com participantes recrutados de funcionários internos e redes universitárias. A coorte tem uma idade média de 35,4 anos (DP 9,2) e é predominantemente composta por estranhos (média de familiaridade pré-sessão de 1,68 em uma escala de 7 pontos).

Protocolo Experimental

Cada sessão durou aproximadamente 70 minutos e seguiu uma sequência fixa sem contrabalançamento:

T0 (Linha de base de conversa livre): 5 minutos de conversa não estruturada para estabilização dos sensores.
T1 (Decisão de perfil oculto): Uma tarefa de raciocínio em grupo exigindo consenso sobre uma decisão de contratação com informações assimétricas.
T2 (Mini-negociação): Uma tarefa envolvendo interesses interdependentes onde os grupos negociaram um tópico e formato de oficina.
T3 (Geração de ideias): Uma tarefa criativa usando a Técnica de Grupo Nominal (NGT) para gerar e selecionar ideias.
T4 (Jogo de bens públicos): Um microjogo medindo tensão cooperativa e comparação social por meio de contribuições de fichas.

Aquisição de Dados e Modalidades

Os participantes foram instrumentados com:

Fisiologia: Sensores de pulso EmotiBit registrando Fotopletismografia (PPG), Atividade Eletrodérmica (EDA), temperatura da pele e IMU a ~25 Hz.
Rastreamento Ocular: Tobii Pro Glasses 3 registrando o olhar relativo ao quadro da cena e o diâmetro pupilar a 50 Hz.
Áudio: Microfones de lapela DPA 4060 de proximidade gravados a 48 kHz.
Autorrelato: Sondagens Tablet-based Self-Assessment Manikin (SAM) para Valência, Excitação e Dominância (VAD) coletadas em intervalos agendados, mais questionários pós-tarefa.
Personalidade: Pontuações pré-sessão do Inventário Big-Five (BFI-44).
Sincronização: Todas as modalidades foram sincronizadas por meio de uma base de tempo comum do Lab Streaming Layer (LSL), com correções de deriva de relógio de hardware aplicadas ao áudio.

Processamento e Benchmarks

A publicação segue uma estrutura inspirada no BIDS com metadados Croissant. Os autores definiram 15 alvos de benchmark em três níveis de análise e estabeleceram baselines de viabilidade usando Validação Cruzada Leave-One-Group-Out (LOGO-CV) para garantir que nenhum participante no conjunto de teste compartilhasse um contexto de interação com os dados de treinamento.

Nível 1 (Estado intrapessoal): Previsão de rótulos de tarefa, valência, excitação, dominância, demanda mental, engajamento, satisfação e confiança.
Nível 2 (Traços interpessoais): Previsão de traços de personalidade BFI (Extroversão, Abertura, Amabilidade) e níveis de contribuição.
Nível 3 (Dinâmica de grupo): Previsão de coeficientes Gini de fala (desigualdade) e frações de sobreposição de fala.

O pré-processamento incluiu filtragem de qualidade, verificações de plausibilidade, winsorização e normalização robusta de z-score intrapessoal (para o Nível 1) ou retenção de recursos absolutos (para o Nível 2).

Principais Resultados

Qualidade e Cobertura dos Dados

O conjunto de dados demonstra alta integridade de sinal:

Fisiologia: 91,0% das linhas esperadas observadas; 76,0% de usabilidade para PPG/EDA/Temperatura.
Rastreamento Ocular: 98,0% das linhas observadas; 87,2% de usabilidade de olhar e 95,4% de usabilidade pupilar.
Áudio: 95% de taxa de aprovação para usabilidade.
Autorrelatos: 98,9% de completude geral para itens pós-tarefa.

Desempenho dos Benchmarks

Classificação de Tarefa (B0): Alcançou 64,1% de precisão (vs. 26,5% de baseline), confirmando que as tarefas são distinguíveis comportamentalmente.
Estado Intrapessoal:
- Demanda Mental (B3a): O sinal mais forte (AUC 0,719), impulsionado principalmente por um único recurso de áudio: fração de sobreposição. Isso sugere que a carga cognitiva em grupos é amplamente um fenômeno de piso conversacional.
- Valência (B1a): Desempenho moderado (AUC 0,657).
- Excitação (B1b) e Dominância (B2): Desempenho próximo ao acaso, atribuído a incompatibilidades temporais entre sondas retrospectivas e respostas fisiológicas de pico, e limitações de recursos, respectivamente.
- Confiança (B3d): Próximo ao acaso no geral, mas melhorou para AUC 0,679 quando restrito ao contexto cooperativo de T4, indicando que os sinais de confiança são dependentes do contexto.
Traços Interpessoais (Nível 2): Todos os benchmarks de personalidade (B4a–B4c) performaram perto ou abaixo do acaso. Os autores atribuem isso ao pequeno tamanho do conjunto de teste (4 participantes) tornando as estimativas de AUC instáveis, e não à falta de sinal. Correlações de amostra completa sugerem que associações existem (por exemplo, Pupila $\times$ Amabilidade $r=0,51$ ), mas o design atual não pode prevê-las de forma robusta.
Dinâmica de Grupo (Nível 3): Benchmarks para desigualdade de fala (B6a, B6b) e sobreposição (B7) falharam em superar baselines ingênuas usando agregados de janela de tarefa. No entanto, um classificador binário no desvio padrão da fração de fala bruta alcançou AUC 0,952, confirmando que o sinal existe, mas é perdido quando agregado no nível de janela de tarefa.

Complementaridade Cruzada de Modalidades

A análise revelou correlação próxima de zero ( $|r| < 0,10$ ) entre o diâmetro pupilar e a fisiologia de pulso, confirmando que fornecem informações distintas. Recursos de áudio e pupilar foram encontrados como os preditores dominantes para detecção de estado cognitivo, enquanto a fisiologia contribuiu principalmente para alvos sensíveis à excitação.

Significado e Alegações

O artigo posiciona o GroupAffect-4 não como um corpus de grande escala, mas como um recurso compacto e de alta densidade projetado para caracterização rigorosa de conjuntos de dados. Suas principais contribuições são:

Integração: É o primeiro conjunto de dados descrito publicamente a combinar fisiologia vestível, olhar egocêntrico, áudio de proximidade, autorrelatos in-situ, resultados de tarefas explícitos e medidas de personalidade em um cenário sincronizado de quatro pessoas.
Sincronização: Fornece uma pilha multimodal estritamente sincronizada (alinhamento sub-10ms para vídeo/áudio, correção linear para deriva de áudio) permitindo o estudo de relações cruzadas de níveis que são impossíveis de testar em conjuntos de dados fragmentados.
Baselines de Viabilidade: O artigo estabelece que, embora o conjunto de dados suporte avaliação significativa de estados intrapessoais (particularmente demanda mental via dinâmica de áudio), ele expõe limitações atuais na previsão de traços interpessoais e dinâmicas de nível de grupo com tamanhos de coorte pequenos.
Transparência: A publicação inclui uma folha de dados, metadados Croissant, relatórios de qualidade e scripts de processamento abertos, aderindo aos princípios FAIR e diretrizes de IA responsável (por exemplo, filtrando áudio bruto sob um Acordo de Uso de Dados para prevenir reidentificação).

Os autores concluem que o conjunto de dados serve como um recurso fundamental para estudar o afeto de grupos co-localizados, oferecendo uma visão transparente do que é atualmente alcançável com sinais multimodais em pequenos grupos e destacando onde melhorias metodológicas futuras ou de escala de dados são necessárias.