Resumo Técnico: O Workshop e Desafio de Conversas Diádicas DaiKon da ACII 2026

Declaração do Problema

As benchmarks atuais em computação afetiva e IA conversacional focam predominantemente na previsão centrada no falante ou em resumos estáticos, falhando em capturar a natureza acoplada e evolutiva no tempo das interações diádicas (entre duas pessoas). Estruturas existentes frequentemente subrepresentam dinâmicas interpessoais críticas, incluindo influência direcional (como um falante afeta outro), coordenação temporal conversacional (tomada de turno) e o desenvolvimento de rapport ao longo do tempo. O Workshop e Desafio DaiKon da ACII 2026 aborda essa lacuna estabelecendo uma benchmark unificada para modelar esses processos relacionais dentro de um cenário naturalista e multimodal.

Metodologia e Conjunto de Dados

O Corpus Hume-DaiKon

O desafio é construído sobre o conjunto de dados Hume-DaiKon, uma coleção de 945 conversas diádicas naturalistas totalizando 743,4 horas de dados audiovisuais.

• Coleta: Os dados foram reunidos por meio de uma plataforma de canal duplo conectando participantes de regiões geográficas semelhantes. As conversas eram abertas, guiadas por prompts (por exemplo, "Para onde você foi nas suas últimas férias?") para elicitar comportamentos expressivos.
• Composição Multilíngue: O conjunto de dados inclui sessões em cinco idiomas: inglês, alemão, espanhol, holandês e polonês.
• Divisões: Os dados são partitionados em 661 sessões de treinamento, 142 de validação e 142 de teste. O conjunto de teste é mantido oculto e cego para avaliação oficial.
• Modalidade e Recursos:
  • Áudio: Processado usando um codificador Whisper-small para gerar embeddings de nível de quadro com 768 dimensões a ~3 FPS.
  • Vídeo: Processado usando FaceNet para gerar embeddings com 512 dimensões a partir de imagens faciais a 3 FPS, retendo apenas quadros com confiança de detecção $\ge$ 0,9.
  • Formato: Os recursos são liberados no formato Parquet para facilitar o carregamento eficiente sem a necessidade de decodificar mídias brutas.

Estratégias de Geração de Rótulos

O desafio emprega três abordagens distintas de rotulagem correspondentes aos seus sub-desafios:

1. Rótulos de Influência: Derivados de um modelo interno de expressão de fala que pontua a intensidade emocional para ambos os falantes por enunciado. O vocabulário-alvo inclui 10 dimensões (raiva, ansiedade, incerteza, confusão, dúvida, tédio, surpresa, curiosidade, alegria, diversão) selecionadas para cobrir o espaço valência–ativação.
2. Rótulos de Tomada de Turno: Gerados via Detecção de Atividade Vocal (VAD) por falante. Os eventos são anotados como troca (transferência limpa), sobreposição ou interrupção, capturando o próximo falante, tempo de início e tipo de transição.
3. Pseudo-rótulos de Rapport: Devido ao alto custo da anotação humana para classificações contínuas de rapport, um Modelo de Linguagem Grande (Qwen2.5-72B-Instruct) foi utilizado para gerar pseudo-rótulos. O modelo pontuou o rapport em uma escala [0, 1] para janelas de 30 segundos com base em transcrições, tags acústicas e contexto anterior. Essas pontuações foram suavizadas usando um kernel Gaussiano para criar trajetórias realistas.

Tarefas da Competição

O desafio é dividido em três sub-desafios coordenados:

1. Influência DaiKon: Prever a intensidade contínua de 10 dimensões emocionais para um falante-alvo com base no contexto diádico.
   • Métricas: Coeficiente de Correlação de Concordância (CCC) e correlação de Pearson.
2. Tomada de Turno DaiKon: Uma tarefa dupla prevendo (a) o próximo falante (classificação) e (b) o tempo até o início da próxima fala (regressão).
   • Métricas: Macro-F1/Acurácia para classificação; Erro Absoluto Médio (MAE) para regressão.
3. Rapport DaiKon: Prever a trajetória da qualidade do rapport ao longo do curso de uma conversa.
   • Métricas: CCC e correlação de Pearson.

Experimentos de Linha de Base e Resultados

Os organizadores liberaram sistemas de linha de base usando uma arquitetura compartilhada de MLP de duas camadas com cabeças específicas de tarefa, treinados nos conjuntos de recursos padronizados.

Principais Descobertas:

• Dominância do Áudio: Em todas as três tarefas, modelos apenas de áudio superaram significativamente os modelos apenas de vídeo.
  • Influência: O áudio alcançou 0,40 CCC versus 0,19 CCC para vídeo.
  • Tomada de Turno: O áudio alcançou 0,66 Macro-F1 versus 0,51 para vídeo.
  • Rapport: O áudio alcançou 0,68 CCC versus 0,26 CCC para vídeo.
• Limitações da Fusão Multimodal: No nível de linha de base, a simples concatenação de recursos de áudio e vídeo agrupados não melhorou consistentemente o desempenho sobre as linhas de base apenas de áudio. Na tarefa de Rapport, a linha de base multimodal (0,59 CCC) realmente teve desempenho inferior à linha de base apenas de áudio (0,68 CCC), sugerindo que a fusão ingênua pode introduzir ruído sem modelagem temporal sofisticada.
• Benchmarks de Desempenho:
  • Influência: Os melhores resultados de teste alcançaram 0,40 CCC e 0,50 de Pearson.
  • Tomada de Turno: Os melhores resultados de teste alcançaram 0,66 Macro-F1 e 1,50s de MAE.
  • Rapport: Os melhores resultados de teste alcançaram 0,68 CCC e 0,70 de Pearson.

Significado e Alegações

O artigo posiciona o Workshop e Desafio ACII-DaiKon como um passo fundamental para mover a computação afetiva além da análise isolada de falantes. Suas principais contribuições são:

1. Uma Benchmark Unificada: Fornece o primeiro conjunto de dados compartilhado e estrutura de avaliação especificamente projetados para estudar influência direcional, coordenação de tomada de turno e desenvolvimento de rapport simultaneamente.
2. Rigor Metodológico: Ao utilizar divisões fixas, métricas padronizadas e linhas de base liberadas, o desafio permite comparação reproduzível entre diferentes abordagens arquitetônicas.
3. Identificação de Lacunas de Pesquisa: Os resultados de linha de base destacam explicitamente que, embora os métodos atuais capturem padrões diádicos grosseiros, a modelagem robusta de dependência direcional e dinâmicas interpessoais de longo horizonte permanece um desafio significativo. O artigo afirma que o progresso futuro requer arquiteturas capazes de representar dependência temporal, acoplamento entre falantes e estratégias de fusão multimodal mais sofisticadas.

O workshop visa fomentar discussões interdisciplinares entre pesquisadores em computação afetiva, aprendizado de máquina, ciência da emoção e psicologia cultural para avançar o estado da arte em IA conversacional socialmente consciente.