BAH Dataset for Ambivalence/Hesitancy Recognition in Videos for Digital Behavioural Change

Este artigo apresenta o conjunto de dados BAH, um recurso multimodal com 1.427 vídeos de 300 participantes, destinado ao reconhecimento automático de ambivalência e hesitação em intervenções digitais de mudança comportamental, incluindo anotações de especialistas e resultados de benchmarks que destacam a necessidade de modelos avançados para essa tarefa.

O essencial

Imagine que você está tentando convencer um amigo a começar a fazer exercícios, mas ele fica meio "meio a meio". Ele diz "sim, eu quero", mas ao mesmo tempo dá de ombros, olha para o lado e hesita antes de responder. Essa mistura de sentimentos — querer e não querer ao mesmo tempo — é o que os cientistas chamam de Ambivalência ou Hesitação.

No mundo da saúde digital (como aplicativos que ajudam você a parar de fumar ou a comer melhor), detectar essa hesitação é crucial. Se o aplicativo não perceber que o usuário está em dúvida, ele não saberá como ajudar. Mas, até agora, ensinar computadores a "ler" essa dúvida era como tentar adivinhar o que um gato está pensando: muito difícil e sem muitas pistas.

É aqui que entra este novo estudo, publicado por um grupo de pesquisadores canadenses, apresentando o Dataset BAH.

O que é o Dataset BAH?

Pense no BAH como um "Livro de Receitas de Dúvidas".

Os pesquisadores criaram um banco de dados gigante com 1.427 vídeos de 300 pessoas reais no Canadá. Eles não apenas filmaram as pessoas; eles as colocaram em uma situação específica: um "avatar" (um boneco virtual na tela) fazia perguntas sobre hábitos de vida, como "O que você faz ao acordar?" ou "O que você gosta, mas sabe que deveria parar?".

O objetivo? Fazer as pessoas revelarem suas dúvidas e hesitações naturalmente. O resultado foi um arquivo de vídeo de mais de 10 horas, onde as pessoas mostram, sem querer, quando estão indecisas.

Como os cientistas "ensinaram" o computador?

Para criar esse livro de receitas, eles precisaram de especialistas humanos (como chefs de cozinha) para analisar cada vídeo. Três especialistas assistiram aos vídeos e marcaram exatamente quando a hesitação acontecia e quais eram os sinais.

Eles olharam para quatro "ingredientes" principais:

1. O Rosto: Um sorriso que não chega aos olhos, um olhar para o lado.
2. A Voz: Uma pausa estranha, um tom de voz trêmulo.
3. As Palavras: Usar palavras como "talvez", "mas", ou repetir coisas.
4. O Corpo: Mexer as mãos, mudar de postura, suspirar.

O mais interessante é que a hesitação muitas vezes acontece quando há um conflito. Por exemplo: a pessoa diz "Sim, eu vou fazer isso" (palavras), mas balança a cabeça negativamente (corpo) e tem um tom de voz triste (voz). O computador precisa aprender a detectar essa "briga" entre os sinais.

O Desafio: Por que é tão difícil?

O estudo mostrou que, mesmo com esse "livro de receitas" novo e completo, os computadores atuais ainda têm dificuldade. É como tentar ensinar um robô a dançar samba apenas mostrando fotos de pessoas dançando.

Os testes iniciais revelaram que:

• O contexto importa: Olhar apenas para um quadro congelado (uma foto) não ajuda. O computador precisa ver a sequência, como uma cena de filme, para entender a hesitação.
• A mistura é complexa: Não basta olhar só para o rosto ou só para a voz. O computador precisa entender como a voz e o rosto "conversam" (ou brigam) entre si.
• É sutil: A hesitação dura poucos segundos (em média 4 segundos). É um flash rápido de dúvida que exige atenção total.

Por que isso é importante para você?

Imagine um personal trainer virtual ou um terapeuta de bolso no seu celular.

• Hoje: Se você hesitar, o aplicativo pode insistir na mesma mensagem chata, e você pode desistir de usar o app.
• Com o BAH: No futuro, o aplicativo poderá "perceber" que você está hesitante. Ele pode mudar de tática: "Ei, notei que você está em dúvida. Vamos conversar sobre o que te preocupa?" ou "Que tal começarmos com algo bem pequeno?".

Isso torna a tecnologia mais humana, mais empática e muito mais eficaz para mudar comportamentos de saúde.

Resumo da Ópera

Os pesquisadores criaram o maior e mais detalhado "arquivo de dúvidas humanas" já feito para vídeos. Eles mostraram que, embora seja difícil ensinar máquinas a entender essa nuance emocional, agora temos as ferramentas (os dados e o código) para começar a construir assistentes digitais que não apenas veem o que você diz, mas sentem o que você está realmente pensando.

É um passo gigante para que a tecnologia de saúde deixe de ser um robô frio e passe a ser um parceiro que realmente entende a nossa humanidade.

Resumo técnico

Título: Dataset BAH para Reconhecimento de Ambivalência/Hesitação em Vídeos para Mudança de Comportamento Digital

1. O Problema

A ambivalência e a hesitação (A/H) são construtos psicológicos intimamente relacionados que representam os principais motivos pelos quais indivíduos adiam, evitam ou abandonam mudanças de comportamento relacionadas à saúde. Diferente de emoções básicas discretas (como alegria ou tristeza), A/H manifesta-se como um estado emocional sutil e conflitante, situado entre orientações positivas e negativas, ou entre aceitação e recusa.

• Desafio de Detecção: A/H é inerentemente multimodal, surgindo de discordâncias sutis entre múltiplas modalidades (expressões faciais, linguagem corporal, tom de voz e fala) ou dentro de uma única modalidade.
• Limitação Atual: Embora profissionais de saúde possam identificar esses sinais em interações presenciais, integrá-los em intervenções de saúde digital (eHealth) é custoso e ineficiente sem automação.
• Lacuna na Pesquisa: Não existiam conjuntos de dados (datasets) públicos e especializados para treinar e avaliar modelos de aprendizado de máquina (ML) capazes de reconhecer A/H em vídeos, limitando o desenvolvimento de intervenções digitais personalizadas e escaláveis.

2. Metodologia e o Dataset BAH

O artigo apresenta a criação e a análise do BAH (Behavioural Ambivalence/Hesitancy), o primeiro dataset multimodal focado no reconhecimento de A/H baseado em participantes.

• Coleta de Dados:

  • Participantes: 300 indivíduos recrutados em 9 províncias do Canadá, garantindo diversidade demográfica (idade, etnia, gênero).
  • Plataforma: Uma plataforma web ("Automatic Expression Recognition" - AER) onde os participantes gravaram a si mesmos respondendo a 7 perguntas estruturadas projetadas para elicitar respostas neutras, positivas, negativas, ambivalentes, dispostas, resistentes e hesitantes.
  • Escala: O dataset contém 1.427 vídeos (duração total de ~10,60 horas), com 778 vídeos contendo segmentos de A/H.
  • Dados Multimodais: Inclui vídeos brutos com áudio, rostos recortados e alinhados, transcrições de áudio (usando Whisper), metadados dos participantes e anotações detalhadas.

• Anotação:

  • Realizada por três especialistas em ciências comportamentais.
  • Níveis: Anotação em nível de vídeo (presença/ausência global) e nível de quadro (timestamps de início e fim dos segmentos).
  • Cues (Pistas): Os anotadores identificaram pistas específicas (faciais, corporais, auditivas, linguísticas) e inconsistências entre modalidades.
  • Rótulo Binário: Devido à manifestação similar de ambivalência e hesitação na prática, o rótulo é binário (1 = presença de A/H, 0 = ausência).
  • Qualidade: O acordo inter-anotador foi substancial no nível global (Kappa de 0,65) e moderado no nível de quadro (0,41).

• Divisão dos Dados:

  • Dividido aleatoriamente por participante para evitar vazamento de dados: Treino (195 participantes), Validação (30) e Teste (75).
  • Desequilíbrio (Imbalance): O dataset é altamente desbalanceado, com apenas 17,04% dos quadros contendo A/H.

3. Contribuições Principais

1. Novo Dataset BAH: Disponibilização pública do primeiro dataset multimodal específico para reconhecimento de ambivalência e hesitação em vídeos, projetado para refletir cenários reais de intervenções digitais (interação com avatar).
2. Anotação Rica: Fornecimento de anotações em nível de quadro e vídeo, incluindo timestamps precisos, pistas comportamentais e inconsistências multimodais, permitindo a criação de modelos interpretáveis.
3. Benchmarking e Análise: Apresentação de resultados preliminares usando modelos de base (baselines) para tarefas de classificação em nível de quadro e vídeo, predição zero-shot e personalização via adaptação de domínio.
4. Diretrizes Futuras: Identificação da necessidade de modelos multimodais adaptados e modelagem temporal para capturar conflitos afetivos sutis.

4. Resultados e Desempenho

Os autores realizaram experimentos extensivos para estabelecer linhas de base:

• Reconhecimento Unimodal vs. Multimodal:

  • O uso de apenas imagens (rostos) resultou em desempenho baixo (AP < 0,21), destacando a dificuldade de detectar A/H apenas visualmente.
  • O uso de texto (transcrições) isolado apresentou o melhor desempenho entre modalidades individuais (AVGF1 = 0,5497).
  • A fusão de modalidades (Visual + Áudio + Texto) melhorou o desempenho, mas técnicas de fusão padrão (concatenação simples) ainda não capturaram totalmente os conflitos entre modalidades.

• Importância do Contexto Temporal:

  • Modelos que consideram o contexto temporal (usando janelas de quadros adjacentes e Redes Convolucionais Temporais - TCN) superaram consistentemente os modelos que analisam quadros isolados.
  • O comprimento ideal da janela de contexto foi encontrado em torno de 1 segundo (24 quadros), alinhado com a duração média dos segmentos de A/H (~4,3 segundos).

• Fusão de Características:

  • Técnicas de fusão baseadas em atenção (como LFAN e CAN) superaram a simples concatenação, indicando que a interação entre modalidades é crucial para detectar conflitos afetivos.

• Modelos de Linguagem Multimodal (M-LLMs) e Zero-Shot:

  • O uso do Video-LLaVA-7B em modo zero-shot mostrou que prompts contendo transcrições e definições claras de A/H melhoram significativamente o desempenho, embora ainda inferior aos modelos supervisionados treinados no dataset.

• Personalização (Domain Adaptation):

  • Técnicas de Adaptação de Domínio Não Supervisionada (UDA) e Livre de Fonte (SFUDA) foram testadas para personalizar modelos para usuários individuais.
  • O método baseado em sujeitos (Sub-based) com pseudo-rótulos alcançou o melhor desempenho (AVGF1 = 0,5417), superando a linha de base Source-only e demonstrando viabilidade para intervenções personalizadas.

5. Significância e Impacto

O trabalho é fundamental para o avanço da Computação Afetiva e da Saúde Digital:

• Viabilidade de Intervenções Digitais: O dataset permite o desenvolvimento de sistemas automatizados capazes de detectar resistência e hesitação em tempo real, permitindo que assistentes virtuais e treinadores digitais adaptem suas estratégias de persuasão e suporte.
• Escalabilidade: Ao automatizar a detecção de A/H, torna-se possível escalar intervenções de mudança de comportamento para grandes populações, reduzindo custos e aumentando a eficácia comparado a intervenções presenciais.
• Novo Paradigma de Pesquisa: O BAH desafia a comunidade de ML a ir além das emoções básicas, focando em estados emocionais complexos, ambíguos e conflitantes, exigindo novas arquiteturas de fusão multimodal e modelagem temporal.
• Acesso Aberto: A disponibilidade do dataset, código e pesos pré-treinados no GitHub fomenta a reprodutibilidade e acelera a pesquisa na área.

Em resumo, o artigo estabelece a infraestrutura de dados e as linhas de base necessárias para que a inteligência artificial possa compreender e responder a um dos maiores obstáculos na mudança de comportamento humano: a ambivalência.