CREMD: Crowd-Sourced Emotional Multimodal Dogs Dataset

O artigo apresenta o CREMD, um conjunto de dados multimodal de cães com anotações de emoções realizadas por diversos participantes, revelando que o contexto visual e a presença de profissionais melhoram o acordo nas classificações, enquanto o áudio aumenta a confiança dos anotadores, embora não tenha sido possível concluir sobre seu impacto no acordo devido a limitações de design.

O essencial

Imagine que você é um detetive tentando descobrir o que um cachorro está sentindo. Às vezes, ele parece feliz, às vezes assustado, e às vezes... bem, você não tem a menor ideia. O problema é que os cachorros não falam português (ou inglês), então temos que "ler" a linguagem corporal e os sons deles.

Este artigo apresenta um projeto chamado CREMD, que é como uma biblioteca gigante de vídeos de cachorros criada para ajudar humanos e computadores a entenderem melhor essas emoções.

Aqui está a explicação simples, usando algumas analogias divertidas:

1. O Grande Experimento: "O Filme, o Trailer e o Áudio"

Os pesquisadores pegaram 923 vídeos de cachorros e os transformaram em três versões diferentes para ver como as pessoas reagiam:

• Versão "Mudo e Isolado" (NCNA): Você vê apenas a cabeça do cachorro, sem fundo e sem som. É como tentar adivinhar o clima de uma festa olhando apenas para o rosto de uma pessoa através de um buraco na parede.
• Versão "Cenário, mas Mudo" (YCNA): Você vê o cachorro no ambiente (na cozinha, no parque), mas o som está desligado. É como assistir a um filme mudo: você vê as expressões e onde eles estão, mas não ouve os latidos.
• Versão "Tudo em Um" (YCYA): O vídeo original, com o cenário e o som (latidos, roncos, vozes humanas). É como assistir ao filme completo.

O que eles descobriram?
Ver o cenário (o "cenário" do filme) ajudou muito as pessoas a concordarem entre si. Quando o som estava presente, as pessoas ficaram mais confiantes para dizer se o cachorro estava com raiva ou com medo, mas o som sozinho não foi suficiente para resolver todas as dúvidas (principalmente porque muitos vídeos tinham ruídos de fundo, como música ou gente falando, que atrapalhavam).

2. Quem é o Melhor Detetive? (A Surpresa)

Aqui está a parte mais interessante e contra-intuitiva. O estudo perguntou: "Quem é melhor em ler cachorros? Donos de cachorro ou quem não tem? Homens ou mulheres? Profissionais ou amadores?"

• Donos de Cachorro vs. Quem Não Tem: Esperava-se que os donos fossem melhores, certo? Eles conhecem seus bichinhos. Mas a surpresa foi que quem não tem cachorro concordou mais entre si do que os donos.
  • A Analogia: Imagine que você tem um filho. Você pode ver uma careta dele e pensar: "Ele está com fome, mas também está cansado e quer atenção". Você vê demais detalhes e nuances. Quem não tem filho vê a careta e pensa: "Ele está bravo". A falta de "viés de amor" fez os não-donos serem mais diretos e concordarem mais rápido.
• Homens vs. Mulheres: De forma semelhante, os homens tenderam a concordar mais entre si do que as mulheres.
  • A Analogia: As mulheres, muitas vezes mais sensíveis a nuances emocionais, podem ter visto várias camadas de emoção no mesmo vídeo (ex: "ele está feliz, mas um pouco ansioso"), o que gerou mais diversidade de respostas. Os homens tenderam a focar no sinal mais óbvio, levando a uma concordância mais rápida.
• Profissionais (Veterinários, Adestradores): Estes foram os campeões! Eles concordaram muito entre si.
  • A Analogia: Eles são como "mestres do xadrez" que jogam o jogo todos os dias. Eles têm um "manual interno" muito claro do que cada movimento significa, então eles não ficam confusos.

3. O Desafio do "Ruído"

Os pesquisadores tentaram fazer uma versão onde o cachorro estava sozinho (sem cenário) mas fazendo barulho. Mas desistiram.

• Por que? Porque na internet, quando um cachorro late, geralmente tem alguém gritando "Olha o cachorro!" ou música pop ao fundo. Era impossível separar o "latido de raiva" do "barulho da festa". Foi como tentar ouvir um sussurro no meio de um show de rock.

4. Por que isso importa?

Hoje em dia, estamos criando computadores que tentam "ler" a cara dos cachorros para ajudar em hospitais veterinários ou para garantir que os pets estejam felizes.

Se você treinar um computador usando apenas a opinião de donos de cachorro, ele pode ficar confuso porque os donos veem coisas que não estão lá (projetando seus próprios sentimentos). Se você treinar apenas com a opinião de quem não tem cachorro, o computador pode ser muito "rígido" e perder nuances.

A Lição Final:
Para ensinar um robô a entender um cachorro, precisamos de uma equipe mista: profissionais para a precisão técnica, donos para a sensibilidade emocional e pessoas de fora para a objetividade. O banco de dados CREMD é o "campo de treinamento" para que, no futuro, possamos ter sistemas que realmente entendam o que nossos melhores amigos de quatro patas estão sentindo.

Em resumo: Ver o cenário ajuda, o som ajuda na confiança, e ter uma equipe diversa de observadores é a chave para não errar a leitura da emoção do cachorro.

Resumo técnico

Resumo Técnico: CREMD – Dataset Multimodal de Emoções de Cães Crowdsourced

1. Problema e Motivação

O reconhecimento de emoções em cães é fundamental para melhorar a interação humano-animal, os cuidados veterinários e o desenvolvimento de sistemas automatizados de monitoramento de bem-estar. No entanto, a interpretação precisa das emoções caninas enfrenta desafios significativos devido à natureza subjetiva das avaliações emocionais e à ausência de métodos padronizados para estabelecer uma "verdade fundamental" (ground truth). A literatura existente carece de estudos que explorem sistematicamente como diferentes modalidades (vídeo, áudio, contexto) e características dos anotadores (propriedade de cães, gênero, experiência profissional) influenciam a percepção e a rotulagem dessas emoções.

2. Metodologia

• Coleta de Dados (CREMD):

  • O dataset consiste em 923 clipes de vídeo de cães, derivados de uma seleção inicial de 440 vídeos brutos (obtidos de YouTube, TikTok, Instagram e Pexels).
  • Após limpeza e pré-processamento (remoção de duplicatas, cortes e vídeos de baixa qualidade), os dados foram organizados em três modos de apresentação distintos para testar a influência de contexto e áudio:
    1. NCNA (No Context, No Audio): Vídeo sem contexto visual e sem áudio (apenas o cão recortado via YOLOv8m).
    2. YCNA (Yes Context, No Audio): Vídeo com contexto visual, mas com áudio mutado.
    3. YCYA (Yes Context, Yes Audio): Vídeo original com contexto e áudio.
  • Nota: A condição "No Context, Yes Audio" foi omitida devido à falta de vídeos públicos com vocalizações caninas claras e isoladas de ruído de fundo.

• Processo de Anotação:

  • Foi desenvolvido uma ferramenta de anotação personalizada (React.js + Firebase) para garantir controle de qualidade.
  • Participantes: 23 anotadores recrutados, com diversidade demográfica (16 donos de cães, 7 não donos; 8 profissionais da área, 15 não profissionais; proporção de 13 mulheres para 10 homens).
  • Tarefa: Os anotadores assistiram aos vídeos e selecionaram uma ou mais etiquetas de emoção (ex: Feliz, Raivoso, Medo, Neutro), avaliando a intensidade de 1 a 5.
  • Volume: Foram coletadas 12.794 anotações distintas e 15.195 votos totais, com a maioria dos clipes recebendo mais de 8 anotações.

3. Contribuições Principais

1. Novo Dataset Multimodal: Apresentação do CREMD, um recurso abrangente que permite investigar como a apresentação multimodal e as características dos anotadores afetam o reconhecimento de emoções caninas.
2. Análise de Modalidades: Estudo detalhado sobre como o contexto visual e as pistas auditivas impactam a concordância entre anotadores e sua confiança na identificação de emoções.
3. Análise Demográfica: Investigação de como fatores como posse de cães, gênero e experiência profissional influenciam os padrões de concordância.
4. Insights para Modelos de ML: Fornecimento de dados e análises que ajudam a entender os desafios no desenvolvimento de modelos de aprendizado de máquina para reconhecimento automático de emoções em cães.

4. Resultados Chave

• Impacto do Contexto Visual: A adição de contexto visual (YCNA e YCYA) melhorou significativamente a concordância entre os anotadores em comparação com o modo sem contexto (NCNA). A concordância mediana aumentou de 0,69 (NCNA) para 0,75 (YCYA).
• Impacto do Áudio: Os resultados sobre o impacto do áudio na concordância foram inconclusivos devido às limitações de design (ausência da condição NCNA com áudio e disponibilidade limitada de áudio limpo). No entanto, a presença de áudio aumentou significativamente a confiança dos anotadores na identificação de emoções específicas, especialmente raiva e medo.
• Fatores Demográficos (Resultados Contra-intuitivos):
  • Donos vs. Não Donos: Contrariando a expectativa de que donos teriam maior precisão, os não donos demonstraram níveis de concordância mais altos (0,80 vs 0,69). Os autores sugerem que donos podem projetar viéses pessoais ou interpretar nuances emocionais mais complexas, aumentando a variabilidade.
  • Gênero: Anotadores masculinos apresentaram maior concordância (0,79) do que as femininas (0,67). Isso pode indicar que homens tendem a focar em sinais emocionais mais óbvios, enquanto mulheres podem perceber nuances que geram mais diversidade de interpretação.
  • Profissionais: Como hipotetizado, os profissionais (treinadores, veterinários, etc.) mostraram a maior concordância geral (0,75), indicando que a experiência prática leva a uma interpretação mais objetiva e consistente.
• Consistência: A consistência interna dos anotadores (repetição de anotações) foi alta (68% totalmente consistentes), diminuindo à medida que mais contexto e áudio eram adicionados.

5. Significado e Conclusão

O estudo do CREMD destaca a complexidade do reconhecimento de emoções caninas e a importância de considerar o contexto multimodal e o perfil do observador.

• Para a Ciência de Dados: O dataset serve como um recurso fundamental para treinar e validar modelos de IA, oferecendo uma visão matizada sobre como diferentes grupos humanos rotulam emoções.
• Para a Interação Humano-Animal: Os resultados sugerem que a "verdade" sobre a emoção de um cão pode ser multifacetada. A combinação de perspectivas (ex: a sensibilidade emocional de donos/femininos com a objetividade de profissionais) pode levar a sistemas de anotação mais robustos.
• Limitações e Futuro: O estudo reconhece a necessidade de amostras maiores e mais balanceadas para análises demográficas mais rigorosas. O dataset será disponibilizado para a comunidade acadêmica para fomentar pesquisas futuras em computação afetiva e bem-estar animal.

Em suma, o CREMD não apenas fornece dados, mas também desafia suposições sobre quem é o melhor "observador" de emoções caninas, demonstrando que a experiência profissional e a falta de viés de propriedade podem, em certos contextos, levar a uma maior consistência na anotação.