CREMD: Crowd-Sourced Emotional Multimodal Dogs Dataset

Le papier présente le jeu de données CREMD, une ressource multimodale crowdsourcée qui analyse l'influence du contexte visuel, des signaux audio et des caractéristiques des annotateurs sur la reconnaissance et la confiance dans l'identification des émotions canines.

L'essentiel

🐕 Le Projet : "Traduire le langage des pattes"

Imaginez que vous essayez de comprendre ce que pense un ami qui ne parle pas votre langue. Vous regardez son visage, vous écoutez sa voix, et vous observez son environnement. C'est exactement ce que les chercheurs du CREMD (Crowd-sourced Emotional Multimodal Dogs Dataset) ont voulu faire, mais avec des chiens.

Leur but ? Créer une "traductrice" universelle pour les émotions canines. Mais il y a un problème : les chiens ne parlent pas, et les humains ne sont pas tous d'accord sur ce que signifie un grognement ou une queue qui bat. Est-ce de la joie ou de l'agressivité ?

Pour résoudre ce casse-tête, ils ont créé une immense bibliothèque de vidéos de chiens, annotée par des centaines de personnes.

🎬 L'Expérience : Trois façons de regarder le même film

Pour voir comment nous interprétons les émotions, les chercheurs ont créé trois versions de chaque vidéo de chien, comme si on regardait un film dans trois salles différentes :

1. La Salle Sombre (Sans contexte, sans son) : On ne voit que le chien, tout en gros plan, comme si on regardait un portrait. Pas de bruit, pas de décor. C'est comme essayer de deviner l'humeur d'une personne en ne voyant que son nez.
2. La Salle avec Scène (Avec contexte, sans son) : On voit le chien dans son environnement (un parc, un salon), mais le son est coupé. On voit s'il joue avec un jouet ou s'il est seul. C'est comme lire un livre sans entendre la voix du narrateur.
3. La Salle Cinéma (Avec contexte et son) : La version complète ! On voit le chien, on entend ses aboiements, ses gémissements et le bruit de la rue. C'est l'expérience totale.

👥 Les Spectateurs : Qui regarde le film ?

Ils n'ont pas juste demandé à des experts de regarder. Ils ont fait appel à une foule variée de 23 personnes, un peu comme un jury populaire :

• Des propriétaires de chiens (ceux qui connaissent leur toutou par cœur).
• Des non-propriétaires (ceux qui n'ont jamais eu de chien).
• Des professionnels (éducateurs, vétérinaires, promeneurs).
• Des hommes et des femmes.

L'idée était de voir si le fait d'avoir un chien ou d'être un expert changeait la façon dont on "lit" l'émotion.

🧐 Les Découvertes Surprenantes

Voici les résultats les plus intéressants, expliqués simplement :

1. Le décor aide, mais le son est un mystère
Quand on ajoutait le contexte visuel (la salle avec scène), les gens se mettaient beaucoup plus d'accord sur l'émotion. C'est logique : voir un chien courir après une balle aide à comprendre qu'il est "heureux".
Cependant, ajouter le son n'a pas forcément rendu les gens plus d'accord entre eux. Pourquoi ? Parce que dans les vidéos trouvées sur Internet, le son est souvent sale (de la musique, des voix humaines) ou les chiens ne grognent pas toujours clairement. C'est comme essayer de comprendre une conversation dans un bar bruyant : ça aide, mais ça peut aussi embrouiller.

2. Le paradoxe des propriétaires
C'est ici que ça devient drôle ! On s'attendait à ce que les propriétaires de chiens soient les meilleurs pour deviner les émotions. Faux !

• Les propriétaires et les femmes étaient plus divisés. Ils voyaient plus de nuances, plus de subtilités. C'est comme si chacun projetait son propre chien sur l'image, ce qui créait plus de désaccords.
• Les non-propriétaires et les hommes étaient plus d'accord entre eux. Ils se fiaient aux signes évidents (queue qui remue = joie, dents qui montrent = colère). C'est une lecture plus "directe", mais peut-être moins nuancée.

3. Les experts sont les plus cohérents
Les professionnels (éducateurs, vétérinaires) étaient ceux qui s'accordaient le plus souvent. Leur expérience leur donne une "boussole" interne très précise. Ils ne se laissent pas embrouiller par les détails personnels ; ils voient le comportement pur.

4. Le son booste la confiance
Même si le son ne rendait pas tout le monde d'accord, il rendait les gens plus sûrs d'eux. Quand on entend un grognement, on est très convaincu que le chien a peur ou est en colère. Le son agit comme un amplificateur de certitude.

🎯 Pourquoi c'est important ?

Ce projet est comme une boussole pour les futurs robots et intelligences artificielles. Si on veut créer une caméra qui détecte quand un chien souffre ou a peur pour aider les vétérinaires, cette caméra doit être entraînée avec des données variées.

L'article nous apprend qu'il n'y a pas une seule "vérité" sur l'émotion d'un chien. Cela dépend de qui regarde, de ce qu'il voit et de ce qu'il entend. Pour bien comprendre nos amis à quatre pattes, il faut écouter plusieurs points de vue, pas seulement celui de l'expert ou du propriétaire.

En résumé, le CREMD nous dit : "Pour lire un chien, il faut regarder le film complet, mais garder à l'esprit que chaque spectateur a son propre interprétation." 🐾🎥

Résumé technique

1. Problématique

La reconnaissance des émotions chez le chien est un défi majeur pour améliorer les interactions humain-animal, les soins vétérinaires et le développement de systèmes automatisés de surveillance du bien-être canin. Cependant, l'interprétation précise de ces émotions se heurte à deux obstacles principaux :

• La nature subjective de l'évaluation émotionnelle.
• L'absence de méthodes standardisées pour établir une "vérité terrain" (ground truth) fiable dans les jeux de données existants.
  De plus, peu d'études ont systématiquement exploré comment les différents modes de présentation (contexte visuel, audio) et les caractéristiques des annotateurs (propriétaires, professionnels, genre) influencent la perception et l'étiquetage des émotions.

2. Méthodologie

A. Collecte et Constitution du Jeu de Données (CREMD)

Les auteurs ont créé le jeu de données CREMD (Crowd-sourced Emotional Multimodal Dogs Dataset) en suivant une approche rigoureuse :

• Sources : Recherche sur YouTube, Instagram, TikTok et Pexels à l'aide de mots-clés spécifiques pour chaque catégorie émotionnelle (Peur, Joie, Colère, Neutre).
• Pré-traitement : Sur 440 vidéos initiales, 402 ont été nettoyées (suppression des duplicatas, des segments partiels et des vidéos de mauvaise qualité).
• Métadonnées : Un suivi détaillé a été établi pour 351 chiens uniques (race, âge, sexe, taille, etc.).
• Modes de Présentation : Pour chaque vidéo, trois versions ont été générées afin d'isoler l'impact des modalités :
  1. NCNA (No Context, No Audio) : Vidéo muette avec le chien recadré (sans contexte environnemental).
  2. YCNA (Yes Context, No Audio) : Vidéo muette avec le contexte visuel complet.
  3. YCYA (Yes Context, Yes Audio) : Vidéo originale avec contexte et audio.
     Note : Une condition "Sans contexte avec audio" (NCYA) n'a pas pu être incluse en raison du manque de vidéos publiques contenant des vocalisations de chiens claires et isolées du bruit de fond.
• Taille finale : 923 clips vidéo au total (402 NCNA, 402 YCNA, 119 YCYA), d'une durée moyenne de 15,8 secondes.

B. Annotation par la Foule (Crowdsourcing)

• Outil : Développement d'un outil d'annotation personnalisé (React.js/Firebase) pour un contrôle accru sur la qualité, contrairement aux plateformes génériques comme MTurk.
• Participants : 23 annotateurs recrutés pour assurer la diversité démographique (propriétaires vs non-propriétaires, professionnels vs non-professionnels, répartition par genre et origine ethnique).
• Procédure : Chaque annotateur a visionné les vidéos et sélectionné une ou plusieurs étiquettes émotionnelles avec une intensité de 1 à 5. Des vidéos de contrôle (10 %) étaient répétées pour évaluer la cohérence interne.
• Volume : 12 794 annotations distinctes et 15 195 votes au total.

3. Contributions Clés

1. Approche novatrice de vérité terrain : Établissement d'une vérité terrain via une présentation multimodale et des groupes d'annotateurs diversifiés.
2. Analyse approfondie des modalités : Étude de l'impact du contexte visuel et des indices auditifs sur l'accord inter-annotateurs et la confiance.
3. Investigation démographique : Analyse des facteurs démographiques (genre, propriété d'un chien, expérience professionnelle) influençant les schémas d'accord.
4. Ressource pour le ML : Fourniture d'un jeu de données fondamental pour le développement de modèles d'apprentissage automatique pour la reconnaissance des émotions canines.

4. Résultats Principaux

A. Impact des Modalités (Contexte et Audio)

• Le contexte visuel est déterminant : L'ajout de contexte visuel (passage de NCNA à YCNA) a significativement amélioré l'accord entre les annotateurs (médiane passant de 0,69 à 0,71).
• L'audio : résultats mitigés mais prometteurs pour la confiance :
  • L'impact de l'audio sur l'accord global est inconclusif en raison de limitations de conception (absence de condition NCYA et subset YCYA plus petit).
  • Cependant, la présence d'audio a augmenté la confiance des annotateurs (notamment pour les émotions de colère et de peur), se traduisant par des notes d'intensité plus élevées (niveau 5).
  • L'audio a introduit une ambiguïté spécifique : confusion fréquente entre la colère et la peur (partage de vocalisations comme le grognement).

B. Cohérence et Cohérence Inter-Annotateurs

• Accord global : Les vidéos avec contexte et audio (YCYA) ont montré le taux d'accord médian le plus élevé (0,75).
• Cohérence interne : 68 % des annotations sur les vidéos répétées étaient totalement cohérentes. La cohérence augmentait avec l'ajout de contexte et d'audio.

C. Facteurs Démographiques (Résultats Contre-Intuitifs)

L'analyse statistique (tests de Mann-Whitney U) a révélé des tendances surprenantes :

• Propriétaires vs Non-propriétaires : Les non-propriétaires ont montré un niveau d'accord plus élevé que les propriétaires. Les auteurs suggèrent que les propriétaires projettent leurs propres expériences et biais émotionnels, augmentant la variabilité, tandis que les non-propriétaires se fient davantage aux signaux observables objectifs.
• Hommes vs Femmes : Les hommes ont montré un accord plus élevé que les femmes. Cela pourrait s'expliquer par une tendance des hommes à se concentrer sur des signaux émotionnels dominants, tandis que les femmes (souvent plus sensibles aux nuances) pourraient percevoir des états émotionnels multiples, augmentant la diversité des interprétations.
• Professionnels vs Non-professionnels : Conformément à l'hypothèse initiale, les professionnels (dresseurs, soigneurs) ont affiché le niveau d'accord le plus élevé, grâce à leur expérience objective et leur modèle interne robuste des comportements canins.

5. Signification et Perspectives

Le jeu de données CREMD met en lumière la complexité de la reconnaissance des émotions animales. Il démontre que :

• La vérité terrain dans ce domaine ne peut être unique ; elle dépend fortement du contexte et du profil de l'observateur.
• Les modèles d'apprentissage automatique futurs devront probablement intégrer des approches hybrides, combinant la sensibilité émotionnelle (souvent associée aux propriétaires/femmes) et l'objectivité structurée (associée aux professionnels/hommes).
• L'audio, bien que difficile à isoler dans des données publiques, est crucial pour la confiance des annotateurs sur des émotions spécifiques (peur, colère).

Impact Éthique : L'étude souligne l'importance de la transparence sur la composition des annotateurs pour éviter les biais dans les modèles entraînés. Le dataset sera rendu disponible à la communauté académique pour favoriser des recherches éthiques et rigoureuses sur le bien-être animal.