Evaluation of Conversational Agents: Understanding Culture, Context and Environment in Emotion Detection

Résumé Technique : Évaluation des Agents Conversationnels – Compréhension de la Culture, du Contexte et de l'Environnement dans la Détection des Émotions

Énoncé du Problème
L'article comble une lacune critique dans l'interaction Humain-IA, spécifiquement concernant le déploiement d'agents conversationnels et de systèmes de reconnaissance des émotions au sein des sociétés noires africaines. Bien que des solutions généralisées pour imiter les émotions humaines (y compris l'ironie) existent, elles échouent souvent à prendre en compte la localisation géographique et les différences culturelles. Les auteurs soulignent que les technologies actuelles, telles que la biométrie faciale, sous-performent fréquemment sur les démographies minoritaires, en particulier les populations noires. Ce manque de spécificité culturelle crée des risques éthiques et réduit la crédibilité des systèmes d'IA dans des contextes mondiaux diversifiés. Le problème central réside dans l'incapacité des modèles existants à détecter avec précision les micro-expressions, l'ironie et les signaux émotionnels culturellement spécifiques dans les communautés africaines, en raison de biais dans les données et d'un manque de traitement conscient du contexte.

Méthodologie
Pour répondre à ces défis, les auteurs ont développé un modèle hybride de prédiction des émotions intégrant à la fois des données vocales (audio) et des données d'images (visuelles). La méthodologie englobe les composants techniques suivants :

• Construction de l'ensemble de données : L'étude a utilisé des ensembles de données open-source standards (FER-2013, CREMA-D, RAVDESS, SAVEE, TESS) et les a augmentés avec 1 000 images générées localement au Ghana. Cet ensemble de données local comprenait des décomptes spécifiques pour sept émotions (Heureux, Surprise, Peur, En colère, Triste, Neutre, Dégoût) afin d'assurer la représentation de la communauté africaine (ghanéenne).
• Prétraitement :
  • Visuel : Les images ont été converties du RVB en niveaux de gris en utilisant une méthode de luminance pour optimiser les performances des Réseaux de Neurones Convolutifs (CNN). Des repères faciaux (68 points) ont été extraits à l'aide de la bibliothèque Dlib pour isoler des caractéristiques telles que les yeux, la bouche et les lignes de la mâchoire.
  • Audio : Les fichiers audio ont été convertis au format .wav et analysés pour des transformations fréquence-temps. Les caractéristiques extraites comprenaient le taux de passage par zéro (ZCR), le vecteur chroma, la déviation chroma, les coefficients cepstraux de fréquence mélique (MFCC), la racine carrée de la moyenne des carrés (RMS) et les mélaspectrogrammes.
• Architecture du Modèle :
  • Le système emploie un Réseau de Neurones Convolutifs (CNN) à 3 couches pour la classification des images et de l'audio. L'architecture comprend des blocs de convolution 2D, une normalisation par lots, une activation ReLU, un pooling maximal (taille 2) et des couches de dropout pour prévenir le surapprentissage.
  • Le modèle a été entraîné en utilisant l'optimiseur Adam avec un taux d'apprentissage de 0,001.
• Algorithme Novel (AFME) : Une contribution méthodologique clé est l'algorithme Moyenne d'Expression par Trame Audio (AFME). Cette approche mathématique valide les sorties des réseaux de neurones en analysant des sous-vidéos (5–8 secondes) pour capturer les micro-expressions. Il traite les émotions détectées comme des variables aléatoires discrètes provenant à la fois des flux audio et visuel. En mappant ces émotions sur la roue des émotions de Plutchik, l'algorithme attribue des poids pour détecter les « valeurs proches » (émotions situées entre deux émotions primaires) et identifie l'ironie lorsque les signaux audio et visuel se situent à des extrémités contrastées opposées du spectre émotionnel.

Contributions Clés

1. Augmentation des Données Culturelles : La création et l'intégration d'un ensemble de données d'images ghanéennes de source locale pour atténuer la sous-représentation des démographies noires dans les ensembles de données de reconnaissance des émotions existants.
2. Modalité Hybride : La mise en œuvre d'une approche à double flux (parole et image) pour améliorer la précision de la détection, reconnaissant que les signaux non verbaux et le ton sont cruciaux pour comprendre le contexte et l'ironie.
3. Algorithme AFME : L'introduction de l'algorithme de Moyenne d'Expression par Trame Audio, qui sert de couche de validation post-traitement pour réduire les mauvaises classifications (faux positifs/négatifs) et détecter spécifiquement l'ironie en analysant la divergence entre les signaux émotionnels audio et visuel.
4. Atténuation des Biais : Un focus sur les étapes de prétraitement et de post-traitement pour traiter les biais algorithmiques, allant au-delà de l'entraînement simple du modèle pour inclure des techniques d'équilibrage et de ré-pondération des données.

Résultats
Le modèle proposé a atteint des taux de précision compris entre 85 % et 96 %.

• Performance de Référence : Les tests initiaux du CNN sans l'algorithme AFME ont montré des précisions variables, avec « Heureux » atteignant 98 % et « Colère » 83,18 % sur l'ensemble de test.
• Performance Post-AFME : Après l'application de l'algorithme AFME, les métriques de performance globales se sont considérablement améliorées. Par exemple, la précision pour « Dégoût » est passée de 89,64 % à 94,64 %, et « Triste » s'est améliorée de 88,38 % à 97,34 %. La classe « Heureux » a atteint une précision de 100 %.
• Détection de l'Ironie : Le système a identifié avec succès l'ironie dans des cas de test où les expressions visuelles (par exemple, un sourire) contredisaient le contenu audio (par exemple, un ton en colère), une capacité dont les modèles standards manquent souvent.
• Comparaison : Le modèle final (CNN + AFME) a atteint une précision globale de 95,7 %, surpassant plusieurs modèles existants cités dans la littérature (par exemple, Syed [32] à 95,6 %, Giannopoulos [20] à 83 %).

Signification et Revendications
L'article revendique que sa signification principale réside dans le maintien de la crédibilité des systèmes de reconnaissance des émotions au sein des IA conversationnelles, en particulier pour les sociétés noires africaines. Les auteurs soutiennent que les modèles d'image ou de parole autonomes sont insuffisants pour une prédiction précise des émotions sur les visages noirs et que le contexte culturel est essentiel pour un déploiement éthique de l'IA.

L'étude souligne que :

• Nécessité Éthique : Ignorer les facteurs culturels et géographiques dans le développement de l'IA exacerbe les risques et limite l'utilité de la technologie dans des sociétés diversifiées.
• Amélioration Technique : L'intégration de l'algorithme AFME et l'utilisation de données localisées réduisent considérablement les biais et améliorent la détection d'états émotionnels complexes tels que l'ironie et les micro-expressions.
• Orientation Future : Les auteurs suggèrent que, bien que leur modèle améliore la précision, un travail supplémentaire est nécessaire pour accéder à de plus grands ensembles de données africains bien structurés et pour appliquer des cadres formels d'atténuation des biais (tels que l'AI Fairness 360 d'IBM) afin de valider et d'affiner davantage les résultats.

L'article conclut qu'en équilibrant les ensembles de données et en intégrant l'approche AFME, il est possible de concevoir des agents conversationnels plus compétents et dignes de confiance, capables de percevoir et de répondre aux émotions d'une manière consciente du contexte culturel.