Affect-Aware Human-Agent Conversations: Towards Empathic LLM Interaction

Résumé Technique : Conversions Humain-Agent Sensibles à l'Affect

Énoncé du Problème
Les grands modèles de langage (LLM) possèdent des capacités conversationnelles mais manquent d'expérience émotionnelle authentique, s'appuyant plutôt sur la reconnaissance de motifs probabilistes pour simuler l'empathie. Cela crée une « illusion de compassion », où la reconnaissance algorithmique des indices émotionnels est confondue avec une résonance véritable. Les interactions actuelles entre l'humain et l'IA sont principalement textuelles, excluant les indices affectifs non verbaux qui sont centraux dans l'interprétation humaine. Par conséquent, les réponses des LLM manquent souvent de « ancrage relationnel », dépendant uniquement de l'entrée textuelle explicite plutôt que du contexte riche et situé de la communication humaine. Bien que des travaux antérieurs aient introduit le « Prompting Empathique » comme une preuve de concept, celui-ci est resté exploratoire et limité à des implémentations pilotes rapides sans intégration robuste en temps réel ni validation utilisateur complète.

Méthodologie
L'étude propose et évalue le Prompting Étendu Empathique, un cadre sensible à l'affect en temps réel conçu pour enrichir les conversations humain-LLM avec des descripteurs affectifs faciaux.

• Architecture du Système : Le système utilise une architecture client-middleware-serveur.

  • Client : Capture les expressions faciales de l'utilisateur via un flux de caméra.
  • Middleware : Traite la vidéo à l'aide de Noldus FaceReader pour extraire des descripteurs affectifs de haut niveau (émotion dominante, intensité, valence, éveil) plutôt que des unités d'action brutes. Un middleware personnalisé filtre, synchronise et sérialise ces descripteurs dans un format compact de type JSON, les stockant dans une File d'Attente des Paramètres Émotionnels (EPQ) pour maintenir la mémoire à court terme de l'état de l'utilisateur.
  • Serveur : Lors de la soumission du texte par l'utilisateur, le serveur récupère les échantillons affectifs les plus récents. Une fenêtre temporelle de 3 secondes applique un vote majoritaire pour l'émotion dominante et calcule la moyenne de l'intensité, de la valence et de l'éveil. Ces valeurs numériques sont mappées sur des étiquettes linguistiques discrètes (ex: intensité « ÉLEVÉE », valence « POSITIVE ») pour assurer l'interprétabilité par le LLM.
  • Construction du Prompt : Le système construit un tour utilisateur augmenté ($\tilde{M}_t$) en préfixant l'état affectif en temps réel ($F^t_e$) et un a priori affectif au niveau de la session ($P^t_e$, dérivé d'un histogramme temporel de la phase d'amorçage) au texte de l'utilisateur ($M_t$). Ce contexte augmenté est combiné à un prompt système persistant définissant les règles d'interaction empathique avant d'être envoyé au LLM.

• Design Expérimental : Une étude intra-sujets a été menée avec N = 20 participants.

  • Conditions : Les participants ont interagi avec le LLM sous deux conditions : une condition Expérimentale (sensible à l'affect) et une condition Contrôle (ligne de base textuelle empathique uniquement).
  • Procédure : La session commence par une phase d'amorçage émotionnel utilisant des clips vidéo validés (Le Roi Lion pour la tristesse, Wall-E pour la joie) afin d'induire des états affectifs spécifiques. Les participants ont ensuite engagé une conversation semi-structurée de 5 minutes sur leur expérience émotionnelle. L'ordre des conditions et des stimuli vidéo était contrebalancé.
  • Modèle : Le modèle deepseek-r1:32b, hébergé localement via OLLAMA, a servi de colonne vertébrale conversationnelle pour garantir la confidentialité et la cohérence.
  • Mesures : L'évaluation comprenait l'Échelle d'Utilisabilité du Système (SUS), l'Échelle de Perception de l'Empathie de la Technologie (PETS), la Mesure de Présence Sociale de Networked Minds, et la série de Questionnaires Godspeed (se concentrant sur la Sympathie, la Compétence et la Sécurité). Un classement par choix forcé a évalué la préférence explicite.

Contributions Clés

1. Intégration de l'Affect en Temps Réel : L'étude implémente un pipeline fonctionnel qui extrait, traite et injecte continuellement des descripteurs affectifs faciaux dans le contexte du LLM sans exposer de données biométriques brutes au modèle.
2. Stratégie de Prompting Raffinée : Contrairement aux approches précédentes qui se contentaient d'ajouter des indices, ce cadre ancre le prompt système dans un modèle d'interaction empathique explicite. Les indices affectifs informent la posture conversationnelle du modèle (ex: cadence basée sur l'éveil, masquage des divergences texte-visage) plutôt que d'agir comme de simples métadonnées.
3. Validation Empirique : L'article fournit une étude de validation auprès des utilisateurs finaux comparant le système sensible à l'affect à une ligne de base textuelle, en investiguant spécifiquement si le contexte affectif en temps réel améliore les qualités d'interaction perçues sans induire d'effets négatifs tels que la « vallée de l'étrange » ou une réduction de l'utilisabilité.

Résultats

• Qualités Perçues : La condition sensible à l'affect a montré des scores descriptifs plus élevés dans les dimensions clés de l'interaction. Des améliorations notables ont été observées dans la Compétence Godspeed ($\Delta = +0,31$), la Compréhension et la Confiance PETS ($\Delta = +0,21$), la Réactivité Émotionnelle PETS ($\Delta = +0,16$) et la Sympathie Godspeed ($\Delta = +0,13$).
• Utilisabilité et Sécurité : Les scores d'utilisabilité (SUS) sont restés élevés et acceptables dans les deux conditions (Contrôle : 81,25, Expérimentale : 79,38), indiquant que l'ajout du traitement affectif n'a pas dégradé l'expérience de l'interface. Les perceptions de sécurité sont restées stables entre les conditions.
• Signification Statistique : Au niveau des macro-construits, les tests de Wilcoxon signés-rangs appariés n'ont pas révélé de différences statistiquement significatives entre les conditions, probablement en raison des effets de plafond des LLM modernes déjà optimisés pour l'instruction, qui produisent déjà des réponses de soutien. Cependant, les tendances descriptives favorisent systématiquement la condition sensible à l'affect en termes d'intelligence émotionnelle et de réactivité à l'humeur.
• Effets Négatifs : L'étude n'a trouvé aucune preuve que l'injection de signaux faciaux en temps réel provoquait des effets interactionnels négatifs, une réduction de la sécurité perçue ou des perceptions de type "vallée de l'étrange".

Signification et Revendications
L'article affirme que l'intégration d'un contexte affectif en temps réel peut ajouter un ancrage relationnel aux conversations avec les LLM, faisant passer le paradigme de « l'IA-outil » à « l'IA-collaboratrice ». Les auteurs soulignent que l'objectif n'est pas de rendre les LLM véritablement empathiques (ce qui est impossible compte tenu de leur nature probabiliste) mais d'améliorer la perception par l'utilisateur de l'ajustement empathique. En adaptant la posture conversationnelle grâce au feedback affectif continu, le système soutient une interaction plus située. Les résultats suggèrent que l'ancrage affectif multimodal améliore la perception de l'intelligence émotionnelle et de la réactivité sans compromettre l'utilisabilité ni déclencher de réactions psychologiques négatives, offrant une voie viable pour une collaboration humain-agent plus naturaliste.