LLM-Based Selection of Incongruent Verbal and Nonverbal Behavior for Virtual Humans
Cet article propose une taxonomie des décalages verbaux-non verbaux basée sur le cadre d'Ekman, étudie l'utilisation de grands modèles de langage pour sélectionner des comportements d'incongruence contextuellement appropriés pour les humains virtuels, et valide leur efficacité à produire les effets d'observateur escomptés à travers une étude impliquant des sujets humains.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans les espaces de silence entre les mots prononcés, la communication humaine accomplit souvent son travail le plus complexe. Lorsque nous parlons, nous ne nous contentons pas de transmettre des informations ; nous projetons nos sentiments, notre statut social et nos intentions cachées à travers nos visages, nos yeux et notre posture. Ces signaux silencieux, connus sous le nom de comportements non verbaux, peuvent renforcer ce que nous disons, mais ils peuvent aussi le contredire. Une personne peut dire « Je vais bien » alors que son visage se crispe d'inquiétude, ou offrir un compliment avec un ton qui suggère la moquerie. Cette capacité à laisser le corps trahir la bouche, ou à masquer ses vrais sentiments derrière un sourire poli, est une partie fondamentale de la manière dont les humains naviguent dans les relations, gèrent les conflits et signalent la confiance. Pendant des décennies, des chercheurs ont tenté d'apprendre aux ordinateurs à imiter cette complexité, en construisant des agents virtuels capables de bouger et de gesticuler comme des humains. Cependant, la plupart de ces personnages numériques ont été limités par une règle simple : si les mots sont joyeux, le visage doit être joyeux. Ils peinent à comprendre que parfois, la chose la plus honnête qu'une personne puisse faire est de dire une chose tout en laissant son corps en dire une autre.
Une équipe de chercheurs de l'Université Northeastern s'est donné pour mission de changer cette limitation. Ils voulaient voir s'ils pouvaient apprendre à un humain virtuel à générer automatiquement ces comportements subtils et contradictoires, en utilisant un type d'intelligence artificielle connu sous le nom de grand modèle de langage. Ces modèles sont des systèmes puissants entraînés sur de vastes quantités de textes, capables de comprendre le contexte et la nuance. Les chercheurs ont posé une question spécifique : si on donnait à l'ordinateur une conversation et une description de la situation, pourrait-il déterminer quand le locuteur devrait avoir l'air malheureux tout en disant quelque chose de gentil, ou avoir l'air amical tout en annonçant de mauvaises nouvelles ? Ils ne voulaient pas seulement que l'ordinateur devine ; ils voulaient voir si l'ordinateur pouvait faire ces choix d'une manière qui semblait réelle pour des observateurs humains.
Pour tester cela, l'équipe a d'abord créé une carte des différentes façons dont les gens décalent leurs paroles et leurs actes. Ils ont identifié quatre raisons principales pour lesquelles une personne agit ainsi. Parfois, il s'agit d'ironie, lorsqu'un locuteur utilise des éloges pour insulter quelqu'un ou des critiques pour montrer de l'affection. D'autres fois, il s'agit de « sauver la face », où une personne adoucit une critique acerbe par un sourire chaleureux pour éviter de blesser les sentiments, ou force un sourire poli pour cacher sa propre colère. Il y a aussi la tromperie, où une personne tente de cacher une émotion secrète, et la régulation émotionnelle, où quelqu'un essaie de réprimer un sentiment qui bouillonne à l'intérieur. En utilisant ces catégories, les chercheurs ont conçu huit scénarios spécifiques, tels qu'un employé subalterne parlant à un patron qui vient d'augmenter sa charge de travail, ou une mère donnant un retour à son fils adolescent.
Les chercheurs ont ensuite testé trois manières différentes de demander à l'ordinateur de générer le comportement. Dans la première méthode, ils ont donné à l'ordinateur uniquement la phrase prononcée. Dans la seconde, ils ont ajouté l'historique de la conversation précédant cette phrase. Dans la troisième méthode, la plus détaillée, ils ont fourni l'historique de la conversation ainsi qu'une description écrite de la relation entre les interlocuteurs et du cadre social. L'ordinateur, propulsé par un modèle appelé Claude, devait décider de ce que le visage et les yeux du personnage devaient faire pour chaque phrase. Les résultats étaient clairs : lorsque l'ordinateur ne recevait que les mots, il faisait principalement en sorte que le personnage ait l'air joyeux quand les mots étaient joyeux et triste quand les mots étaient tristes. Mais quand les chercheurs fournissaient le contexte complet — la dynamique de pouvoir, l'historique et la pression sociale — l'ordinateur commençait à choisir des comportements qui contredisaient les mots. Dans le scénario où un employé subalterne devait accepter une charge de travail accrue de la part d'un patron exigeant, l'ordinateur a sélectionné un sourire petit et contenu, accompagné d'un bref regard fuyant et d'un pincement des lèvres. Il avait compris que l'employé disait « oui » tout en ressentant « non ».
Pour voir si ces choix générés par ordinateur fonctionnaient réellement, les chercheurs ont transformé les instructions numériques en clips vidéo d'un humain virtuel et les ont montrés à des personnes. Dans la première étude, ils ont demandé aux participants de regarder des paires de vidéos et de décider quel locuteur avait une attitude plus positive. Lorsque l'humain virtuel disait quelque chose de positif mais paraissait négatif, les gens évaluaient l'attitude comme étant moins positive que lorsque l'humain paraissait joyeux. Lorsque l'humain disait quelque chose de négatif mais souriait chaleureusement, les gens évaluaient l'attitude comme étant plus positive que lorsque l'humain paraissait en colère. La seconde étude allait plus loin, demandant aux gens d'évaluer les émotions spécifiques qu'ils percevaient. Les résultats ont montré que les indices non verbaux choisis par l'ordinateur étaient assez puissants pour modifier la perception qu'avaient les gens des émotions du locuteur. Si l'ordinateur choisissait un froncement de sourcils pour accompagner une phrase joyeuse, les gens rapportaient sentir que le locuteur était en fait en colère ou sarcastique. Si l'ordinateur choisissait un sourire chaleureux pour accompagner une phrase triste, les gens rapportaient ressentir de la compassion plutôt que de la colère.
L'étude confirme que fournir à une intelligence artificielle le contexte social complet d'une conversation lui permet de générer des comportements non verbaux bien plus humains que ceux basés sur les mots seuls. L'ordinateur ne se contentait pas de répéter l'émotion de la phrase ; il interprétait la situation et décidait qu'un décalage était la réponse la plus honnête. Bien que les chercheurs aient noté que leur système doit encore progresser pour gérer les gestes et le ton de la voix, et que les vidéos étaient courtes, la conclusion fondamentale est significative. Elle suggère que pour que les humains virtuels soient véritablement convaincants, notamment dans des rôles comme la formation de thérapeutes ou la négociation, ils doivent être capables de laisser leur corps raconter une histoire différente de celle de leur bouche. L'ordinateur a appris que parfois, la vérité ne réside pas dans les mots, mais dans le silence qui les sépare.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.