Résumé Technique : EmoDistill

Énoncé du Problème

Les grands modèles de langage (LLM) post-entraînés sont généralement optimisés via l'apprentissage par renforcement à partir de retours humains (RLHF) et l'optimisation directe des préférences (DPO) pour être sûrs, polis et accommodants. Bien que efficaces pour l'assistance générale, cet alignement crée une vulnérabilité stratégique dans la négociation adversaire. Dans de tels contextes, un langage à connotation émotionnelle peut involontairement orienter les agents vers la concession de valeur aux intérêts d'une partie adverse.

Les approches actuelles de négociation consciente des émotions font face à deux limitations principales :

1. Coûts de l'apprentissage en ligne : Les méthodes reposant sur l'apprentissage par renforcement en ligne (par exemple, PPO) sont coûteuses en calcul et instables pour les interactions multi-tours entre agents, car elles nécessitent des déploiements d'API onéreux et peinent à gérer des retours épars au niveau des trajectoires.
2. Découplage de la stratégie et de l'expression : Les méthodes existantes traitent souvent la sélection de l'émotion comme une variable de décision, mais laissent le générateur d'énoncés fixe. Par conséquent, une émotion sélectionnée (par exemple, « colère ») peut tout de même se réaliser par une politesse vague ou une concession prématurée, car le modèle manque de la compétence spécifique pour exprimer cette émotion de manière stratégique dans le contexte de la négociation.

Le défi central consiste à apprendre des compétences de négociation émotionnelle — liant les états de dialogue, les positions émotionnelles, les énoncés concrets et les retours des juges en mouvements de négociation réutilisables — sans encourir le coût d'un entraînement en ligne.

Méthodologie : EmoDistill

Les auteurs proposent EmoDistill, un cadre hors ligne qui distille les compétences de négociation émotionnelle à partir de trajectoires précalculées LLM-vs-LLM vers un modèle de langage plus petit (SLM). Le cadre décompose le problème en deux composantes distinctes : la Sélection d'Émotion et l'Expression Émotionnelle.

1. Jeu de données de trajectoires hors ligne et conception du signal

Le système commence par construire un jeu de données de $N=80$ scénarios $\times$ $M=100$ déroulements de séquences d'émotions aléatoires par domaine (soit un total de 8 000 trajectoires). Chaque trajectoire est annotée avec deux signaux complémentaires :

• Signal Objectif ($R(\tau)$) : Un retour au niveau de la trajectoire basé sur la dynamique de négociation (par exemple, réduire l'écart entre l'ancre de la partie adverse et l'objectif de l'agent focal) et l'accord terminal.
• Signal Subjectif ($r_t$) : Un score dense, attribué à chaque tour par un juge LLM (Qwen3.5-Plus), évaluant la qualité de l'énoncé focal basé sur l'ancrage, le levier et la cohérence avec la position émotionnelle.

2. Pipeline d'entraînement en trois étapes

EmoDistill utilise ces signaux à travers trois étapes pour entraîner un SLM de 7 milliards de paramètres (Qwen2.5-7B-Instruct) avec des adaptateurs LoRA :

• Étape 1 : Sélection d'Émotion (Apprentissage Q Implicite - IQL)

  • Objectif : Apprendre quelle émotion exprimer étant donné un état de dialogue.
  • Mécanisme : Un sélecteur IQL est entraîné sur le jeu de données hors ligne en utilisant le retour de trajectoire objectif $R(\tau)$ comme récompense. Il apprend une politique $\pi_\phi(e|s)$ pour sélectionner l'action émotionnelle optimale $e$ parmi un vocabulaire de 28 étiquettes GoEmotions.
  • Sortie : Un sélecteur qui identifie des séquences émotionnelles à haute valeur (par exemple, la transition de la peur à la colère) sans mettre à jour le générateur d'énoncés.

• Étape 2 : Initialisation de l'Expression (LoRA-SFT)

  • Objectif : Apprendre comment exprimer l'émotion sélectionnée.
  • Mécanisme : Le SLM est affiné par Affinement Supervisé (SFT) en utilisant un filtre hybride. Les démonstrations sont sélectionnées sur la base d'un score $q_t^{hyb} = r_t + \frac{1}{2}R(\tau)$, assurant que le modèle imite des tours à la fois localement bien formés (score élevé du juge) et globalement productifs (retour de trajectoire élevé).
  • Sortie : Un adaptateur LoRA initialisé pour générer des énoncés concrets et stratégiques conditionnés par l'état et l'émotion sélectionnée.

• Étape 3 : Raffinement de l'Expression (Optimisation de la Politique du Juge - JPO)

  • Objectif : Raffiner la politique d'expression en utilisant des retours denses.
  • Mécanisme : JPO applique un objectif de substitution PPO tronqué hors ligne. Il utilise l'avantage par tour du juge ($A_t$) pour mettre à jour la politique. Crucialement, JPO emploie un mécanisme d'avantage asymétrique où les échantillons à avantage négatif sont pondérés à la baisse par un facteur $\kappa$. Cela permet au modèle d'apprendre quelles expressions émotionnelles spécifiques améliorent la trajectoire de négociation tout en préservant l'a priori de « conclusion de l'accord » établi lors du SFT.
  • Sortie : Une politique raffinée qui optimise la formulation spécifique des expressions émotionnelles pour maximiser l'utilité.

Contributions Clés

1. Cadre EmoDistill : L'introduction d'un pipeline hors ligne qui distille les stratégies de commutation et d'expression émotionnelles de niveau LLM vers un SLM plus petit de 7 milliards de paramètres, permettant une négociation haute performance sans déploiements d'API en direct.
2. Découplage de la sélection et de l'expression : Des preuves empiriques démontrant que l'optimisation de la manière dont un agent exprime une émotion sélectionnée (via LoRA-SFT et JPO) est distincte et complémentaire du choix de l'émotion (via IQL). Le pipeline complet surpasse les bases de référence qui ne sélectionnent que les émotions ou n'utilisent que des générateurs fixes.
3. Optimisation de la Politique du Juge (JPO) : Une méthode de raffinement novatrice qui exploite des avantages denses au niveau des tours fournis par un juge LLM pour améliorer l'expression émotionnelle. Contrairement aux méthodes au niveau de la séquence, JPO permet une attribution de crédit fine, distinguant les expressions de haute et de basse qualité au sein de la même trajectoire de négociation.

Résultats Expérimentaux

Le cadre a été évalué sur quatre domaines de négociation à haut risque : Récupération de Crédit (CRAD), Sauvetage en cas de Catastrophe, Planification de Chirurgie Hospitalière et Planification du Sommeil Étudiant.

• Performance : La politique complète EmoDistill (IQL+SFT+JPO) a obtenu la plus haute Utilité (taux de succès pondéré par la qualité de l'accord) dans trois des quatre domaines, surpassant les bases de référence LLM/SLM brutes, l'encodage aléatoire des émotions et les bases de référence IQL uniquement.
• Études d'ablation :
  • Analyse des Composantes : Le retrait soit du sélecteur d'émotion (IQL), soit du raffinement de l'expression (JPO) a considérablement dégradé les performances, confirmant la nécessité des deux composantes.
  • Analyse des Signaux : Le SFT a bénéficié le plus des filtres de qualité hybrides (sélection de bonnes démonstrations), tandis que JPO a bénéficié le plus des avantages denses au niveau des tours fournis par le juge.
  • Ablation Sans Émotion : Le retrait du canal de conditionnement explicite sur l'émotion a entraîné une fiabilité et une utilité inférieures, suggérant que la stratégie émotionnelle n'est pas entièrement internalisée sans une interface de contrôle explicite.
• Transfert : Les compétences distillées ont montré un transfert partiel entre les domaines et envers des parties adverses non vues (par exemple, DeepSeek-V3, GPT-4o-mini). Bien que les taux de succès aient bien transféré, l'extraction de valeur (Utilité) est restée sensible aux géométries de négociation spécifiques au domaine.
• Contrôle des Risques : Le paramètre $\kappa$ dans JPO a permis de régler le compromis entre le succès de l'accord et la valeur par accord, avec $\kappa=0.5$ offrant un équilibre optimal dans le domaine CRAD.

Importance et Revendications

L'article revendique que l'émotion dans la négociation doit être traitée comme une interface de négociation contrôlable, et non simplement comme un style de génération. En séparant la sélection d'une position émotionnelle de la génération de l'énoncé, EmoDistill permet aux modèles plus petits d'apprendre des comportements de négociation efficaces et stratégiques, robustes face au « biais de politesse » des LLM standards.

Les auteurs soulignent que leur approche :

• Évite les Coûts en Ligne : En s'appuyant entièrement sur des données hors ligne issues d'interactions LLM-vs-LLM pré-jugées, elle contourne les coûts prohibitifs et l'instabilité du RL en ligne dans les environnements multi-agents.
• Fournit un Contrôle Défensif : Modéliser l'influence émotionnelle comme une compétence apprenable permet aux agents de résister aux cadrages émotionnels manipulateurs de la part des parties adverses, préservant ainsi les objectifs de l'utilisateur dans des contextes adverses.
• Offre une Compétence Modulaire : Le cadre traite la négociation émotionnelle comme une compétence réutilisable qui peut être distillée, transférée et raffinée, allant au-delà du simple ingénierie de prompts statique.

Les auteurs maintiennent une modestie concernant les limites, notant que le cadre repose sur des trajectoires hors ligne fixes (risquant un décalage de distribution), nécessite un canal d'émotion explicite pour des performances optimales, et n'a pas encore été validé dans des interactions humain-vers-agent. Ils positionnent ce travail comme une étape vers des agents autonomes plus robustes et stratégiques dans des environnements à haut risque.