Technische Samenvatting: EmoDistill

Probleemstelling

Nageprogrammeerde Large Language Models (LLM's) worden doorgaans geoptimaliseerd via Reinforcement Learning from Human Feedback (RLHF) en Direct Preference Optimization (DPO) om veilig, beleefd en meegaand te zijn. Hoewel dit effectief is voor algemene assistentie, creëert deze uitlijning een strategische kwetsbaarheid in adversariele onderhandelingen. In dergelijke situaties kan taal die emotioneel is ingekleed, agenten onbedoeld sturen naar het prijsgeven van waarde ten gunste van de belangen van een tegenpartij.

Huidige benaderingen voor emotioneel bewuste onderhandeling staan voor twee primaire beperkingen:

1. Kosten voor Online Leren: Methoden die vertrouwen op online reinforcement learning (bijv. PPO) zijn computereconomisch duur en onstabiel voor multi-turn agent-naar-agent interacties, omdat ze kostbare API-rollouts vereisen en moeite hebben met spaarzame feedback op trajectniveau.
2. Gekoppelde Strategie en Expressie: Bestaande methoden behandelen emotiekeuze vaak als een beslissingsvariabele, maar laten de utterance-generator onveranderd. Bijgevolg kan een geselecteerde emotie (bijv. "woede") nog steeds worden gerealiseerd via vage beleefdheid of voortijdige toegeving, omdat het model de specifieke vaardigheid mist om die emotie strategisch uit te drukken binnen de onderhandelingscontext.

De kernuitdaging is het leren van emotionele onderhandelingsvaardigheden—het koppelen van dialoogtoestanden, emotionele standpunten, concrete uitingen en beoordelaarsfeedback aan herbruikbare onderhandelingszetten—zonder de kosten van online training te maken.

Methodologie: EmoDistill

De auteurs stellen EmoDistill voor, een offline raamwerk dat emotionele onderhandelingsvaardigheden distilleert uit vooraf berekende LLM-tegen-LLM-trajecten naar een kleiner taalmodel (SLM). Het raamwerk decomposeert het probleem in twee distincte componenten: Emotiekeuze en Emotionele Expressie.

1. Offline Trajectdataset en Signaalontwerp

Het systeem begint met het construeren van een dataset van $N=80$ scenario's $\times$ $M=100$ willekeurige emotie-volgorde-rollouts per domein (totaal 8.000 trajecten). Elk traject is geannoteerd met twee complementaire signalen:

• Objectief Signaal ($R(\tau)$): Een trajectniveau-terugkeer gebaseerd op onderhandelingsdynamiek (bijv. het dichten van de kloof tussen het anker van de tegenpartij en het doel van de focus-agent) en de uiteindelijke overeenkomst.
• Subjectief Signaal ($r_t$): Een dichte, per-turn score toegewezen door een LLM-beoordelaar (Qwen3.5-Plus) die de kwaliteit van de focus-uiting evalueert op basis van ankeren, hefboomwerking en consistentie met het emotionele standpunt.

2. Drie-fase Trainingspijplijn

EmoDistill gebruikt deze signalen over drie fasen om een SLM met 7B parameters (Qwen2.5-7B-Instruct) te trainen met LoRA-adapters:

• Fase 1: Emotiekeuze (Implicit Q-Learning - IQL)

  • Doel: Leren welke emotie er moet worden uitgedrukt gegeven een dialoogtoestand.
  • Mechanisme: Een IQL-selector wordt getraind op de offline dataset met de objectieve trajectterugkeer $R(\tau)$ als beloning. Het leert een beleid $\pi_\phi(e|s)$ om de optimale emotie-actie $e$ te selecteren uit een GoEmotions-vocabulaire van 28 labels.
  • Output: Een selector die waardevolle emotionele sequenties identificeert (bijv. overgang van angst naar woede) zonder de utterance-generator bij te werken.

• Fase 2: Initialisatie van Expressie (LoRA-SFT)

  • Doel: Leren hoe de geselecteerde emotie moet worden uitgedrukt.
  • Mechanisme: De SLM wordt fijngetuned via Supervised Fine-Tuning (SFT) met behulp van een hybride filter. Demonstraties worden geselecteerd op basis van een score $q_t^{hyb} = r_t + \frac{1}{2}R(\tau)$, waarbij wordt gegarandeerd dat het model beurten nabootst die zowel lokaal goed geformeerd zijn (hoge beoordelaarscore) als globaal productief (hoge trajectterugkeer).
  • Output: Een LoRA-adapter die is geïnitieerd om concrete, strategische uitingen te genereren, geconditioneerd op de toestand en de geselecteerde emotie.

• Fase 3: Verfijning van Expressie (Judge Policy Optimization - JPO)

  • Doel: De expressiebeleid verfijnen met behulp van dichte feedback.
  • Mechanisme: JPO past een offline PPO-geclipte surrogaatdoelstelling toe. Het gebruikt het per-turn beoordelaarsvoordeel ($A_t$) om het beleid bij te werken. Cruciaal maakt JPO gebruik van een asymmetrisch voordeelmechanisme waarbij voorbeeldpunten met negatief voordeel worden afgezwakt met een factor $\kappa$. Dit stelt het model in staat te leren welke specifieke emotionele uitdrukkingen de onderhandelingsbaan verbeteren, terwijl de "deal-sluitende" prior die tijdens SFT is vastgesteld, behouden blijft.
  • Output: Een verfijnd beleid dat de specifieke woordkeuze van emotionele uitdrukkingen optimaliseert om de bruikbaarheid te maximaliseren.

Belangrijkste Bijdragen

1. EmoDistill Raamwerk: De introductie van een offline pijplijn die emotionele schakel- en expressiestrategieën op LLM-niveau distilleert naar een kleinere 7B SLM, waardoor hoge prestaties in onderhandeling mogelijk zijn zonder live API-rollouts.
2. Ontkoppeling van Selectie en Expressie: Empirisch bewijs dat aantoont dat het optimaliseren van hoe een agent een geselecteerde emotie uitdrukt (via LoRA-SFT en JPO) onderscheiden is van en complementair aan het kiezen van de emotie (via IQL). De volledige pijplijn presteert beter dan baselines die alleen emoties selecteren of alleen vaste generators gebruiken.
3. Judge Policy Optimization (JPO): Een nieuwe verfijningsmethode die dichte, per-turn LLM-beoordelaarsvoordelen benut om emotionele expressie te verbeteren. In tegenstelling tot methoden op sequentieniveau, staat JPO fijnmazige krediettoewijzing toe, waarbij onderscheid wordt gemaakt tussen hoogwaardige en laagwaardige uitdrukkingen binnen hetzelfde onderhandelingsstraject.

Experimentele Resultaten

Het raamwerk werd geëvalueerd over vier hoog-risico onderhandelingsdomeinen: Kredietherstel (CRAD), Rampenredding, Planning van Ziekenhuiskirurgie en Planning van Slaap van Studenten.

• Prestaties: Het volledige EmoDistill-beleid (IQL+SFT+JPO) behaalde de hoogste Bruikbaarheid (succespercentage gewogen naar dealkwaliteit) in drie van de vier domeinen, en presteerde beter dan vanilla LLM/SLM-baselines, willekeurige emotie-prompting en IQL-only baselines.
• Ablatiestudies:
  • Componentanalyse: Het verwijderen van óf de emotieselector (IQL) óf de expressieverfijning (JPO) degradeerde de prestaties aanzienlijk, wat de noodzaak van beide componenten bevestigt.
  • Signaalanalyse: SFT profiteerde het meest van hybride kwaliteitsfilters (selecteren van goede demonstraties), terwijl JPO het meest profiteerde van dichte per-turn beoordelaarsvoordelen.
  • Emotievrije Ablatie: Het verwijderen van het expliciete emotie-conditioneringskanaal resulteerde in lagere betrouwbaarheid en bruikbaarheid, wat suggereert dat emotionele strategie niet volledig is geïnternaliseerd zonder een expliciete controle-interface.
• Transfer: De gedistilleerde vaardigheden toonden partiële transfer over domeinen en onbekende tegenpartijen (bijv. DeepSeek-V3, GPT-4o-mini). Hoewel succespercentages goed overgingen, bleef waarde-extractie (Bruikbaarheid) gevoelig voor domeinspecifieke onderhandelingsgeometrieën.
• Risicobeheersing: De parameter $\kappa$ in JPO maakte het mogelijk om de afweging tussen overeenkomstssucces en waarde per deal te tunen, waarbij $\kappa=0.5$ een optimale balans bood in het CRAD-domein.

Betekenis en Claims

Het artikel stelt dat emotie in onderhandeling moet worden behandeld als een controleerbaar onderhandelingsinterface, en niet louter als een generatiestijl. Door de selectie van een emotioneel standpunt te scheiden van de generatie van de uiting, stelt EmoDistill kleinere modellen in staat effectieve, strategische onderhandelingsgedragingen te leren die robuust zijn tegen de "beleefdheidsbias" van standaard LLM's.

De auteurs benadrukken dat hun aanpak:

• Online Kosten Vermijdt: Door volledig te vertrouwen op offline data van vooraf beoordeelde LLM-tegen-LLM-interacties, omzeilt het de prohibitieve kosten en instabiliteit van online RL in multi-agent omgevingen.
• Defensieve Controle Biedt: Het modelleren van emotionele invloed als een leerbare vaardigheid stelt agenten in staat manipulatieve emotionele framing van tegenpartijen te weerstaan, waardoor gebruikersdoelen in adversariele situaties worden behouden.
• Biedt een Modulaire Vaardigheid: Het raamwerk behandelt emotionele onderhandeling als een herbruikbare vaardigheid die kan worden gedistilleerd, overgedragen en verfijnd, en gaat verder dan statische prompt engineering.

De auteurs handhaven bescheidenheid met betrekking tot beperkingen, en merken op dat het raamwerk afhankelijk is van vaste offline trajecten (met het risico op distributieve verschuiving), een expliciet emotiekanaal vereist voor optimale prestaties, en nog niet is gevalideerd in mens-naar-agent interacties. Zij positioneren het werk als een stap naar robuustere, strategische autonome agenten in hoog-risico omgevingen.