💬 NLP

EmoDistill: Offline Emotion Skill Distillation for Language Model Agents in Adversarial Negotiation

EmoDistill ist ein Offline-Framework, das Sprachmodell-Agenten in adversarialen Verhandlungen verbessert, indem es emotionale Fähigkeiten durch einen zweistufigen Prozess destilliert – unter Verwendung von Implicit Q-Learning zur Auswahl strategischer Emotionen und Low-Rank Adaptation zur Optimierung ihres Ausdrucks – und dadurch in hochriskanten Domänen ohne kostspieliges Online-Training über Standard-Baselines hinausgeht.

Ursprüngliche Autoren: Yunbo Long, Haolang Zhao, Lukas Beckenbauer, Liming Xu, Alexandra Brintrup

Veröffentlicht 2026-05-27

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yunbo Long, Haolang Zhao, Lukas Beckenbauer, Liming Xu, Alexandra Brintrup

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Einen Roboter beibringen, „den Raum zu lesen"

Stellen Sie sich vor, Sie trainieren einen Junior-Verhandler (eine kleine KI), um schwierige Gespräche zu führen, wie etwa einen Schuldner zu bitten, eine Rechnung früher zu begleichen oder einen Rettungszeitpunkt zu verhandeln.

Normalerweise trainieren wir KI darauf, höflich, sicher und hilfreich zu sein. Doch in einer hochriskanten Verhandlung ist zu viel Freundlichkeit eine Schwäche. Wenn Sie zu höflich sind, könnte die andere Seite Sie ausnutzen. Das Papier argumentiert, dass Emotion nicht nur ein Gefühl ist; sie ist ein Werkzeug. Genau wie ein Schachspieler einen bestimmten Zug wählt, sollte ein Verhandler eine spezifische Emotion wählen (wie „festen Zorn" oder „dringende Angst"), um das beste Ergebnis zu erzielen.

Das Problem ist, dass große, teure KI-Modelle (LLMs) darin hervorragend sind, aber langsam und kostspielig im Betrieb sind. Kleine, günstige KI-Modelle (SLMs) sind schnell, aber in der Regel schlecht im Verhandeln, weil sie zu höflich sind.

EmoDistill ist eine Methode, um die „Verhandlungsgeheimnisse" von einer großen, teuren KI zu nehmen und sie einer kleinen, günstigen KI beizubringen – und zwar speziell, wie sie Emotionen strategisch einsetzen kann, ohne jedes Mal echte Verhandlungen üben zu müssen.

Das Problem: Die „Höfliche-KI"-Falle

Stellen Sie sich moderne KI als einen sehr gut erzogenen Butler vor. Wenn Sie sie bitten zu verhandeln, wird sie sagen: „Bitte, könnten Sie vielleicht in Erwägung ziehen, etwas früher zu zahlen?"

In einer echten Verhandlung könnte die andere Seite (eine andere KI) das hören und denken: „Toll, ich kann noch härter nachhaken." Das Papier stellte fest, dass Sie, wenn Sie der KI einfach in einem Prompt sagen, sie solle „wütend" oder „ängstlich" sein, das Ergebnis verändert wird. Aber blindes Raten funktioniert nicht. Sie müssen wissen, wann Sie wütend sein sollen und wie Sie es sagen müssen, damit es wie eine kluge Strategie klingt und nicht wie ein Wutanfall.

Die Lösung: Die „EmoDistill"-Fabrik

Die Forscher bauten eine dreistufige Fabrik, um die kleine KI zu trainieren. Sie ließen die kleine KI nicht live üben (was langsam und teuer ist). Stattdessen nutzten sie eine „Simulation", die von einer großen KI erstellt wurde.

Hier ist der dreistufige Prozess:

1. Der „Trainer" (IQL Selector)

Stellen Sie sich einen Sporttrainer vor, der Stunden an Spielaufnahmen anschaut. Der Trainer spielt das Spiel nicht; er schaut nur zu und entscheidet, welchen Spielzug er anruft.

Was es tut: Dieser Teil des Systems lernt, welche Emotion zu wählen ist, basierend auf der aktuellen Situation.
Die Analogie: Wenn der Gegner zögert, sagt der Trainer: „Rufen Sie 'Zorn'." Wenn der Gegner Angst hat, sagt der Trainer: „Rufen Sie 'Empathie'." Er lernt dies, indem er Tausende vergangener simulierter Spiele analysiert, um zu sehen, welche emotionalen Sequenzen zu einem Sieg führten.

2. Der „Schauspieler" (LoRA-SFT)

Jetzt, wo der Trainer den Spielzug gerufen hat, muss jemand ihn ausführen.

Was es tut: Dieser Teil lehrt die kleine KI, wie sie sprechen soll, wenn sie diese spezifische Emotion empfindet.
Die Analogie: Wenn der Trainer „Zorn" ruft, schreit der Schauspieler nicht einfach nur „ICH BIN WÜTEND!" (was schlecht wäre). Stattdessen lernt er zu sagen: „Ich bin zutiefst frustriert, dass diese Verhandlung ins Stocken gerät, und wir müssen jetzt vorankommen." Er lernt, wie ein professioneller Verhandler zu klingen, der Zorn als Werkzeug einsetzt, nicht wie ein Kind, das einen Wutanfall hat. Er lernt dies, indem er die besten Sätze aus den Simulationen der großen KI kopiert.

3. Der „Schiedsrichter" (Judge Policy Optimization - JPO)

Selbst mit Trainer und Schauspieler kann die Leistung noch etwas ungenau sein. Der Schiedsrichter greift ein, um die Details zu verfeinern.

Was es tut: Dieser Schritt betrachtet jeden einzelnen Satz, den die KI sagt, und gibt ihm eine Bewertung. Hat dieser spezifische Satz dem Deal geholfen? Oder hat er ihm geschadet?
Die Analogie: Stellen Sie sich einen Filmregisseur vor, der eine Aufnahme anschaut und sagt: „Diese Zeile war gut, aber Sie haben sie zu leise gesagt. Versuchen Sie es noch einmal mit mehr Biss." Der Schiedsrichter nutzt eine „Schiedsrichter-KI", um sofortiges Feedback zu jedem Satz zu geben und hilft der kleinen KI zu lernen, welche Wörter genau zu verwenden sind, um ihre Punktzahl zu maximieren.

Wie sie es trainiert haben (Das „Offline"-Geheimnis)

Normalerweise müssen Sie, um einen Verhandler zu trainieren, ihn Tausende von Malen in Echtzeit gegen eine andere KI kämpfen lassen. Das ist wie der Versuch, Schwimmen zu lernen, indem man jeden Tag ins Meer springt – es ist gefährlich und langsam.

EmoDistill ist Offline.

Sie führten einmal eine massive Simulation mit einer großen, leistungsstarken KI (dem „Lehrer") durch.
Sie zeichneten jedes Gespräch, jede verwendete Emotion und das Endergebnis auf.
Dann nutzten sie diese aufgezeichneten Daten, um die kleine KI (den „Schüler") zu trainieren.
Der Vorteil: Die kleine KI lernt aus den „Geistern" vergangener Gespräche. Sie muss während des Trainings mit niemandem live sprechen. Sie studiert einfach das Spielbuch.

Die Ergebnisse: Die kleine KI gewinnt

Das Papier testete dies in vier verschiedenen schwierigen Szenarien:

Schuldenbereinigung: Jemanden bitten, eine Rechnung früher zu begleichen.
Katastrophenrettung: Verhandeln, wie lange ein Rettungsteam warten darf.
Krankenhaus-Chirurgie: Terminierung von Wartezeiten für Operationen.
Schüler-Schlaf: Verhandeln, wann ein Schüler ins Bett muss.

Die Erkenntnisse:

Die kleine KI, die mit EmoDistill trainiert wurde, wurde besser im Verhandeln als die große KI, auf der sie trainiert wurde (hinsichtlich des Erzielen des besten Deals).
Sie schlug andere kleine KIs, die diese emotionale Ausbildung nicht nutzten.
Sie lernte, dass Emotion eine Strategie ist. Sie klang nicht nur emotional; sie nutzte Emotionen, um bessere Preise, schnellere Zeiten oder bessere Deals zu erzielen.
Die „Risikokontrolle": Sie stellten fest, dass sie die KI anpassen konnten. Wenn Sie wollen, dass sie aggressiv ist, stimmen Sie sie auf eine Weise ab. Wenn Sie wollen, dass sie sicherer ist und nur einen irgendeinen Deal abschließt, stimmen Sie sie auf eine andere Weise ab.

Der Haken (Einschränkungen)

Es braucht einen „Trainer": Die kleine KI funktioniert am besten, wenn sie den „Trainer" (den Emotionsauswähler) hat, der ihr sagt, was sie fühlen soll. Wenn Sie den Trainer entfernen und die KI einfach raten lassen, wird sie verwirrt und performt schlechter.
Es ist auf Simulationen trainiert: Die KI lernte aus KI-gegen-KI-Kämpfen. Sie weiß vielleicht nicht, wie sie mit einem echten Menschen umgehen soll, der unvorhersehbar handelt.
Es ist spezifisch: Die KI lernte, wie man in diesen spezifischen Szenarien verhandelt. Sie weiß vielleicht nicht automatisch, wie man einen Autopreis oder ein Gehalt verhandelt, obwohl sich die Fähigkeiten übertragen könnten.

Zusammenfassung

EmoDistill ist wie ein Meisterverhandler, der seine besten Züge aufzeichnet und einem Anfänger beibringt, wie man sie einsetzt. Es lehrt dem Anfänger nicht nur, was er sagen soll, sondern wie er sich (strategisch) fühlen soll, um die Argumentation zu gewinnen. Es verwandelt „Höflichkeit sein" in „Effektivität sein" und ermöglicht es einem kleinen, günstigen Computer, einen viel größeren, teureren zu übertreffen.

Technische Zusammenfassung: EmoDistill

Problemstellung

Nachtrainierte Large Language Models (LLMs) werden typischerweise durch Reinforcement Learning from Human Feedback (RLHF) und Direct Preference Optimization (DPO) optimiert, um sicher, höflich und entgegenkommend zu sein. Obwohl dies für die allgemeine Unterstützung effektiv ist, erzeugt diese Ausrichtung eine strategische Schwachstelle in der adversarialen Verhandlung. In solchen Szenarien kann emotional gefärbte Sprache Agenten unabsichtlich dazu verleiten, im Interesse einer Gegenpartei Wert zu konzedieren.

Aktuelle Ansätze für emotionsbewusste Verhandlungen stoßen auf zwei primäre Einschränkungen:

Kosten des Online-Lernens: Methoden, die auf Online-Reinforcement-Learning (z. B. PPO) basieren, sind für Multi-Turn-Interaktionen zwischen Agenten rechnerisch teuer und instabil, da sie kostspielige API-Ausführungen erfordern und mit spärlichem Feedback auf Trajektorienebene kämpfen.
Entkoppelte Strategie und Expression: Bestehende Methoden behandeln die Emotionsauswahl oft als Entscheidungsvariable, lassen den Äußerungsgenerator jedoch unverändert. Folglich kann eine ausgewählte Emotion (z. B. „Wut") dennoch durch vage Höflichkeit oder vorzeitige Konzession realisiert werden, da dem Modell die spezifische Fähigkeit fehlt, diese Emotion im Verhandlungskontext strategisch zu exprimieren.

Die Kernherausforderung besteht darin, emotionale Verhandlungsfähigkeiten zu erlernen – die Bindung von Dialogzuständen, emotionalen Haltungen, konkreten Äußerungen und Richter-Feedback in wiederverwendbare Verhandlungszüge – ohne die Kosten des Online-Trainings in Kauf nehmen zu müssen.

Methodik: EmoDistill

Die Autoren schlagen EmoDistill vor, ein Offline-Framework, das emotionale Verhandlungsfähigkeiten aus vorausberechneten LLM-gegen-LLM-Trajektorien in ein kleineres Sprachmodell (SLM) destilliert. Das Framework zerlegt das Problem in zwei distincte Komponenten: Emotionsauswahl und emotionale Expression.

1. Offline-Trajektorien-Datensatz und Signal-Design

Das System beginnt mit der Konstruktion eines Datensatzes aus $N=80$ Szenarien $\times$ $M=100$ zufälligen Emotionssequenz-Rollouts pro Domäne (insgesamt 8.000 Trajektorien). Jede Trajektorie wird mit zwei komplementären Signalen annotiert:

Objektives Signal ( $R(\tau)$ ): Ein Trajektorien-Level-Return basierend auf Verhandlungsdynamiken (z. B. Schließen der Lücke zwischen dem Anker der Gegenpartei und dem Ziel des fokalen Agenten) und dem finalen Einigungsergebnis.
Subjektives Signal ( $r_t$ ): Ein dichter, pro-Turn-Score, der von einem LLM-Richter (Qwen3.5-Plus) vergeben wird und die Qualität der fokalen Äußerung basierend auf Ankerung, Hebelwirkung und Konsistenz mit der emotionalen Haltung bewertet.

2. Drei-Stufen-Trainingspipeline

EmoDistill nutzt diese Signale über drei Stufen hinweg, um ein 7B-Parameter-SLM (Qwen2.5-7B-Instruct) mit LoRA-Adaptern zu trainieren:

Stufe 1: Emotionsauswahl (Implizites Q-Learning - IQL)
- Ziel: Lernen, welche Emotion gegeben einem Dialogzustand ausgedrückt werden soll.
- Mechanismus: Ein IQL-Selektor wird auf dem Offline-Datensatz unter Verwendung des objektiven Trajektorien-Returns $R(\tau)$ als Belohnung trainiert. Er lernt eine Policy $\pi_\phi(e|s)$ , um die optimale Emotionsaktion $e$ aus einem 28-Label-GoEmotions-Vokabular auszuwählen.
- Output: Ein Selektor, der hochwertige emotionale Sequenzen identifiziert (z. B. den Übergang von Angst zu Wut), ohne den Äußerungsgenerator zu aktualisieren.
Stufe 2: Initialisierung der Expression (LoRA-SFT)
- Ziel: Lernen, wie die ausgewählte Emotion ausgedrückt wird.
- Mechanismus: Das SLM wird mittels Supervised Fine-Tuning (SFT) unter Verwendung eines hybriden Filters feinabgestimmt. Demonstrationen werden basierend auf einem Score $q_t^{hyb} = r_t + \frac{1}{2}R(\tau)$ ausgewählt, wodurch sichergestellt wird, dass das Modell Züge imitiert, die sowohl lokal gut geformt (hoher Richter-Score) als auch global produktiv (hoher Trajektorien-Return) sind.
- Output: Ein LoRA-Adapter, der initialisiert wird, um konkrete, strategische Äußerungen zu generieren, die auf dem Zustand und der ausgewählten Emotion konditioniert sind.
Stufe 3: Verfeinerung der Expression (Judge Policy Optimization - JPO)
- Ziel: Verfeinerung der Expressions-Policy unter Verwendung von dichtem Feedback.
- Mechanismus: JPO wendet ein offline PPO-geclipptes Surrogat-Objektiv an. Es nutzt den pro-Turn-Richter-Vorteil ( $A_t$ ), um die Policy zu aktualisieren. Entscheidend ist, dass JPO einen asymmetrischen Vorteil-Mechanismus einsetzt, bei dem Proben mit negativem Vorteil um einen Faktor $\kappa$ heruntergewichtet werden. Dies ermöglicht dem Modell zu lernen, welche spezifischen emotionalen Ausdrücke die Verhandlungstrajektorie verbessern, während die während SFT etablierte „Deal-Closing"-Priorität erhalten bleibt.
- Output: Eine verfeinerte Policy, die die spezifische Formulierung emotionaler Ausdrücke optimiert, um den Nutzen zu maximieren.

Hauptbeiträge

EmoDistill-Framework: Die Einführung einer Offline-Pipeline, die Emotionswechsel- und Expressionsstrategien auf LLM-Ebene in ein kleineres 7B-SLM destilliert und damit hochleistungsfähige Verhandlungen ohne Live-API-Ausführungen ermöglicht.
Entkoppelung von Auswahl und Expression: Empirische Belege, die zeigen, dass die Optimierung wie ein Agent eine ausgewählte Emotion ausdrückt (via LoRA-SFT und JPO) von und komplementär zur Wahl der Emotion (via IQL) ist. Die vollständige Pipeline übertrifft Baselines, die nur Emotionen auswählen oder nur feste Generatoren verwenden.
Judge Policy Optimization (JPO): Eine neuartige Verfeinerungsmethode, die dichte, turn-level LLM-Richter-Vorteile nutzt, um die emotionale Expression zu verbessern. Im Gegensatz zu sequenzlevelbasierten Methoden ermöglicht JPO eine feingranulare Kreditvergabe und unterscheidet zwischen hochwertigen und minderwertigen Ausdrücken innerhalb derselben Verhandlungstrajektorie.

Experimentelle Ergebnisse

Das Framework wurde über vier hochriskante Verhandlungsdomainen hinweg evaluiert: Kreditrückgewinnung (CRAD), Katastrophenrettung, Krankenhaus-OP-Planung und Schüler-Schlafplanung.

Leistung: Die vollständige EmoDistill-Policy (IQL+SFT+JPO) erzielte in drei der vier Domänen den höchsten Nutzen (Erfolgsrate gewichtet mit Deal-Qualität) und übertraf vanilla LLM/SLM-Baselines, zufällige Emotions-Prompts und IQL-only-Baselines.
Ablationsstudien:
- Komponentenanalyse: Das Entfernen entweder des Emotionsselektors (IQL) oder der Expressionsverfeinerung (JPO) verschlechterte die Leistung signifikant und bestätigte die Notwendigkeit beider Komponenten.
- Signalanalyse: SFT profitierte am meisten von hybriden Qualitätsfiltern (Auswahl guter Demonstrationen), während JPO am meisten von dichten turn-level Richter-Vorteilen profitierte.
- Emotionslose Ablation: Das Entfernen des expliziten Emotions-Konditionierungskanals führte zu geringerer Zuverlässigkeit und Nutzbarkeit, was darauf hindeutet, dass emotionale Strategie ohne eine explizite Steuerungsschnittstelle nicht vollständig internalisiert wird.
Transfer: Die destillierten Fähigkeiten zeigten einen partiellen Transfer über Domänen und nicht gesehene Gegenparteien hinweg (z. B. DeepSeek-V3, GPT-4o-mini). Während die Erfolgsraten gut transferiert wurden, blieb die Wertextraktion (Nutzen) empfindlich gegenüber domänenspezifischen Verhandlungsgeometrien.
Risikokontrolle: Der Parameter $\kappa$ in JPO ermöglichte die Abstimmung des Trade-offs zwischen Einigungserfolg und Deal-Wert, wobei $\kappa=0.5$ im CRAD-Domain ein optimales Gleichgewicht bot.

Bedeutung und Behauptungen

Die Autoren behaupten, dass Emotion in der Verhandlung als kontrollierbare Verhandlungsschnittstelle behandelt werden sollte, nicht lediglich als Generierungsstil. Durch die Trennung der Auswahl einer emotionalen Haltung von der Generierung der Äußerung ermöglicht EmoDistill kleineren Modellen, effektive, strategische Verhandlungsverhalten zu erlernen, die gegen den „Höflichkeits-Bias" standardmäßiger LLMs robust sind.

Die Autoren betonen, dass ihr Ansatz:

Online-Kosten vermeidet: Durch die ausschließliche reliance auf Offline-Daten aus vorgeprüften LLM-gegen-LLM-Interaktionen umgeht er die prohibitiven Kosten und die Instabilität von Online-RL in Multi-Agenten-Szenarien.
Defensive Kontrolle bietet: Die Modellierung emotionaler Einflussnahme als lernbare Fähigkeit ermöglicht es Agenten, manipulativer emotionaler Framing durch Gegenparteien zu widerstehen und Benutzerziele in adversarialen Settings zu bewahren.
Eine modulare Fähigkeit bietet: Das Framework behandelt emotionale Verhandlung als wiederverwendbare Fähigkeit, die destilliert, transferiert und verfeinert werden kann, und geht damit über statisches Prompt-Engineering hinaus.

Die Autoren bewahren Bescheidenheit hinsichtlich der Einschränkungen und stellen fest, dass das Framework auf festen Offline-Trajektorien beruht (was ein Risiko für Verteilungsverschiebungen birgt), einen expliziten Emotionskanal für optimale Leistung erfordert und noch nicht in Mensch-Agent-Interaktionen validiert wurde. Sie positionieren die Arbeit als einen Schritt hin zu robusteren, strategischen autonomen Agenten in hochriskanten Umgebungen.