🤖 AI

TERMS-Bench: Diagnosing LLM Negotiation Agents Beyond Deal Rate

Dieses Paper führt Terms-Bench ein, ein Bayesianisches Spiel-Framework, das die Evaluierung von Verhandlungen durch den Einsatz eines bekannten Gegenpart-Simulators von der Aggregation von Deal-Rate-Rankings hin zu einer handlungsorientierten diagnostischen Analyse transformiert, um spezifische Agentenfehler bei der Überschussextraktion, der Glaubwürdigkeitskalibrierung und der strategischen Compliance präzise zu lokalisieren.

Ursprüngliche Autoren: Erica Zhang, Fangzhao Zhang, Aneesh Pappu, Batu El, Jose Blanchet, Susan Athey, Jiashuo Liu, James Zou

Veröffentlicht 2026-06-16

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Erica Zhang, Fangzhao Zhang, Aneesh Pappu, Batu El, Jose Blanchet, Susan Athey, Jiashuo Liu, James Zou

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, ein Meisterverhandler zu werden. In der Vergangenheit haben Forscher diese Roboter getestet, indem sie sie mit anderen Robotern verhandeln ließen. Dabei wurde lediglich das Endergebnis betrachtet: „Haben sie einen Deal zustande gebracht? Ja oder Nein?“

Das Problem bei diesem Ansatz ist vergleichbar damit, einen Koch nur danach zu beurteilen, ob der Kunde das Essen gegessen hat, ohne das Essen selbst zu probieren. Wenn der Roboter zwar einen Deal abschloss, aber den gesamten Gewinn hergab, weil er zu feige war, einen fairen Preis zu verlangen, würde der alte Test immer noch sagen: „Gute Arbeit! Deal zustande gekommen!“ Er übersah dabei völlig, dass der Roboter eigentlich schrecklich im strategischen Teil des Jobs war.

Dieses Paper stellt eine neue, intelligentere Methode vor, um diese KI-Verhandler zu testen, genannt TERMS-BENCH. So funktioniert es, unter Verwendung einfacher Analogien:

1. Der „Skriptgesteuerte Gegner“ (Die Umgebung als Verifizierer)

In den alten Tests verhandelte der Roboter gegen eine andere „Black Box“-KI. Man wusste nicht, was die andere KI dachte, sodass man nicht unterscheiden konnte, ob Ihr Roboter scheiterte, weil er schlecht war, oder weil die andere KI seltsam agierte.

In TERMS-BENCH haben die Forscher einen simulierten Gegner erschaffen, der wie ein strenger, berechenbarer Schauspieler ist, der einem verborgenen Skript folgt.

Das Skript: Der Gegner hat einen geheimen „Reservierungspreis“ (den niedrigsten Preis, zu dem er verkauft, oder den höchsten, zu dem er kauft), ein „Dringlichkeitsniveau“ (wie viel Zeitdruck er verspürt) und eine „Persönlichkeit“ (aggressiv, freundlich oder neutral).
Der Clou: Die KI-Agenten wissen diese Geheimnisse nicht. Sie müssen sie erraten, basierend auf dem, was der Gegner sagt und tut.
Der Verifizierer: Die Forscher wissen hingegen die Geheimnisse. Da sie das Skript kennen, können sie die Leistung der KI analysieren und genau sagen, warum sie gescheitert ist. War sie gescheitert, weil sie den Preis des Gegners nicht erraten konnte? War sie gescheitert, weil sie durch den freundlichen Ton des Gegners verwirrt wurde? Oder hat sie einfach einen schlechten Zug gemacht, obwohl sie die richtige Antwort kannte?

2. Die „Sechs Persönlichkeitstypen“ der Gegner

Um die KI wirklich auf die Probe zu stellen, haben die Forscher nicht nur einen Typus von Gegner verwendet. Sie haben sechs verschiedene „Familien“ von Gegnern erschaffen, vergleichbar mit verschiedenen Charakteren in einem Videospiel:

Der Ehrliche (Candid): Sagt genau das, was er meint. Wenn er freundlich ist, agiert er auch freundlich.
Der Schweigsame (Taciturn): Folgt denselben ökonomischen Regeln wie der Ehrliche, sagt aber sehr wenig. Er testet, ob die KI Dinge auch ohne Hinweise erschließen kann.
Der Reaktive (Expressive): Ändert sein Verhalten basierend darauf, wie die KI agiert. Wenn die KI aufdringlich ist, drängt dieser Gegner härter zurück.
Der Stratege (Strategic): Agiert wie der Reaktive, verbirgt aber seine wahren Gefühle hinter seinen Worten. Er ist ein Meister der Tarnung.
Der Chaotische (Stochastic): Wirft zufälliges Rauschen und verwirrende Signale ein, um zu sehen, ob die KI in Panik gerät.
Der Bully (Adversarial): Versucht ständig, die KI einzuschüchtern.

Durch das Testen der KI gegen all diese verschiedenen „Charaktere“ können die Forscher genau bestimmen, welche Fähigkeit der KI fehlt.

3. Die „Magische Brille“ (Oracle-Interventionen)

Dies ist der cleverste Teil des Papers. Manchmal scheitert eine KI, aber wir wissen nicht, ob sie deshalb scheiterte, weil sie dumm ist (den Gegner nicht versteht) oder ungeschickt (die Antwort kennt, aber einen schlechten Zug macht).

Die Forscher nutzen einen „Magische Brille“-Trick:

Basistest: Die KI verhandelt ganz normal und versucht, die Geheimnisse des Gegners zu erraten.
Die „Posterior“-Brille: Man gibt der KI einen Spickzettel, der besagt: „Hier ist die exakte Wahrscheinlichkeit dessen, was der Gegner gerade denkt.“ Wenn die KI dann immer noch scheitert, bedeutet das, dass sie schlecht darin ist, auf Informationen zu reagieren, aber nicht schlecht darin, Informationen zu beschaffen.
Die „Revealed Type“-Brille: Man verrät der KI den exakten geheimen Preis und die Persönlichkeit des Gegners. Wenn die KI dann immer noch keinen guten Deal abschließt, bedeutet das, dass die KI schrecklich darin ist, die richtigen Züge zu machen, selbst wenn sie über perfekte Informationen verfügt.

Dies ermöglicht es ihnen, das Scheitern in drei Teile zu zerlegen:

Inferenzfehler (Inference Failure): „Du konntest den Preis des Gegners nicht erraten.“
Unsicherheitsfehler (Uncertainty Failure): „Selbst mit einer guten Vermutung warst du zu unsicher, um zu handeln.“
Kontrollfehler (Control Failure): „Du kanntest die Antwort, aber du hast einen ungeschickten Zug gemacht.“

4. Was sie herausgefunden haben

Als sie 13 der klügsten verfügbaren KI-Modelle (wie Claude, GPT-5 und Gemini) testeten, fanden sie einige überraschende Dinge heraus:

Die Lüge der „Deal-Rate“: Fast alle KIs waren hervorragend darin, einen Deal zustande zu bringen (95 %+ Erfolgsquote). Aber die alten Tests hörten dort auf.
Die wahre Lücke: Als sie untersuchten, wie viel Profit die KI machte, waren die Ergebnisse völlig unterschiedlich. Einige Modelle handelten großartige Deals aus; andere schlossen zwar Deals ab, gaben aber fast den gesamten Gewinn ab.
Die „Cue“-Falle: Viele KIs ließen sich vom Tonfall des Gegners täuschen. Wenn der Gegner freundlich klang oder Druck ausübte, gaben viele KIs oft zu viel Geld nach, selbst wenn die Mathematik dagegen sprach.
Unterschiedliche Engpässe: Einige KIs waren schlecht darin, den Geist des Gegners zu lesen. Andere waren gut darin, den Geist zu lesen, aber schlecht darin, den finalen Zug zu machen.

Das Fazit

Das Paper argumentiert, dass wir aufhören müssen, nur die „Anzahl der abgeschlossenen Deals“ zu zählen, und statfangen müssen zu diagnostizieren, wie der Deal zustande kam. TERMS-BENCH ist wie ein medizinischer Scan für KI-Verhandler. Anstatt nur zu sagen „Patient ist gesund“ (Deal zustande gekommen), sagt es Ihnen genau, welches Organ versagt (z. B. „Die KI ist schlecht darin, emotionale Signale zu lesen“ oder „Die KI kann mit Zeitdruck nicht umgehen“).

Dies hilft Entwicklern zu wissen, was genau zu beheben ist: Müssen sie die KI trainieren, weniger emotional zu sein? Müssen sie ihr beibringen, Druck zu ignorieren? Oder müssen sie ihr beibringen, mutigere Züge zu machen? Es verwandelt eine einfache Rangliste in ein detailliertes Handbuch für den Bau besserer KIs.

Technisches Resümee: TERMS-BENCH

Problemstellung

Verhandlungen dienen als zentraler Mechanismus für den wirtschaftlichen Austausch und als kanonischer Testfall für agentische Sprachmodelle (LLMs), was Multi-Turn-Interaktionen unter verborgenen Präferenzen, strategischer Kommunikation und bindenden Randbedingungen erfordert. Die Evaluierung von LLM-Verhandlungsagenten stellt jedoch eine einzigartige methodische Herausforderung dar: Im Gegensatz zu Mathematik oder Programmierung fehlt Verhandlungen ein intrinsischer Verifizierer. Bestehende Evaluierungsparadigmen verlassen sich auf LLM-gegen-LLM-Interaktionen oder aggregierte Ergebnismetriken wie die Abschlussrate (Deal Rate). Dieser Ansatz leidet unter zwei strukturellen Grenzen:

Undurchsichtigkeit der Attribuierung: Da der Gegenüber eine Black-Box-Policy mit unbestimmten latenten Präferenzen ist, vermischen sich Ergebnisse aus Agentenkompetenz und Gegenpart-Variabilität, was eine Zuordnung von Fehlern zu spezifischen Denkfehlern verhindert.
Verlust der diagnostischen Granularität: Selbst Metriken, die durch menschliche Präferenzen oder Multi-Komponenten-Scoring validiert werden, kollabieren die Leistung zu skalaren Rangfolgen und verschleiern, wo im Verhandlungsablauf ein Agent Erfolg hat oder scheitert (z. B. Inferenz vs. Kontrolle).

Folglich versagen aktuelle Benchmarks darin, zu diagnostizieren, ob das Scheitern eines Agenten auf instabilem Denken, Prompt-Sensitivität oder latenter Verhaltensvariabilität beruht, wodurch Fehler für Praktiker undurchsichtig bleiben.

Methodik: TERMS-BENCH

Die Autoren führen TERMS-BENCH (Testbed for Economic Reasoning in Multi-turn Strategy) ein, ein Framework, das die Umgebung selbst als Verifizierer konstruiert. Anstatt ein anderes LLM als Richter zu verwenden, spezifiziert TERMS-BENCH den latenten Typ, die Policy und die Auszahlungsstruktur des Gegenübers explizit, wodurch die Umgebung für den Evaluator beobachtbar bleibt, während sie dem Agenten verborgen bleibt.

1. Framework-Formulierung

TERMS-BENCH modelliert Verhandlung als ein erweitertes Spiel mit unvollständiger Information (Bayesian Game):

Umgebung ( $\Gamma$ ): Definiert durch eine Menge möglicher Ergebnisse, private Typ-Räume für den Agenten ( $T_A$ ) und das Gegenüber ( $T_B$ ), Nutzenfunktionen und eine Prior-Verteilung über latente Typen ( $\mu$ ). Ein Typ $t_i$ kodiert einen Reservierungswert ( $r_i$ ), eine Alternativoption ( $e_i$ ), Dringlichkeit ( $\kappa_i$ ) und eine strategische Haltung ( $\eta_i$ ).
Protokoll ( $P$ ): Legt die Reihenfolge der Züge, den Aktionsraum (ökonomische Akte gepaart mit natürlicher Sprache), Regeln zur Informationsoffenlegung und Abbruchbedingungen fest.
Agenten-Policy ( $\pi$ ): Bildet Informationszustände (Historie, privater Kontext, Überzeugungen) auf Aktionen ab.

2. Instanziierung: Bilaterale Preisverhandlung

Das Paper instanziiert dieses Framework in einer bilateralen Preisverhandlung, bei der ein Agent mit einem simulationsgesteuerten Gegenüber über einen skalaren Preis verhandelt.

Gegenüber als diagnostisches Instrument: Das Gegenüber wird durch einen festen stochastischen Kern $\pi_B$ gesteuert, der durch einen gesampelten latenten Typ $t_B$ parametrisiert ist. Der Agent muss $t_B$ aus den beobachteten Preisen und Nachrichten inferieren.
Gegenüber-Familien: Um spezifische Fähigkeiten zu isolieren, definieren die Autoren sechs Familien des Gegenüber-Verhaltens, die entlang zweier Achsen variieren:
- Ökonomische Reaktivität: Wie stark das Verhalten von den jüngsten Angeboten des Agenten im Vergleich zum latenten Typ abhängt (z. B. Typ-Instrumentell vs. Hoch-Reaktiv).
- Hinweis-Zuverlässigkeit (Cue Reliability): Ob sprachliche Signale (Sentiment, Haltung) die latente Einstellung korrekt widerspiegeln (z. B. Akkurat vs. Uninformativ vs. Verrauscht vs. Druckausübend).
- Die Kernfamilien sind Candid (Aufrichtig), Taciturn (Wortkarg), Expressive (Expressiv) und Strategic (Strategisch), mit den Stresstests Stochastic (Stochastisch) und Adversarial (Adversariell).

3. Evaluierungsmetriken und Attribuierung

TERMS-BENCH geht über die Abschlussrate hinaus und nutzt ein mehrdimensionales diagnostisches Framework:

Terminaler Wert: Überschuss-Effizienz ( $SE^+_\pi$ ), normiert auf die Zone des möglichen Übereinkommens (ZOPA).
Vereinbarungs-Kalibrierung: Raten von Übereinstimmungen in machbaren Episoden ( $AGR^+_\pi$ ) und falsche Übereinstimmungen in unmachbaren Episoden ( $FAGR^-_\pi$ ).
Gegenüber-Modellierung: Fehler in der Überzeugung bezüglich Reservierungswert, Dringlichkeit und Haltung.
Protokoll-Compliance: Raten kritischer Verstöße (Preisgrenzen, individuelle Rationalität).

Oracle-Interventionen: Um Fehler zu attribuieren, vergleicht das Framework die Leistung des Agenten mit drei Bedingungen:

Base (Basis): Der Agent inferiert den Typ von Grund auf.
Oracle-Posterior: Der Agent erhält den exakten Bayes'schen Posterior des Typs des Gegenübers.
Revealed-Type (Offenlegter Typ): Der Agent erhält den wahren latenten Typ.
Model-Based Oracle: Eine dynamische Programmierungs-Referenzpolicy ( $\pi^*$ ), die Bayes-optimal für die spezifizierte Umgebung ist.

Dies ermöglicht die Dekomposition der Leistungslücke in Inferenz ( $\Delta_{inf}$ ), Unsicherheit ( $\Delta_{unc}$ ) und Kontrolle ( $\Delta_{ctrl}$ ) Engpässe.

Kernergebnisse

Die Autoren evaluierten 13 Frontier-LLM-Agenten (darunter Claude Opus 4.6/4.7, GPT-5.5, Gemini 3.1 Pro, etc.) und drei feste Konzedenz-Baselines über 1.800 gesäte Episoden.

Hohe Abschlussrate maskiert Wertextraktion: Während die meisten Frontier-Modelle nahezu gesättigte Abschlussraten erreichen ( $>97\%$ in machbaren Episoden), divergieren sie signifikant in der Überschussextraktion. Beispielsweise erreichte Claude Opus 4.6 eine Überschuss-Effizienz von 0,694, während Doubao-Seed-2.0-Pro trotz einer höheren Abschlussrate (99,9%) nur 0,522 erreichte.
Versagen bei der Nutzung von Hinweisen (Cue-Use): Agenten extrahierten konsistent weniger Überschuss, wenn informative Hinweise vorhanden waren, im Vergleich zu Fällen, in denen diese gedämpft waren ( $\alpha_{cue} < 0$ ). Dies deutet darauf hin, dass Agenten dazu neigen, gegenüber "warmen" Hinweisen zu viel nachzugeben oder unter "Druck"-Hinweisen ein brüchiges Verhalten zu zeigen, indem sie es nicht schaffen, linguistische Signale von der ökonomischen Strategie zu entkoppeln.
Informations-Aktions-Gap: Frontier-Modelle scheiterten daran, die Inferenz des latenten Typs in Überschuss umzumünzen.
- Posterior-Injektion: Die Bereitstellung des exakten Bayes'schen Posteriors für die Agenten lieferte nur schwache oder inkonsistente Erträge und schloss nur etwa 1 % der Lücke bei Top-Modellen.
- Überzeugungs-Kalibrierung: Die Fehler in der Überzeugung verbesserten sich nicht über die Zeit; in einigen Fällen nahmen sie sogar zu, wobei die Inferenz der Haltung die dominante Fehlerquelle war.
- Inferenz-Strafe: Agenten performten oft schlechter in Familien, in denen die Inferenz des latenten Typs ökonomisch instrumental war, verglichen mit hoch-reaktiven Familien.
Distinkte Engpässe via Oracle-Dekomposition:
- GPT-4o-mini war primär kontrollbeschränkt (98 % der Lücke) und hatte Schwierigkeiten, auf bereitgestellte Informationen zu reagieren.
- Claude Opus 4.7 und Grok 4.20 waren unsicherheitsbeschränkt, da selbst nach der Offenlegung des Typs große Lücken bestanden.
- Claude Opus 4.6 zeigte ein gemischtes Profil über Inferenz, Unsicherheit und Kontrolle.
Stabile Verhandlungs-Fingerabdrücke: Agenten zeigten stabile Verhaltens-Typologien (z. B. „Anchor-and-Hold“, „Mid/Balanced“) und Selbstbeschränkungs-Profile (IR-Verstoßraten vs. Exit-Disziplin), die über Gegenüber-Familien hinweg konsistent waren, was darauf hindeutet, dass dies intrinsische Modelleigenschaften und keine Artefakte der Umgebung sind.
Datengestützte Validierung: Bei einem datengestützten Variantentest unter Verwendung von Amazon-Katalogstatistiken blieb die Rangfolge der Agenten weitgehend erhalten (Spearman $\rho=0,90$ ), aber der „Schwierigkeitsmultiplikator“-Effekt verstärkte die Leistungslücke zwischen starken und schwachen Modellen. Stärkere Modelle nutzten öffentliche Produktanker effektiv, während schwächere Modelle mit breiteren Preisspannen kämpften.
Kommerzielle Auswirkungen: In einer „Bankroll Mode“-Simulation, die mehrere Episoden verknüpft, kumulierten sich kleine Fehler pro Periode zu signifikanten Solvenzproblemen. Die Differenz des Endsaldos zwischen den stärksten und schwächsten LLMs betrug ~21x, was die ~14-fache Differenz in der Einzelepisoden-Überschusseffizienz weit überstieg.

Bedeutung und Ansprüche

Das Paper behauptet, dass TERMS-BENCH die Bewertung von Verhandlungen von einer Black-Box-Rangfolge-Übung zu einem attribuierbaren Diagnosewerkzeug für Agenten umformt. Durch die Konstruktion der Umgebung als Verifizierer ermöglicht es:

Skalierbare, menschen-unabhängige Diagnose: Identifizierung spezifischer Fehlermodi (Inferenz, Unsicherheit, Kontrolle) ohne die Abhängigkeit von subjektiven menschlichen Richtern.
Aufdeckung verborgener Fehler: Aufzeigen, dass hohe Abschlussraten oft kritische Defizite in der Überschussextraktion, der Sensitivität gegenüber Hinweisen und der Selbstbeschränkung maskieren.
Handlungsorientierte Erkenntnisse für Praktiker: Bereitstellung einer kontrollierten Basis, um aufzuzeigen, wo Agenten scheitern und was gestärkt werden muss (z. B. Verbesserung der Überzeugungs-Kalibrierung vs. strategische Kontrolle).

Die Autoren positionieren diese Arbeit als notwendigen Schritt hin zu einsatzfähigen Verhandlungsagenten und merken an, dass während die aktuelle Instanziierung sich auf bilaterale Preisverhandlungen konzentriert, das Framework auf Multi-Party- und Multi-Produkt-Settings verallgemeinerbar ist. Sie räumen ein, dass menschliche Studien und reichere Multi-Issue-Settings wichtige nächste Schritte bleiben, um die Transferleistung über den aktuellen Umfang hinaus zu validieren.