Are LLMs Effective Negotiators? Systematic Evaluation of the Multifaceted Capabilities of LLMs in Negotiation Dialogues
Dieses Paper präsentiert eine systematische Evaluierung der facettenreichen Verhandlungsfähigkeiten von Large Language Models über diverse Dialogszenarien hinweg, wobei die überlegene Leistung von GPT-4 aufzeigt und gleichzeitig spezifische Herausforderungen in der subjektiven Bewertung sowie der Generierung strategischer Antworten identifiziert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, mit einem Nachbarn Gegenstände zu tauschen, um das beste Geschäft für Ihren Campingausflug zu machen. Sie beide haben eine Liste von Dingen, die Sie brauchen (Essen, Wasser, Brennholz), und jeder Gegenstand ist für Sie unterschiedlich viele „Punkte“ wert. Um zu gewinnen, müssen Sie die Regeln verstehen, erraten, was Ihr Nachbar möchte, und die richtigen Dinge sagen, um die meisten Punkte zu bekommen, ohne ihn wütend zu machen.
Dieses Papier ist wie ein Zeugnis für Künstliche Intelligenz (KI), die versucht, dieses Handelsspiel zu spielen. Die Forscher fragten: Können moderne KI-Chatbots (genannt Large Language Models oder LLMs) tatsächlich gute Verhandler sein?
Hier ist eine Aufschlüsselung ihrer Ergebnisse unter Verwendung einfacher Analogien:
1. Das „Prüfungs“-Setup
Die Forscher haben die KI nicht einfach nur chatten lassen; sie gaben ihr eine Reihe spezifischer Tests, wie ein Lehrer, der einen Schüler in verschiedenen Fächern bewertet. Sie brachen den komplexen Akt des Verhandelns in vier Hauptkompetenzen herunter:
- Leseverständnis: Hat die KI die Regeln und das endgültige Geschäft verstanden? (z. B. „Wie viele Punkte habe ich bekommen?“)
- Labeling (Kennzeichnung): Kann die KI erkennen, was die andere Person gerade tut? (z. B. „Ist dieser Satz ein ‚Vorschlag‘ oder eine ‚Beschwerde‘?“)
- Gedankenlesen (Theory of Mind): Kann die KI erraten, was die andere Person möchte oder wie zufrieden sie ist, selbst wenn sie es nicht laut ausgesprochen hat?
- Sprechen: Kann die KI eine Antwort schreiben, die sowohl höflich als auch klug genug ist, um ein gutes Geschäft zu erzielen?
Sie testeten dies in vier verschiedenen „Handelsszenarien“, die vom Tausch von Campingausrüstung bis hin zur Verhandlung eines Jobgehalts reichten.
2. Der Musterschüler: GPT-4
Die Ergebnisse zeigten, dass GPT-4 derzeit der „Abiturient“ dieser Klasse ist.
- Die gute Nachricht: Es war signifikant besser als alle anderen KI-Modelle darin, die Regeln zu verstehen, die Mathematik zu erledigen und zu erraten, was die andere Person wollte. In vielen Tests schlug es sogar eine spezialisierte KI, die speziell für genau diesen Test trainiert wurde (wie ein Schüler, der nur für diese eine Prüfung gelernt hat), durch eine allgemeine KI, die einfach „viel wusste“.
- Der „menschliche“ Touch: Wenn es darum ging, eine Antwort zu formulieren, klang GPT-4 fast so kohärent und logisch wie ein menschlicher Experte.
3. Die Schwierigkeiten: Wo die KI verwirrt ist
Selbst die klügste KI hatte Schwachstellen und verhielt sich wie ein Schüler, der großartig in Mathe ist, aber schlecht im Lesen sozialer Signale.
- Der „Gedankenles“-Fehler: Wenn die KI gefragt wurde, wie zufrieden die andere Person mit dem Geschäft war, lag sie oft falsch. Es ist wie ein Schüler, der denkt, der Lehrer sei glücklich, weil er eine „1“ bekommen hat, aber der Lehrer ist eigentlich wütend, weil der Schüler geschummelt hat. Die KI hatte Schwierigkeiten, die Gefühle hinter den Worten zu verstehen.
- Der „Strategie“-Aussetzer: Manchmal stimmte die KI einem schlechten Geschäft zu, nur um nett zu sein. Es ist wie ein Kind an einem Limonadenstand, das einfach alle seine Zitronen für einen Penny hergibt, nur weil der Kunde nett gefragt hat, und dabei vergisst, dass es eigentlich einen Gewinn machen sollte. Sie versäumte es oft, die ihr gegebenen Informationen zu nutzen, um ihre eigenen Interessen zu schützen.
- Die „Echo-Kammer“: In einigen Fällen wiederholte die KI ein Angebot, das die andere Person bereits abgelehnt hatte, als ob sie die Historie des Gesprächs nicht vergessen hätte. Es ist wie der Versuch, ein Gespräch mit jemandem zu führen, der ständig Dinge vorschlägt, die man selbst schon abgelehnt hat.
4. Die „Cheat-Codes“ (Prompting)
Die Forscher fanden heraus, dass die Art und Weise, wie man die KI fragt, ihre Leistung verändert.
- Chain-of-Thought (CoT): Wenn man der KI sagt: „Denke Schritt für Schritt, bevor du antwortest“, wird sie bei mathematischen Problemen viel besser. Es ist, als würde man einem Schüler sagen: „Zeig deinen Rechenweg“, was ihm hilft, das richtige Ergebnis zu finden.
- Few-Shot Learning: Wenn man der KI vor der eigentlichen Aufgabe ein paar Beispiele gibt, wie sie antworten soll, schneidet sie besser ab. Es ist, als würde man einem Schüler ein Musteressay zeigen, bevor man ihn bittet, selbst eines zu schreiben.
5. Das Urteil
Das Papier kommt zu dem Schluss, dass KI (speziell GPT-4) zwar zu einem sehr fähigen Werkzeug für die Verhandlungsforschung wird, aber noch kein perfekter Verhandler ist.
- Sie ist großartig in: Das Befolgen von Regeln, dem Lösen von Matheaufgaben und dem Verständnis der Struktur eines Gesprächs.
- Sie lernt noch: Das Verständnis menschlicher Emotionen, das strategische Selbstinteresse (im positiven Sinne) und das Nicht-Verwirrtsein durch lange Gespräche.
Die Forscher schlagen vor, dass die KI vorerst am besten als Helfer eingesetzt werden kann, um Daten zu analysieren oder Menschen zu trainieren, anstatt als vollautonomer Verhandler, der einen Menschen bei einem hochkarätigen Geschäft ersetzen könnte. Sie ist eine leistungsstarke Assistentin, aber sie braucht immer noch einen Menschen im Prozess, um ihre „soziale“ Arbeit zu überprüfen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.