Technische Samenvatting: Zijn LLM's Effectieve Onderhandelaars?

Probleemstelling

Succesvol onderhandelen is een complex cognitief proces dat een synthese vereist van gesprekcomprettie, Theory-of-Mind (ToM) capaciteiten om de motieven van de partner af te leiden, strategisch redeneren en effectieve communicatie. Hoewel Large Language Models (LLM's) opmerkelijke prestaties hebben getoond in diverse NLP-taken, blijft hun specifieke vermogen binnen het domein van geautomatiseerde onderhandelingen onverkend. Bestaand onderzoek dat LLM's gebruikt als onderhandelingsagenten, mist een systematische evaluatie van de diverse vaardigheden die nodig zijn voor effectieve onderhandeling. Dit gebrek belemmert de ontwikkeling van geavanceerde AI-onderhandelaars en beperkt de toepassing van LLM's bij het ontwerpen van dialoogsystemen, het bieden van pedagogische feedback en het opschalen van datacollectiepraktijken.

Methodologie

De auteurs stellen een uitgebreid framework voor om de veelzijdige capaciteiten van LLM's systematisch te analyseren aan de hand van 35 afzonderlijke taken afgeleid van vier mens-mens onderhandelingsdatasets (CRA, DND, CA, en JI). Deze datasets zijn gebaseerd op het Multi-Issue Bargaining Task (MIBT) framework, waarbij agenten onderhandelen over de verdeling van vaste hoeveelheden items om de totale waarde te maximaliseren op basis van vooraf gedefinieerde voorkeuren.

Het evaluatieframework categoriseert taken langs drie assen:

1. Objectiviteit: Het onderscheid tussen objectieve taken (feitelijk, bijv. itemaantallen, deal-specificaties) en subjectieve taken (betrokken bij menselijke perceptie, bijv. tevredenheid, sympathie).
2. Tijdsfase: Het beoordelen van capaciteiten aan het Begin (alleen context), Tijdens (gedeeltelijke dialoog) en Einde (volledige dialoog) van een onderhandeling.
3. Taaktype:
   • Begrip (Comprehension): Begrip van context, uitkomsten en prioriteiten.
   • Annotatie (Annotation): Identificeren van dialooghandelingen en linguïstische strategieën.
   • Partner Modellering (Partner Modeling): Afleiden van de prioriteiten en subjectieve staten van de partner (ToM).
   • Generatie (Generation): Het produceren van contextueel passende en strategisch voordelige reacties.

De studie evalueert een reeks propriëtaire (GPT-3.5, GPT-4) en open-source modellen (Mistral-7B, Wizard-13B, Vicuna-13B/33B) met behulp van zero-shot prompting. De baselines omvatten een Majority-label voting model en een taakspecifieke fine-tuned Flan-T5 (base). De evaluatiemetrieken omvatten Accuracy, Macro-F1, Pearson Correlation Coefficient (PCC) voor subjectieve taken, en BLEU/ROUGE/BERTScore naast menselijke expertbeoordelingen voor Coherentie en Strategie in generatietaken.

Belangrijkste Bijdragen

1. Nieuwe Evaluatiemethodologie: Het artikel introduceert een gestructureerde methodologie om onderhandeling te deconstrueren in 35 specifieke taken, wat een granulaire analyse van LLM-capaciteiten mogelijk maakt buiten end-to-end prestaties.
2. Systematische Zero-Shot Evaluatie: De auteurs evalueren out-of-the-box LLM-capaciteiten in diverse scenario's, waarbij zij aantonen dat GPT-4 vaak beter presteert dan zelfs fine-tuned baselines (Flan-T5) in zero-shot settings.
3. Mens-LLM Vergelijking: Door middel van menselijke expertannotatie vergelijkt de studie modelgeneratie met menselijke referenties, waarbij specifieke gebieden van gelijkwaardigheid en falen worden geïdentificeerd.
4. Analyse van Promptingstrategieën: Het werk onderzoekt de effectiviteit van Chain-of-Thought (CoT) en few-shot prompting, evenals de impact van het variëren van het aantal geziene uitingen op de modelprestaties.

Resultaten

Begrip en Partner Modellering

• Objectieve Taken: GPT-4 vertoont superieure prestaties in begripstaken, met name in de Begin-fase (81,7% accuratesse) en de Einde-fase (65,3% accuratesse), waarmee het zowel open-source modellen als de fine-tuned Flan-T5 baseline overtreft.
• Subjectieve Taken: Alle modellen, inclusief GPT-4, vertonen een slechte correlatie met menselijke oordelen met betrekking tot subjectieve beoordelingen (tevredenheid en sympathie). De PCC van GPT-4 voor tevredenheidsratings is slechts 0,3, en het classificeert de uitkomsten van deals vaak in de tegenovergestelde richting van de menselijke perceptie.
• Partner Modellering: GPT-4 vertoont sterke ToM-vaardigheden bij het afleiden van partnerprioriteiten (objectief), maar heeft moeite met het vastleggen van de mate van positiviteit of negativiteit in de subjectieve staten van de partner.

Annotatie en Generatie

• Annotatie: GPT-3.5 en GPT-4 presteren beter dan de fine-tuned Flan-T5 op dialoogact-annotatie (Macro-F1 van respectievelijk 62,4% en 52,5%), hoewel de prestaties dalen bij strategie-detectie vanwege de subtiliteit van linguïstische strategieën.
• Generatie:
  • Automatische Metrieken: Fine-tuned Flan-T5 behaalt hogere BLEU- en ROUGE-scores door dataset-specifieke training, maar GPT-modellen vertonen een betere semantische gelijkenis (BERTScore) op diverse datasets.
  • Menselijke Evaluatie: GPT-4 bereikt Coherentie-scores die vergelijkbaar zijn met menselijke referenties. Echter, wat betreft Strategie, presteren alle modellen aanzienlijk minder goed dan mensen. Modellen hebben moeite met het genereren van reacties die strategisch voordelig zijn, en falen vaak in het incorporeren van gedeelde informatie of het naleven van hun eigen prioriteiten.

Prompting en Robuustheid

• CoT Prompting: Het toepassen van Chain-of-Thought prompting op GPT-4 verbetert de prestaties op multi-hop rekenkundige redeneertaken (bijv. het berekenen van totale dealpunten) aanzienlijk, waarbij bijna 100% accuratesse wordt behaald.
• Voorspellingsbalans: GPT-4 demonstreert superieure robuustheid en voorspellingsbalans (lage KL-divergentie) vergeleken met andere modellen, vooral in ongebalanceerde taakscenario's.
• Contextgevoeligheid: Het verhogen van het aantal geziene uitingen door het model verbetert de partner modellering (het begrijpen van anderen), maar verslechtert het begrip van de eigen context van de agent, wat wijst op een recentie-bias (recency bias).

Betekenis en Claims

Het artikel concludeert dat hoewel LLM's, in het bijzonder GPT-4, over de fundamentele capaciteiten beschikken om te assisteren in onderhandelingsonderzoek — zoals het ontwerpen van dialoogsystemen, het bieden van pedagogische feedback en het automatiseren van datacollectiepraktijken — ze nog niet volledig effectief zijn als autonome strategische agenten.

• Huidig Nut: LLM's zijn effectief voor taken die een begrip van context en objectieve feiten vereisen. Ze kunnen dienen als efficiënte instrumenten voor het annoteren van dialoogacten en strategieën, wat potentieel de datacollectiepraktijken kan opschalen.
• Beperkingen: Er blijven significante hiaten bestaan in strategisch redeneren en het vermogen om subjectieve menselijke staten te vatten. Modellen neigen te overdreven meegaand te zijn, maken geen strategisch gebruik van gedeelde informatie en hebben moeite met coherentie in complexe, meerderjarige interacties.
• Toekomstige Richtingen: De auteurs suggereren dat toekomstig werk zich moet richten op het combineren van LLM's met Reinforcement Learning (RL) policies om strategisch gedrag en persoonlijkheid te controleren. Daarnaast is het verbeteren van de afhandeling van lange contexten en het ontwikkelen van gestructureerde redeneerbenaderingen (het opdelen van generatie in subdoelen) noodzakelijk om AI-onderhandelingsagenten te laten vorderen.

De studie benadrukt dat hoewel propriëtaire modellen zoals GPT-4 veelbelovend zijn, kleinere open-source modellen momenteel vergelijkbaar presteren met triviale baselines in cruciale onderhandelings-taken, wat de noodzaak voor verdere ontwikkeling van open-source architecturen voor dit domein onderstreept.