Sell More, Play Less: Benchmarking LLM Realistic Selling Skill

Probleemstelling

Grote Taalmodellen (LLM's) worden steeds vaker ingezet voor doelgerichte interacties, waarbij verkoop een hoog-impact toepassing is. Echter, bestaande dialoog-benchmarks focussen voornamelijk op de kwaliteit van het gesprek (bijv. coherentie, beleefdheid) en niet op uitkomstgerichte vaardigheden zoals proactieve beïnvloeding en conversie (het sluiten van een deal).

Verkoop is een unieke vorm van asymmetrische persuasie, waarbij de verkoper de houding van de klant moet beïnvloeden ondanks potentiële weerstand. Bestaande benchmarks missen vaak:

1. Realistische simulatie van weerbarstige klanten.
2. Meetbare gedragsuitkomsten (daadwerkelijke aankoopintentie).
3. Een gestructureerde manier om de moeilijkheidsgraad van de verkoop te controleren.

Methodologie: SalesLLM

De auteurs introduceren SalesLLM, een tweetalig (Chinees/Engels) benchmarkframework dat bestaat uit drie hoofdstadia:

1. Scriptgeneratie en Scenario-ontwerp

• Data: Er zijn 30.074 gestructureerde scripts gegenereerd voor twee domeinen: Financiële Diensten (300 echte producten) en Consumentengoederen (gebaseerd op Amazon-reviews).
• Personas: Klantprofielen worden gedefinieerd met kernattributen (leeftijd, beroep, stad) en verrijkt met product-specifieke motivaties en pijnpunten.
• Gecombineerde Moeilijkheidsgraad: Een cruciale innovatie is de controleerbare moeilijkheidsgraad, gedefinieerd door vijf klantprofielen:
  • Easy: Open, gemotiveerd, snel besluit.
  • Medium: Balans tussen bezorgdheid en bereidheid.
  • Hard: Sceptisch, prijsgevoelig.
  • Very Hard: Zeer sceptisch, strikte compliance-eisen.
  • Adversarial: Gericht op het diskwalificeren van leveranciers (zoekt naar juridische risico's en verborgen kosten).
• Dataset: Uiteindelijk zijn 1.805 gecureerde multi-turn scenario's geselecteerd (1.000 Chinees, 805 Engels) voor evaluatie.

2. Geavanceerde Gebruikerssimulatie (CustomerLM)

Om de simulatie realistischer te maken dan bestaande modellen (die vaak te formeel zijn of de rol van verkoper overnemen), hebben de auteurs CustomerLM ontwikkeld:

• Basis: Gebouwd op Qwen3-8B.
• Training:
  • SFT (Supervised Fine-Tuning): Getraind op 8.000 echte verkoopgesprekken met crowdworkers om natuurlijke taalpatronen en taalgebruik (inclusief fragmentarische zinnen) te leren.
  • DPO (Direct Preference Optimization): Gebruikt een voorkeursdataset van 268 paren (geselecteerd door menselijke filtering en LLM-judges) om de rolconsistentie te verbeteren en "role inversion" (waarbij de gebruiker als verkoper gaat praten) te minimaliseren.
• Resultaat: CustomerLM reduceert de rol-inversie van 17,44% (bij GPT-4o) naar 8,8%.

3. Evaluatie en Scoring

Het framework gebruikt een dubbel-metriek systeem voor evaluatie:

1. Koopintentie (Buying Intent): Een fine-tuned BERT-classificator (RoBERTa voor EN, Chinese-RoBERTa voor ZH) analyseert de laatste berichten van de klant om de intentie te scoren (van "Duidelijk kopen" tot "Beledigend"). Deze BERT-modellen presteren significant beter (93% nauwkeurigheid) dan GPT-4o als judge (69%).
2. Verkoopprestatie (Selling Performance): Een LLM-judge scoort de verkoper op een schaal van 0-10 gebaseerd op vier dimensies: verbale toezegging, concrete volgende stappen, het eliciteren van informatie en het oplossen van bezwaren.
3. Eindscore: Een gewogen som van beide scores ($\alpha = 0,5$).

Kernbijdragen

1. SalesLLM Benchmark: Een uitgebreide dataset van 1.805 realistische, tweetalige verkoopscenario's met gecontroleerde moeilijkheidsgraden.
2. CustomerLM: Een gespecialiseerde gebruikerssimulator die de rolconsistentie verbetert en de "role inversion" aanzienlijk verlaagt ten opzichte van generieke LLM's.
3. Automatisch Evaluatiekader: Een robuust pipeline die LLM-judges combineert met gespecialiseerde BERT-classificators, gevalideerd met menselijke beoordelingen.
4. Empirische Analyse: Een uitgebreide evaluatie van 15 mainstream LLM's die inzicht geeft in hun verkoopvaardigheden.

Resultaten

• Validatie: De geautomatiseerde scores correleren extreem sterk met menselijke beoordelingen (Pearson $r = 0,98$).
• Modelprestaties: Er is aanzienlijke variatie tussen modellen.
  • Top-modellen (zoals Doubao-1.5 en GLM-4.6) presteren in Chinese scenario's zelfs beter dan menselijke verkopers (met minimaal 1 jaar ervaring).
  • Modellen zoals DeepSeek-Chat tonen proactieve strategieën (bijv. het stellen van afsluitende vragen), terwijl zwakkere modellen vaak passief blijven als Q&A-bots.
  • Er is een duidelijke taalkloof: Modellen die goed presteren in het Chinees, vertonen vaak een daling in prestaties in het Engels, hoewel Gemini-3 een sterke cross-linguale consistentie toont.
• Langdurige Verkoop: In scenario's met meerdere contactpunten (waarbij klanten eerst weigeren) presteren sommige modellen beter dan anderen, maar de keuze van de gebruikerssimulator (CustomerLM vs. GPT-4o) heeft een grote invloed op de uitkomst, wat aantoont dat de simulatie van klantweerstand kritiek is.

Betekenis en Impact

Dit paper biedt een fundamenteel platform voor de ontwikkeling van autonome verkoopagenten. Het benadrukt dat voor succesvolle verkoop niet alleen taalvaardigheid nodig is, maar ook vermogen tot proactieve beïnvloeding en het omgaan met weerstand.

• Schaalbaarheid: SalesLLM biedt een schaalbare manier om verkoopagenten te testen zonder duurdere menselijke evaluaties.
• Realisme: Door de focus op asymmetrische persuasie en gecontroleerde moeilijkheidsgraden, sluit de benchmark beter aan bij de realiteit dan eerdere benchmarks.
• Toekomstige Richting: De auteurs wijzen op beperkingen, zoals het gebrek aan langdurige geheugenmechanismen voor verkoopcycli van weken en het risico dat LLM's "hallucineren" om deals te sluiten (bijv. onbevoegde kortingen aanbieden). Dit onderstreept de noodzaak van strikte richtlijnen bij de implementatie van AI-verkoop.

Kortom, SalesLLM zet de standaard voor het meten van de daadwerkelijke verkoopkracht van LLM's, bewijst dat top-modellen menselijk niveau kunnen bereiken, en identificeert de specifieke gebieden waar verbetering nodig is.