Technische Samenvatting: Gesimuleerde Klanten Lopen Nooit Weg

Probleemstelling

Het veld van conversational AI leunt steeds meer op LLM-als-gebruikerssimulatie als kerninfrastructuur voor benchmarking (bijv. $\tau$-bench), trainingspipelines en fidelity-studies. Bestaande validatieframeworks meten primair communicatieve fideliteit: of een simulator klinkt als een mens wat betreft stijl, persona-consistentie en emotionele reactie. Deze frameworks valideren doorgaans tegen de grondwaarheid gegenereerd door betaalde deelnemers die toegewezen rollen spelen (toegewezen doelen) (bijv. "boek deze vlucht").

Het paper identificeert een structurele blinde vlek in dit paradigma: wanneer het doel van een gebruiker is toegewezen, is de bereidheid om te handelen exogeen. Bijgevolg kunnen bestaande benchmarks niet testen of simulators beslissingsfideliteit reproduceren—de endogene, latente en afnemende bereidheid van een echt persoon die besluit of hij zich committeert aan een consequente keuze. Echte klanten kunnen hun interesse verliezen, stagneren of afhaken, maar een role-player die de opdracht heeft gekregen om een vlucht te boeken, zal nooit echt besluiten het niet te doen. Het paper betoogt dat voor persuasie-agenten (verkoop, fondsenwerving, onderhandeling), beslissingsfideliteit de cruciale eigenschap is die bepaalt of conclusies op basis van simulaties overdraagbaar zijn naar de realiteit, maar dat dit ongemeten blijft omdat eerdere benchmarks geen echte uitkomsten kennen.

Methodologie

De auteurs introduceren een teacher-forced probe protocol om beslissingsfideliteit te meten tegenover echte, consequente uitkomsten, gebruikmakend van een unieke testomgeving: ZhenaiSales.

1. Testomgeving: ZhenaiSales

• Data: 2.790 productiegesprekken tussen een ingezette LLM-verkoopagent en echte ouders van een Chinese matchmaking-service voor relaties.
• Grondwaarheid: 793 gesprekken resulteerden in geverifieerde betalingen (kopers); 1.997 resulteerden hier niet in (niet-kopers).
• Kernkenmerk: In tegen tegenoverlijke role-play corpora hebben deze gebruikers een echte, endogene bereidheid en impliceren hun beslissingen echte financiële kosten. Gesprekken worden afgebroken bij de eerste tijdstempel van betaling om lekkage van de uitkomst te voorkomen.

2. Het Protocol

Om het gebruikersmodel te isoleren van de agent en te controleren voor verstorende variabelen, gebruiken de auteurs een teacher-forced benadering:

• Vaste Context: Op specifieke controlepunten (30%, 60%, 90% van de gesprekslengte) krijgt de simulator de identieke prefix van het echte gesprek ($h_t$) en het demografische profiel van de gebruiker gevoerd.
• Vast Instrument: Een LLM-perceiver ($\Phi$) brengt zowel de volgende beurt van de echte gebruiker als de gegenereerde beurt van de simulator in kaart naar een gestructureerd beslissings-status schema (engagement-fase, emotie, blokkade).
• Meting: De studie vergelijkt de distributie van beslissingsstatussen tussen echte en gesimuleerde beurten, specifiek geconditioneerd op de uiteindelijke echte uitkomst van de gebruiker (koper versus niet-koper).

3. Metriek: Uitkomst-geconditioneerde Dieptebias

De auteurs definiëren een scalair eindpunt, $\Delta$, om de "disengagement deficit" te meten:

• Diepte ($\delta$): Een ordinale schaal van weerstand bieden (0) tot beslissen (4).
• Bias ($D$): Het verschil tussen de gesimuleerde diepte en de echte diepte voor een gegeven gesprek.
• Contrast ($\Delta$): Het verschil in gemiddelde bias tussen de niet-koper stratum en de koper stratum ($\Delta = E_{y=0}[\bar{D}] - E_{y=1}[\bar{D}]$).
• Hypothese: Perfecte beslissingsfideliteit impliceert $\Delta = 0$. Een positieve $\Delta$ geeft aan dat de simulator de engagement-diepte voor niet-kopers meer inflateert dan voor kopers.

Belangrijkste Bijdragen

1. Definitie van Beslissingsfideliteit: Het paper articuleert beslissingsfideliteit als een onderscheidende, meetbare eigenschap van gebruikerssimulators, en stelt dat dit de noodzakelijke voorwaarde is voor de overdraagbaarheid van evaluatieresultaten naar de realiteit, in tegenstelling tot communicatieve fideliteit.
2. Nieuwe Testomgeving en Protocol: Introductie van ZhenaiSales, de eerste gebruikerssimulatie-testomgeving gebaseerd op geverifieerde aankoopbeslissingen, en een teacher-forced, instrument-gecontroleerd protocol voor het meten van beslissingsfideliteit.
3. Ontdekking van het Disengagement Deficit: Documentatie van een systematisch, uitkomst-gecorreleerd falen waarbij LLM-simulators de uiteindelijke kopers accuraat reproduceren, maar de uiteindelijke niet-kopers systematisch richting het aankoopkader inflateren.

Resultaten

De studie onthult een significant disengagement deficit over meerdere modelfamilies en experimentele condities.

1. Primaire Bevinding: Het Disengagement Deficit

• Kopers: Simulators reproduceren uiteindelijke kopers bijna exact (gemiddelde dieptebias $\approx +0,09$).
• Niet-kopers: Simulators inflateren uiteindelijke niet-kopers systematisch richting het aankoopkader (gemiddelde dieptebias $\approx +0,40$).
• Statistische Significantie: Het uitkomst-geconditioneerde contrast is significant ($\Delta = +0,304$, Cohen's $d = 0,38$, $p < 0,001$).
• Mechanisme: De simulator halveert de weerstand die door echte niet-kopers wordt geuit (25,1% $\to$ 13,5%) en bijna verdubbelt hun beraadslaging (21,9% $\to$ 40,1%), terwijl de snelheid van "beslissen" (onmiddellijke aankoop) ongewijzigd blijft. Simulators fabriceren geen nepverkopen; ze creëren "geïnteresseerde beraadsleden" uit mensen die anders zouden afhaken.

2. Generaliteit en Robuustheid

• Modelfamilies: Het deficit repliceert wanneer de simulator-backbone wordt vervangen door DeepSeek-V4-Flash ($\Delta = +0,330$, $d = 0,41$, $p = 0,002$).
• Instrument Wissel: Her-scoring met een andere modelfamilie (DeepSeek instrument) versterkt het deficit ($\Delta = +0,351$, $d = 0,42$), wat de invloed van judge-artefacten uitsluit.
• Expliciete Instructies: Het expliciet instrueren van de simulator dat hij onverschillig, oppervlakkig of ongeduldig mag zijn, vermindert de marginale bias vijfmaal, maar slaagt er niet in de conditionele contrast te herstellen ($\Delta$ blijft $\approx +0,285$). De instructie zorgt ervoor dat de simulator de kopers juist te veel weerstand biedt (waardoor de fout wordt verplaatst) in plaats van de niet-kopers correct te laten afhaken.

3. Gevolgen voor Agent Training

• Mispricing Tactieken: Het deficit concentreert zich op druk-tactieken. Na een verkoop-"pitch" beraadslagen echte gebruikers 45,3% van de tijd, terwijl gesimuleerde gebruikers 75,2% van de tijd beraadslagen. Na een "push-close" wordt de weerstand van gesimuleerde gebruikers met 8,2 procentpunt onderdrukt.
• Beloningslandschap: Agenten die getraind of geëvalueerd worden tegen dergelijke simulators ontvangen sterke positieve signalen voor druk-tactieken die in de werkelijkheid weerstand of stilte oproepen. Dit creëert een directionele bias die overmatige drang beloont.

Betekenis en Claims

Het paper claimt dat beslissingsfideliteit de eigenschap is die bepaalt of conclusies op basis van simulaties overdraagbaar zijn naar de realiteit, maar dat dit momenteel onmeetbaar is door standaard benchmarks.

• De "Marginale Realisme Valstrik": De auteurs stellen dat het optimaliseren voor marginal realisme (populatieniveau-alignement) onvoldoende en potentieel misleidend is. Een simulator kan de geaggregeerde statistieken matchen terwijl hij systematisch fout zit voor de specifieke subpopulatie (niet-kopers) die de omzet bepaalt.
• Oorzaak: Het deficit wordt toegeschreven aan instruction tuning. Alignement-data beloont modellen voor het zijn van behulpzame, responsieve en vooruitstrevende gesprekspartners. Het mist voldoende voorbeelden van echt disengagement (terse afwijzing, stallen, stilte). Bijgevolg valt de simulator terug op coöperatieve continuïteit, waardoor weerstand slechts als haar in-distributie buurman verschijnt: beraadslaging.
• Praktische Waarschuwing: Elke pipeline die persuasie-agenten evalueert of via reinforcement-learning traint tegen huidige LLM-simulators, beoordeelt hen op een "makkelijke" populatie. Deze pipelines overschatten systematisch de voortgang in de funnel, vooral voor de klanten die weglopen.
• Toekomstige Richting: Het paper stelt dat beslissingsfideliteit niet via prompting in het bestaan geroepen kan worden; het vereist leren van echte trajecten van disengagement (zoals in ZhenaiSales) of het afdwingen van een extern bereidheidsmodel.

Het paper concludeert dat voor agenten wiens doel het is om een beslissing te veranderen, hoe gebruikers beslissen trouw moet zijn, niet alleen hoe ze praten. Gesimuleerde klanten lopen in de huidige paradigma's nooit weg.