Technische Samenvatting: Beslissingsbewuste Gebruikersimulatie-agent voor Evaluatie van Conversatie-Aanbevelingssystemen

Probleemstelling

Conversatie-Aanbevelingssystemen (CRS) vertrouwen steeds meer op gebruikerssimulaties gebaseerd op Large Language Models (LLM) voor geautomatiseerde evaluatie. Er bestaat echter een kritieke beperking in huidige simulatoren: ze vertonen vaak onrealistisch sterke informatieverwerkingscapaciteiten die zijn geërfd van de onderliggende LLM's. In tegenstelling tot echte menselijke consumenten vertonen deze agenten zaar aarzeling of uitstel van beslissingen wanneer ze geconfronteerd worden met een overvloed aan opties (keuzestress). Bijgevolg produceren bestaande simulatoren overdreven optimistische acceptatiepercentages, waardoor de "intentie-gedragwrijvingen" die de conversiepercentages in de echte wereld verlagen, worden verdoezeld. Huidige kaders falen in het modelleren van de cognitieve beperkingen en uitstelprocessen van beslissingen die zijn gedocumenteerd in de psychologische economie.

Methodologie: Het Hesitator-kader

De auteurs stellen Hesitator voor, een theoretisch onderbouwd kader voor gebruikerssimulatie dat expliciet menselijke besluitvorming onder keuzestress modelleert. Het kader is opgebouwd rond een modulaire Beslissingsmodule die op basis van nut gemaakte itemselectie scheidt van overbelastingsbewuste toewijzingsbeslissingen.

1. Kernarchitectuur

Het kader functioneert als een beurtelinge dialoog tussen een Verkoopagent en een Gebruikersagent, geleid door een globale staat $G = (P, S)$ die gebruikerspersoonlijkheid en winkelscenario vertegenwoordigt. De Beslissingsmodule bestaat uit twee cognitief onderbouwde componenten:

• Selectiemodule (Nuttigheidsbeoordeling):

  • Mechanisme: Implementeert een tweestapsheuristiek-naar-compenserend proces gebaseerd op Bettman et al. (1998).
  • Fase 1 (Niet-compenserend filteren): Gebruikt Eliminatie op Aspecten (EBA) om kandidaten te verwijderen die aan harde beperkingen (bijv. budget) niet voldoen.
  • Fase 2 (Compenserende evaluatie): Past een Gewogen Additieve (WADD) functie toe op de overgebleven kandidaten om het nut te schatten.
  • Drempelwaarde: Vergelijkt het hoogste nut met een kieskeurigheid-afhankelijke drempel. Als het nut onvoldoende is, wordt de aanbeveling direct afgewezen.

• Aarzelingsmodule (Toewijzingsbeslissing):

  • Mechanisme: Modelleert de waarschijnlijkheid van uitstel op basis van waargenomen cognitieve belasting, zelfs als er een bevredigende optie bestaat.
  • Overbelastingsvector: Kwantificeert keuzestress via een vierdimensionale vector ($v$) die overeenkomt met: Assortimentsgrootte, Complexiteit van de Keuzemogelijkheden, Taakmoeilijkheid en Onzekerheid in Voorkeuren.
  • Meta-analytische Kalibratie: In plaats van te vertrouwen op LLM-priors, koppelt de module discrete door de LLM waargenomen overbelastingsniveaus aan continue effectgroottes met behulp van regressiecoëfficiënten uit een meta-analyse van Chernev et al. (2015).
  • Probabilistische Output: Zet de geaggregeerde overbelastingseffectgrootte ($d_{total}$) om in een acceptatiekans ($P_{accept}$) met behulp van een arcsinus-gebaseerde proportietransformatie. Een aankoop wordt alleen getriggerd als een willekeurige steekproef onder deze kans valt; anders stelt de agent uit.

• Antwoordmodule: Zet de interne beslissing (accepteren, afwijzen of uitstellen) om in natuurlijke taalreacties via een LLM.

2. Experimentele Opzet

• Domeinen: Elektronica en Videospellen (van Amazon Reviews 2023).
• Basislijnen: Vergelijken met drie state-of-the-art simulatoren: PersonaLens, UserSimCRS en RecUserSim.
• Voorwaarden: Geëvalueerd onder lage, gemiddelde en ernstige cognitieve overbelastingsvoorwaarden.
• Metrieken: Succespercentage (SR), Subjectieve Dialoogkwaliteit en Geloofwaardigheid (Hallucinatieverhouding).

Belangrijkste Resultaten

1. Mitigatie van Onrealistisch Gedrag

Bij toenemende cognitieve overbelasting (van laag tot ernstig) vertoonden basislijnsimulatoren vlakke of zelfs stijgende succespercentages, wat in strijd is met menselijk gedrag.

• Correctie: Het integreren van de Beslissingsmodule (+DM) in deze basislijnen veroorzaakte een significante daling van de succespercentages onder ernstige overbelasting, in overeenstemming met menselijke cognitieve patronen.
• Voorbeeld: In het domein Elektronica daalde RecUserSim+DM van 67,5% naar 22,5% succespercentage onder ernstige overbelasting, terwijl de standaardversie hoog bleef.

2. Reproductie van Psychologisch-Economische Verschijnselen

Hesitator slaagde erin om gevestigde gedragspatronen te reproduceren:

• Omgekeerde U-curve: Succespercentages namen aanvankelijk toe met de informatielast, maar daalden zodra de cognitieve belasting te groot werd (Jacoby et al., 1974).
• Attribuut- versus Assortimentseffecten: Het verhogen van attribuutinformatie verbeterde de prestaties (door het bieden van diagnostische aanwijzingen), terwijl het vergroten van de assortimentsgrootte de prestaties verlaagde (door beslissingsconflict te veroorzaken), in overeenstemming met Tversky en Shafir (1992).
• Voorkeursonzekerheid: Agenten met lagere voorkeursonzekerheid (hogere expertise) toonden grotere veerkracht tegen informatiestress, met minder steile dalende hellingen na de piek.

3. Conversatiekwaliteit en Geloofwaardigheid

• Kwaliteit: Hesitator presteerde beter dan de basislijnen in subjectieve evaluaties op dimensies zoals natuurlijkheid, helderheid en realisme.
• Geloofwaardigheid: Het toevoegen van de Beslissingsmodule verhoogde de hallucinatieverhoudingen niet; in feite verlaagde het deze licht voor de meeste simulatoren (bijv. PersonaLens daalde van 0,1290 naar 0,1088).

4. Ablatiestudie

Het verwijderen van de gestructureerde Selectiemodule (vervangen door een standaardbeoordelingsprompt) leidde tot onstabiele prestaties naarmate het aantal attributen toenam, waardoor het verwachte positieve effect van extra attributen niet werd gereproduceerd. Dit bevestigt de noodzaak van de gestructureerde tweestapsbeslissingsstrategie.

Betekenis en Bijdragen

Het paper claimt de volgende bijdragen:

1. Identificatie van een Kritieke Kloof: De auteurs identificeren dat bestaande op LLM gebaseerde simulatoren cognitieve beperkingen missen, wat leidt tot opgeblaste prestatieschattingen voor CRS door onrealistisch hoge acceptatiepercentages onder keuzestress.
2. Plug-and-Play Beslissingsmodule: Zij stellen een modulaire component voor die intentie-gedragwrijving modelleert, waardoor gesimuleerde gebruikers hun toewijzingsbeslissingen kunnen aanpassen aan de omgevingscognitieve belasting.
3. Hesitator-kader: Een compleet simulatiekader dat deze module integreert en succesvol gevestigde gedragspatronen uit besluitvormingsonderzoek reproduceert (bijv. keuzestress, beslissingsconflict).
4. Betrouwbare Evaluatiebenchmark: Het kader biedt een realistischere en betrouwbaardere benchmark voor het evalueren van CRS door ervoor te zorgen dat gesimuleerd gebruikersgedrag de aarzeling en uitstel weerspiegelt die worden waargenomen in de echte wereld van consumentenpsychologie.

De auteurs concluderen dat Hesitator, door het uitstelgedrag van de agent te gronden in grootschalig empirisch bewijs (meta-analyse) in plaats van modelpriors, een trouwere representatie biedt van menselijke besluitdynamiek onder cognitieve beperkingen.