Riepilogo Tecnico: Agente di Simulazione Utente Consapevole delle Decisioni per la Valutazione dei Sistemi di Raccomandazione Conversazionali

Enunciato del Problema

I Sistemi di Raccomandazione Conversazionali (CRS) si affidano sempre più a simulatori di utenti basati su Modelli Linguistici di Grande Dimensione (LLM) per la valutazione automatizzata. Tuttavia, nelle simulazioni attuali esiste una limitazione critica: esse spesso mostrano capacità di elaborazione delle informazioni irrealisticamente elevate, ereditate dai loro LLM sottostanti. A differenza dei consumatori umani reali, questi agenti raramente mostrano esitazione o rinvio decisionale di fronte a un eccesso di opzioni (sovraccarico di scelta). Di conseguenza, le simulazioni esistenti producono tassi di accettazione eccessivamente ottimistici, oscurando le "frizioni tra intenzione e comportamento" che riducono i tassi di conversione nel mondo reale. Gli attuali framework non riescono a modellare i vincoli cognitivi e i processi di rinvio decisionale documentati nell'economia comportamentale.

Metodologia: Il Framework Hesitator

Gli autori propongono Hesitator, un framework di simulazione utente fondato sulla teoria, progettato per modellare esplicitamente il processo decisionale umano in condizioni di sovraccarico di scelta. Il framework è costruito attorno a un Modulo Decisionale modulare che separa la selezione degli articoli basata sull'utilità dalle decisioni di impegno consapevoli del sovraccarico.

1. Architettura Principale

Il framework opera come un dialogo a turni tra un Agente Venditore e un Agente Utente, governato da uno stato globale $G = (P, S)$ che rappresenta la persona dell'utente e lo scenario di acquisto. Il Modulo Decisionale è composto da due componenti fondati sulla cognizione:

• Modulo di Selezione (Valutazione dell'Utilità):

  • Meccanismo: Implementa un processo euristico-compensatorio a due stadi basato su Bettman et al. (1998).
  • Stadio 1 (Filtraggio Non Compensatorio): Utilizza l'Eliminazione per Aspetti (EBA) per scartare i candidati che violano vincoli rigidi (ad esempio, il budget).
  • Stadio 2 (Valutazione Compensatoria): Applica una funzione Additiva Ponderata (WADD) ai candidati rimanenti per stimare l'utilità.
  • Soglia: Confronta l'utilità più alta con una soglia dipendente dalla pignoleria. Se l'utilità è insufficiente, la raccomandazione viene rifiutata immediatamente.

• Modulo di Esitazione (Decisione di Impegno):

  • Meccanismo: Modella la probabilità di rinvio basata sul carico cognitivo percepito, anche se esiste un'opzione soddisfacente.
  • Vettore di Sovraccarico: Quantifica il sovraccarico di scelta tramite un vettore a quattro dimensioni ($v$) corrispondente a: Dimensione dell'Assortimento, Complessità dell'Insieme di Scelta, Difficoltà del Compito e Incertezza delle Preferenze.
  • Calibrazione Meta-Analitica: Invece di fare affidamento sui prior degli LLM, il modulo mappa i livelli discreti di sovraccarico percepiti dall'LLM su dimensioni di effetto continue utilizzando coefficienti di regressione da una meta-analisi di Chernev et al. (2015).
  • Output Probabilistico: Converte la dimensione di effetto aggregata del sovraccarico ($d_{total}$) in una probabilità di accettazione ($P_{accept}$) utilizzando una trasformazione della proporzione basata sull'arcoseno. Un acquisto viene attivato solo se un campione casuale è inferiore a questa probabilità; altrimenti, l'agente rinuncia.

• Modulo di Risposta: Converte la decisione interna (accettare, rifiutare o rinviare) in risposte in linguaggio naturale tramite un LLM.

2. Configurazione Sperimentale

• Dominii: Elettronica e Videogiochi (da Amazon Reviews 2023).
• Baseline: Confronto con tre simulatori all'avanguardia: PersonaLens, UserSimCRS e RecUserSim.
• Condizioni: Valutati in condizioni di sovraccarico cognitivo Basso, Medio e Severo.
• Metriche: Tasso di Successo (SR), Qualità Soggettiva del Dialogo e Credibilità (Rapporto di Allucinazione).

Risultati Chiave

1. Mitigazione dei Comportamenti Irrealistici

Con l'aumento del sovraccarico cognitivo (da Basso a Severo), i simulatori baseline hanno mostrato tassi di successo piatti o addirittura in aumento, contraddicendo il comportamento umano.

• Correzione: L'integrazione del Modulo Decisionale (+DM) in queste baseline ha causato un calo significativo dei tassi di successo sotto sovraccarico severo, allineandosi ai modelli cognitivi umani.
• Esempio: Nel dominio dell'Elettronica, RecUserSim+DM è sceso dal 67,5% al 22,5% di tasso di successo sotto sovraccarico severo, mentre la versione vanilla è rimasta alta.

2. Riproduzione di Fenomeni dell'Economia Comportamentale

Hesitator ha riprodotto con successo modelli comportamentali consolidati:

• Curva a U Invertita: I tassi di successo sono inizialmente aumentati con il carico informativo, ma sono diminuiti non appena il carico cognitivo è diventato eccessivo (Jacoby et al., 1974).
• Effetti Attributo vs. Assortimento: L'aumento delle informazioni sugli attributi ha migliorato le prestazioni (fornendo indizi diagnostici), mentre l'aumento della dimensione dell'assortimento ha ridotto le prestazioni (inducendo conflitto decisionale), in linea con Tversky e Shafir (1992).
• Incertezza delle Preferenze: Gli agenti con minore incertezza delle preferenze (maggiore competenza) hanno mostrato una maggiore resilienza al sovraccarico informativo, esibendo pendenze post-picco più piatte.

3. Qualità Conversazionale e Credibilità

• Qualità: Hesitator ha superato le baseline nelle valutazioni soggettive su dimensioni come naturalezza, chiarezza e realismo.
• Credibilità: L'aggiunta del Modulo Decisionale non ha aumentato i rapporti di allucinazione; anzi, li ha leggermente ridotti per la maggior parte dei simulatori (ad esempio, PersonaLens è sceso da 0,1290 a 0,1088).

4. Studio di Ablazione

La rimozione del Modulo di Selezione strutturato (sostituendolo con un prompt di valutazione standard) ha portato a prestazioni instabili all'aumentare del numero di attributi, fallendo nel riprodurre l'effetto positivo atteso degli attributi aggiuntivi. Ciò conferma la necessità di una strategia decisionale strutturata a due stadi.

Significato e Contributi

Il paper rivendica i seguenti contributi:

1. Identificazione di un Gap Critico: Gli autori identificano che i simulatori esistenti basati su LLM mancano di vincoli cognitivi, portando a stime di prestazioni gonfiate per i CRS a causa di tassi di accettazione irrealisticamente alti sotto sovraccarico di scelta.
2. Modulo Decisionale Plug-and-Play: Propongono un componente modulare che modella l'attrito tra intenzione e comportamento, permettendo agli utenti simulati di adattare le decisioni di impegno in base al carico cognitivo ambientale.
3. Framework Hesitator: Un framework di simulazione completo che integra questo modulo, riproducendo con successo modelli comportamentali consolidati dalla ricerca sul processo decisionale (ad esempio, sovraccarico di scelta, conflitto decisionale).
4. Benchmark di Valutazione Affidabile: Il framework fornisce un benchmark più realistico e affidabile per la valutazione dei CRS, assicurando che il comportamento dell'utente simulato rifletta l'esitazione e il rinvio osservati nella psicologia del consumatore reale.

Gli autori concludono che, fondando il comportamento di rinvio dell'agente su evidenze empiriche su larga scala (meta-analisi) piuttosto che su prior del modello, Hesitator offre una rappresentazione più fedele delle dinamiche decisionali umane sotto vincoli cognitivi.