Resumen Técnico: Agente de Simulación de Usuarios Consciente de la Decisión para Evaluar Sistemas de Recomendación Conversacionales

Declaración del Problema

Los Sistemas de Recomendación Conversacionales (CRS) dependen cada vez más de simuladores de usuarios basados en Modelos de Lenguaje Grande (LLM) para la evaluación automatizada. Sin embargo, existe una limitación crítica en los simuladores actuales: a menudo exhiben capacidades de procesamiento de información irrealmente fuertes heredadas de sus LLM subyacentes. A diferencia de los consumidores humanos reales, estos agentes rara vez muestran vacilación o diferimiento de la decisión cuando se enfrentan a opciones excesivas (sobrecarga de elección). En consecuencia, los simuladores existentes producen tasas de aceptación excesivamente optimistas, oscureciendo las "fricciones entre intención y comportamiento" que reducen las tasas de conversión en el mundo real. Los marcos actuales no logran modelar las restricciones cognitivas y los procesos de diferimiento de la decisión documentados en la economía psicológica.

Metodología: El Marco Hesitator

Los autores proponen Hesitator, un marco de simulación de usuarios fundamentado en la teoría diseñado para modelar explícitamente la toma de decisiones humana bajo sobrecarga de elección. El marco se basa en un Módulo de Decisión modular que separa la selección de artículos basada en la utilidad de las decisiones de compromiso conscientes de la sobrecarga.

1. Arquitectura Central

El marco opera como un diálogo por turnos entre un Agente de Ventas y un Agente de Usuario, gobernado por un estado global $G = (P, S)$ que representa el perfil del usuario y el escenario de compra. El Módulo de Decisión consta de dos componentes fundamentados en la cognición:

• Módulo de Selección (Evaluación de Utilidad):

  • Mecanismo: Implementa un proceso heurístico a compensatorio de dos etapas basado en Bettman et al. (1998).
  • Etapa 1 (Filtrado No Compensatorio): Utiliza la Eliminación por Aspectos (EBA) para eliminar candidatos que violan restricciones duras (por ejemplo, presupuesto).
  • Etapa 2 (Evaluación Compensatoria): Aplica una función Aditiva Ponderada (WADD) a los candidatos restantes para estimar la utilidad.
  • Umbralización: Compara la utilidad más alta con un umbral dependiente de la exigencia. Si la utilidad es insuficiente, la recomendación se rechaza inmediatamente.

• Módulo de Vacilación (Decisión de Compromiso):

  • Mecanismo: Modela la probabilidad de diferimiento basada en la carga cognitiva percibida, incluso si existe una opción satisfactoria.
  • Vector de Sobrecarga: Cuantifica la sobrecarga de elección mediante un vector de cuatro dimensiones ($v$) correspondiente a: Tamaño del Surtido, Complejidad del Conjunto de Elección, Dificultad de la Tarea e Incertidumbre de Preferencia.
  • Calibración Meta-Analítica: En lugar de depender de los priores del LLM, el módulo mapea niveles discretos de sobrecarga percibida por el LLM a tamaños de efecto continuos utilizando coeficientes de regresión de un meta-análisis de Chernev et al. (2015).
  • Salida Probabilística: Convierte el tamaño de efecto de sobrecarga agregado ($d_{total}$) en una probabilidad de aceptación ($P_{accept}$) utilizando una transformación de proporción basada en el arcseno. Una compra se activa solo si una muestra aleatoria cae por debajo de esta probabilidad; de lo contrario, el agente difiere.

• Módulo de Respuesta: Convierte la decisión interna (aceptar, rechazar o diferir) en respuestas en lenguaje natural mediante un LLM.

2. Configuración Experimental

• Dominios: Electrónica y Videojuegos (de Reseñas de Amazon 2023).
• Líneas Base: Comparado contra tres simuladores de última generación: PersonaLens, UserSimCRS y RecUserSim.
• Condiciones: Evaluado bajo condiciones de sobrecarga cognitiva Baja, Media y Severa.
• Métricas: Tasa de Éxito (SR), Calidad Subjetiva del Diálogo y Credibilidad (Ratio de Alucinación).

Resultados Clave

1. Mitigación de Comportamientos Irrealistas

Bajo una sobrecarga cognitiva creciente (de Baja a Severa), los simuladores de línea base exhibieron tasas de éxito planas o incluso crecientes, contradiciendo el comportamiento humano.

• Corrección: Integrar el Módulo de Decisión (+DM) en estas líneas base provocó que las tasas de éxito disminuyeran significativamente bajo sobrecarga severa, alineándose con los patrones cognitivos humanos.
• Ejemplo: En el dominio de Electrónica, RecUserSim+DM bajó de una tasa de éxito del 67,5% al 22,5% bajo sobrecarga severa, mientras que la versión estándar se mantuvo alta.

2. Reproducción de Fenómenos de Economía Psicológica

Hesitator reprodujo con éxito patrones de comportamiento establecidos:

• Curva en U Invertida: Las tasas de éxito aumentaron inicialmente con la carga de información, pero disminuyeron una vez que la carga cognitiva se volvió excesiva (Jacoby et al., 1974).
• Efectos de Atributo vs. Surtido: Aumentar la información de atributos mejoró el rendimiento (proporcionando pistas diagnósticas), mientras que aumentar el tamaño del surtido redujo el rendimiento (induciendo conflicto de decisión), consistente con Tversky y Shafir (1992).
• Incertidumbre de Preferencia: Los agentes con menor incertidumbre de preferencia (mayor experiencia) mostraron mayor resiliencia a la sobrecarga de información, exhibiendo pendientes posteriores al pico más planas.

3. Calidad Conversacional y Credibilidad

• Calidad: Hesitator superó a las líneas base en evaluaciones subjetivas en dimensiones como naturalidad, claridad y realismo.
• Credibilidad: La adición del Módulo de Decisión no aumentó los ratios de alucinación; de hecho, los redujo ligeramente para la mayoría de los simuladores (por ejemplo, PersonaLens bajó de 0,1290 a 0,1088).

4. Estudio de Ablación

Eliminar el Módulo de Selección estructurado (reemplazándolo por un prompt de calificación estándar) llevó a un rendimiento inestable a medida que aumentaba la cantidad de atributos, fallando en reproducir el efecto positivo esperado de los atributos adicionales. Esto confirma la necesidad de una estrategia de decisión estructurada de dos etapas.

Significado y Contribuciones

El artículo afirma las siguientes contribuciones:

1. Identificación de una Brecha Crítica: Los autores identifican que los simuladores existentes basados en LLM carecen de restricciones cognitivas, lo que lleva a estimaciones de rendimiento infladas para los CRS debido a tasas de aceptación irrealmente altas bajo sobrecarga de elección.
2. Módulo de Decisión Plug-and-Play: Proponen un componente modular que modela la fricción entre intención y comportamiento, permitiendo que los usuarios simulados adapten las decisiones de compromiso basándose en la carga cognitiva ambiental.
3. Marco Hesitator: Un marco de simulación completo que integra este módulo, reproduciendo con éxito patrones de comportamiento establecidos de la investigación sobre toma de decisiones (por ejemplo, sobrecarga de elección, conflicto de decisión).
4. Referencia de Evaluación Confiable: El marco proporciona una referencia más realista y confiable para evaluar los CRS al asegurar que el comportamiento del usuario simulado refleje la vacilación y el diferimiento observados en la psicología del consumidor del mundo real.

Los autores concluyen que, al fundamentar el comportamiento de diferimiento del agente en evidencia empírica a gran escala (meta-análisis) en lugar de priores del modelo, Hesitator ofrece una representación más fiel de la dinámica de decisión humana bajo restricciones cognitivas.