Resumen Técnico: Más allá de los usuarios expertos – Los agentes deben ayudar a los usuarios a construir preferencias, no solo a elicitarlas

1. Planteamiento del problema

Los sistemas de recomendación agénticos actuales (por ejemplo, ChatGPT Shopping Research, Amazon Rufus) y los benchmarks utilizados para evaluarlos operan bajo un supuesto crítico e irreal: que los usuarios son expertos con preferencias bien formadas y estáticas que pueden especificarse completamente mediante preguntas de aclaración. En la realidad, los usuarios no expertos suelen carecer del conocimiento de dominio para definir preferencias para todas las características relevantes. Es posible que no sean capaces de responder preguntas sobre atributos específicos (por ejemplo, "profundidad de la bota" para botas de senderismo o "viscosa vs. lyocell" para tejidos) porque aún no comprenden qué significan esas características o cómo impactan en la experiencia del usuario.

El artículo argumenta que cuando los agentes dependen únicamente de preguntas de aclaración, fallan al ayudar a los usuarios a construir las preferencias necesarias para evaluar las recomendaciones. En consecuencia, incluso si un agente logra encontrar el artículo ideal, es posible que el usuario sea incapaz de identificarlo como la mejor opción debido a un estado de preferencia subdesarrollado. Esto conduce a un fallo en el rendimiento de "equipo" del sistema humano-agente, no solo en la capacidad de recuperación del agente.

2. Metodología

2.1 El Modelo COPREF

Los autores introducen COPREF (Preferencias Co-construidas), un modelo formal de interacción usuario-agente donde las preferencias no se recuperan, sino que se construyen a través del diálogo.

• Estado de Preferencia ($S_t$): Un subconjunto de características $F$ sobre las cuales el usuario ha formado una preferencia en el turno $t$. Este estado evoluciona desde un estado inicial incompleto ($S_1$) basado en las acciones del agente.
• Marco SEC: Basándose en la Economía de la Información (Búsqueda-Experiencia-Credencia), el modelo divide las características en tres tipos, cada uno de los cuales requiere una acción de diálogo diferente del agente para desbloquearse:
  1. Características de Búsqueda ($F_s$): Los usuarios conocen su preferencia (por ejemplo, precio, tamaño). Se desbloquean mediante preguntas de aclaración.
  2. Características de Experiencia ($F_e$): Los usuarios necesitan ver ejemplos concretos para decidir (por ejemplo, "¿es este patrón demasiado cargado?"). Se desbloquean mediante opciones de ejemplos.
  3. Características de Credencia ($F_c$): Los usuarios necesitan conocimiento de dominio para comprender la característica (por ejemplo, "¿qué es un panel de yugo?"). Se desbloquean mediante explicaciones técnicas.
• Mecanismo: Una característica se añade al estado de preferencia del usuario solo si el agente realiza la acción de diálogo específica correspondiente al tipo SEC de dicha característica.

2.2 El Benchmark COSHOP

Para evaluar agentes bajo este modelo, los autores introducen COSHOP, un benchmark interactivo para sistemas de recomendación agénticos a través de tres dominios:

• Datasets: H&M (moda), MovieLens (películas) y Goodreads (libros).
• Simulación de Usuario: A diferencia de los simuladores típicos que solicitan un persona una sola vez, COSHOP utiliza un simulador (basado en gpt-oss-120b) anclado explícitamente al estado de preferencia actual $S_t$. La división SEC del simulador (qué características son de búsqueda/experiencia/credencia) se personaliza según los datos históricos de compra/calificación del usuario.
• Protocolo de Interacción:
  1. Conversación: El agente y el usuario conversan durante hasta 5 turnos (presupuesto: 20 preguntas, 10 artículos únicos mostrados).
  2. Investigación: El agente busca en el catálogo (presupuesto: 250 recuperaciones).
  3. Informe: El agente genera $k=5$ recomendaciones.
  4. Selección: El usuario selecciona un artículo basado en su estado de preferencia final $S_{T+1}$.
• Métricas:
  • Completitud del Estado: Fracción del conjunto completo de preferencias del usuario recuperado.
  • Recall del Agente: Si el artículo objetivo $x^*$ aparece en el top-$k$ de las recomendaciones.
  • Precisión de Equipo (Team Accuracy): Si el usuario selecciona con éxito $x^*$ del informe. Esta es la métrica principal, limitada tanto por el recall como por la riqueza del estado de preferencia del usuario.

2.3 Validación mediante Estudio Humano

Un estudio con $n=25$ participantes validó las afirmaciones centrales de COPREF:

• Los usuarios no expertos poseen una mezcla de características de búsqueda, experiencia y credencia (ningún usuario tenía solo características de búsqueda).
• Las acciones de diálogo apropiadas (ejemplos para la experiencia, explicaciones para la credencia) logran con éxito "desbloquear" preferencias que previamente no estaban formuladas.
• Las clasificaciones SEC varían según el individuo; una característica no es universalmente de credencia o de experiencia, sino que depende del conocimiento de dominio específico del usuario.

3. Contribuciones Clave

1. Modelo COPREF: Una formalización de la construcción de preferencias que desafía el supuesto del "usuario experto", distinguiendo entre características que requieren preguntas, ejemplos o explicaciones para ser definidas.
2. Benchmark COSHOP: Un benchmark interactivo de código abierto que evalúa a los agentes en su capacidad de co-construir preferencias con usuarios no expertos, midiendo la "precisión de equipo" en lugar de solo la recuperación.
3. Análisis Empírico: Una evaluación exhaustiva de cinco modelos de lenguaje de frontera (familias GPT y Claude) que demuestra que los agentes actuales fallan al expandir el conocimiento del usuario de manera efectiva.

4. Resultados

Las evaluaciones de cinco modelos de frontera (incluyendo gpt-5.2, claude-sonnet-4.6 y gpt-oss-120b) en COSHOP arrojaron los siguientes hallazgos:

• Caída de Rendimiento: Mientras que los modelos obtienen puntuaciones altas (por ejemplo, 94.3% para claude-sonnet-4.6) cuando se les proporcionan preferencias totalmente especificadas de antemano, su Precisión de Equipo en COSHOP cae significativamente (máximo 56% en todos los modelos y dominios).
• Modos de Fallo:
  1. Estados de Preferencia Subdesarrollados: Los agentes fallan al realizar las acciones de diálogo necesarias (ejemplos, explicaciones) para desbloquear las características de experiencia y de credencia. En consecuencia, los usuarios no pueden distinguir el artículo objetivo de los distractores incluso cuando este está presente en el informe.
  2. Mala Calidad del Informe: Los agentes a menudo omiten o representan erróneamente las características de los artículos en sus informes finales, lo que impide que los usuarios evalúen las opciones correctamente.
• Estrategias de Interacción:
  • Los modelos tienden a depender fuertemente de las preguntas de aclaración (a menudo redundantes o basadas en la confirmación) en lugar de proporcionar ejemplos o explicaciones.
  • Ningún modelo proporcionó proactivamente explicaciones técnicas para las características de credencia.
  • Los modelos más grandes (por ejemplo, gpt-5.2) exhibieron un "sesgo de ejecución", terminando las conversaciones prematuramente para pasar a la fase de investigación, dejando la tarea subespecificada.
  • Los modelos más pequeños agotaron el presupuesto de la conversación pero no lograron introducir nuevas características, a menudo entrando en bucles sobre atributos conocidos.
• Intervenciones: Proporcionar el historial del usuario a los agentes no mejoró significamente el rendimiento. Sin embargo, sobrescribir las descripciones de los artículos del agente con datos completos del catálogo (simulando una calidad de informe perfecta) mejoró sustancialmente la precisión de equipo, confirmando que la calidad del informe y el desarrollo del estado de preferencia son los principales cuellos de botella.

5. Significado y Reivindicaciones

El artículo sostiene que la limitación principal de los sistemas de recomendación agénticos actuales no es su capacidad para buscar o recuperar artículos, sino su incapacidad para enseñar a los usuarios lo que necesitan saber para tomar una decisión.

• Cambio de Paradigma: Los autores argumentan que el campo debe pasar de ver a los agentes como "elicitadores de preferencias" (recuperación de preferencias estáticas) a "constructores de preferencias" (construcción activa del conocimiento del usuario).
• Precisión de Equipo (Team Accuracy): El éxito debe medirse por la capacidad conjunta del equipo humano-agente. Un agente que encuentra el artículo perfecto pero falla en ayudar al usuario a entender por qué es perfecto ha fallado en su tarea.
• Direcciones Futuras: El artículo sugiere que el trabajo futuro debe centrarse en entrenar a los agentes para reconocer cuándo un usuario carece de conocimiento de dominio y para desplegar proactivamente ejemplos y explicaciones, en lugar de depender únicamente de preguntas de aclaración. También hace un llamado a extender el modelo COPREF más allá de los entornos de recomendación hacia otros dominios orientados a tareas.

Los autores mantienen la modestia, señalando que su modelo simplifica la construcción de preferencias (asumiendo un desbloqueo de un solo paso y un crecimiento monotónico del estado) y que, incluso bajo estas condiciones favorables, los modelos de frontera actuales tienen dificultades para adaptarse.