Resumen Técnico: TRACE: Recomendación Turística con Evidencia de Citas Responsables

1. Enunciado del Problema

El turismo representa un dominio de alto riesgo para los Sistemas de Recomendación Conversacional (CRS). A diferencia de las recomendaciones generales, una sugerencia defectuosa en turismo puede resultar en pérdidas financieras significativas y el desperdicio irreversible de tiempo de viaje. Los marcos de evaluación actuales para CRS adolecen de cuatro brechas críticas que los hacen insuficientes para este dominio:

1. Ceguera ante el Turismo: Las referencias existentes a menudo ignoran la coherencia espacial, las preferencias de múltiples aspectos (por ejemplo, cocina, precio, ambiente) y la viabilidad del itinerario.
2. Clasificación por Métrica Única: Los sistemas suelen clasificarse por Recall@k sobre menciones de entidades, sin evaluar la calidad de la razón o justificación proporcionada.
3. Falta de Auditoría de Evidencia: Las evaluaciones basadas únicamente en la precisión permiten que justificaciones plausibles pero fabricadas pasen sin control.
4. Sin Reparación Conversacional: Las referencias rara vez prueban la capacidad de un sistema para recuperarse cuando un usuario rechaza explícitamente una recomendación a mitad de diálogo.

En consecuencia, existe una falta de una referencia que evalúe simultáneamente la Precisión (recomendar el Punto de Interés correcto), la Fundamentación (proporcionar evidencia verificable y textual de visitantes anteriores) y la Recuperación (adaptarse al rechazo del usuario).

2. Metodología: La Referencia TRACE

Los autores introducen TRACE (Recomendación Turística con Evidencia de Citas Responsables), una referencia diseñada para evaluar los CRS turísticos como un problema conjunto de recomendación correcta según preferencias, evidencia verificable en fragmentos de reseñas y reparación post-rechazo.

Construcción del Conjunto de Datos

TRACE consta de 10,000 diálogos de múltiples vueltas generados sobre una base de conocimientos equilibrada de 2,400 Puntos de Interés (POI) de Yelp (restaurantes, hoteles, atracciones) en 8 ciudades de EE. UU., emparejados con 34,208 reseñas.

• Pipeline de Generación: Los diálogos se sintetizan utilizando DSPy y gpt-5.4-mini. El proceso implica la construcción de escenarios, la selección de candidatos de POI y la generación de diálogos con restricciones estrictas: alternancia usuario-sistema, al menos tres recomendaciones distintas, vueltas de comparación y vueltas explícitas de rechazar_y_refinar.
• Mecanismo de Citas: Cada recomendación incluye citas textuales de fragmentos de reseñas (etiquetadas como [Rn]) que apuntan a subcadenas específicas en las reseñas fuente.
• Estratificación de Dificultad: Los diálogos se categorizan en cuatro niveles de dificultad (Fácil, Medio, Difícil, Experto) basados en la complejidad de las preferencias y la resolución de conflictos.
• Grupos de Candidatos: La referencia apoya la evaluación en modos de conjunto cerrado (8 candidatos), expandido (16, 32) y conjunto abierto (50–100 candidatos).

Marco de Evaluación

TRACE introduce 25 métricas organizadas bajo tres competencias centrales:

1. Precisión: Recall@k, MRR y Hit@k.
2. Fundamentación:
   • CGS (Puntuación de Fundamentación Compuesta): Una métrica novedosa que combina la Puntuación de Fundamentación (coincidencia difusa de citas), la Densidad de Citas (CD) y la Cobertura de Procedencia (PC). Penaliza las respuestas con baja densidad de citas o citas de aspectos faltantes.
   • Fundamentación por Entailment: Utiliza modelos de Inferencia de Lenguaje Natural (NLI) para verificar si las afirmaciones están semánticamente implicadas por las reseñas citadas, distinguiendo entre la copia superficial y el apoyo genuino.
3. Recuperación: Tasa de Recuperación por Rechazo (éxito tras un rechazo del usuario), Tasa de Éxito de la Tarea (TSR) y Vueltas-Hasta-Primera-Correcta (T2R).

Líneas Base

El estudio evalúa 14 sistemas de línea base en cuatro categorías:

• Recuperadores No-LLM: Popularidad, TF-IDF, Basado en Aspectos, Recuperación Densa, Espacial, Híbrido-RRF, Planificación de Itinerarios, Potenciado por Conocimiento y Basado en Personalidad.
• LLM-Directo: LLM Zero-Shot (sin augmentación).
• LLM+Recuperar: DST (Seguimiento de Estado de Diálogo), RAG-Citas (con restricciones de citas) y Síntesis de Múltiples Reseñas.
• LLM+Planificar/Reflexionar: Aumentado con Memoria (memoria entre sesiones).

3. Resultados Clave: La Brecha de Tres Competencias

Los experimentos revelan un compromiso fundamental, denominado la Brecha de Tres Competencias, donde ningún sistema individual sobresale en los tres ejes (Precisión, Fundamentación, Recuperación).

• Precisión y Recuperación: LLM Zero-Shot lidera significativamente en precisión de conjunto cerrado (Recall@1 = 0.533) y recuperación por rechazo (Tasa de Recuperación por Rechazo = 0.988). Sin embargo, su rendimiento se degrada en escenarios de conjunto abierto (descendiendo a Recall@1 = 0.132), aunque aún supera a los recuperadores no-LLM.
• Fundamentación: Los recuperadores no-LLM (por ejemplo, Densa, TF-IDF) dominan la fundamentación textual literal a nivel superficial (CGS hasta 0.864) porque incrustan fragmentos exactos de reseñas. Sin embargo, sus puntuaciones de entailment semántico son bajas (0.110–0.193), lo que indica que, aunque copian texto, este no siempre respalda semánticamente la afirmación específica de la recomendación.
• El Fracaso de la Síntesis: La Síntesis de Múltiples Reseñas colapsa en recuperación (0.263) y fundamentación (CGS = 0.008), fallando en adaptarse a las restricciones del usuario o sintetizar evidencia de manera efectiva.
• Validación Humana: Las métricas automatizadas se correlacionan con juicios humanos. La Puntuación de Fundamentación (GS) muestra una fuerte correlación positiva con la precisión de citas humana (Spearman $\rho = +0.80$). Sin embargo, los evaluadores humanos encontraron que una alta fluidez (LLM) no garantiza la precisión de las citas, y una alta densidad de citas (Recuperadores) no garantiza la informatividad.

4. Significado y Afirmaciones

El artículo afirma que TRACE replantea la recomendación turística responsable de una tabla de clasificación de un solo eje (precisión) a un objetivo conjunto que requiere:

1. Recomendación Correcta: Seleccionar el POI correcto para preferencias de múltiples aspectos.
2. Evidencia Verificable: Justificar sugerencias con citas de fragmentos de reseñas que puedan ser auditadas.
3. Reparación Adaptativa: Recuperarse del rechazo del usuario a mitad de diálogo.

Los autores afirman que las referencias existentes no logran capturar la "Brecha de Tres Competencias", lo que lleva a una falsa sensación de seguridad donde los sistemas pueden ser fluidos y a menudo correctos pero débilmente fundamentados, o bien citados pero deficientes en seleccionar el POI correcto. La referencia proporciona el primer conjunto de datos y protocolo de evaluación para auditar simultáneamente estas tres dimensiones, destacando que la investigación futura de CRS debe optimizar el objetivo conjunto en lugar de métricas aisladas.

5. Limitaciones y Alcance

Los autores reconocen varias limitaciones:

• Alcance de Datos: El conjunto de datos se limita a datos de Yelp en inglés de 8 ciudades de EE. UU.
• Sesgo del Generador: Los diálogos son generados por un LLM (gpt-5.4-mini), aunque la validación entre familias (Haiku, Qwen) confirma el patrón general de la Brecha de Tres Competencias.
• Evaluación Humana: La evaluación humana es un estudio de calibración (90 elementos) en lugar de una clasificación completa de sistemas, utilizada para validar las métricas automatizadas.
• Evaluación de Conjunto Abierto: Los resultados de conjunto abierto son comparaciones a nivel de sistema (modelo + interfaz) en lugar de comparaciones puras de modelos debido al manejo variable de los grupos de candidatos.

El artículo concluye que, aunque los LLM lideran en precisión y recuperación, y los recuperadores lideran en fundamentación superficial, el campo carece de un sistema unificado que logre las tres, lo que hace necesarias nuevas aproximaciones arquitectónicas (por ejemplo, inferencia de objetivo conjunto, fundamentación basada en semántica primero) para cerrar esta brecha.