Dynamic User-State Modeling for LLM-Assisted Cultural Heritage Exploration: A Secondary Analysis of Semantic, Behavioral, and Psychometric Signals

Resumen Técnico: Modelado Dinámico del Estado del Usuario para la Exploración del Patrimonio Cultural Asistida por LLM

1. Planteamiento del Problema

Si bien los Modelos de Lenguaje de Gran Escala (LLM) permiten la exploración abierta de información en entornos de patrimonio cultural digital, las implementaciones actuales suelen ofrecer un soporte conversacional uniforme. Este enfoque de "talla única" no logra acomodar la heterogeneidad de los comportamientos, niveles de curiosidad y estrategias de exploración de los usuarios. Las evaluaciones existentes de la IA en el patrimonio cultural se centran mayoritariamente en resultados agregados (por ejemplo, puntuaciones medias de usabilidad), lo que oscurece el porqué los usuarios que interactúan con la misma asistencia de IA reportan experiencias divergentes. Además, el análisis semántico tradicional suele comprimir las interacciones evolutivas en valores de similitud estáticos, fallando al no distinguir entre una exploración estable, una deriva semántica gradual o una expansión coherente.

Este estudio redefine la interacción del patrimonio cultural asistida por LLM como un problema de modelado dinámico del estado del usuario. El desafío central es determinar si la trayectoria de las preguntas del usuario, las respuestas del LLM, los comportos de interacción observables y las características psicométricas continuas pueden predecir conjuntamente las diferencias individuales en las puntuaciones de la Escala de Usabilidad del Sistema (SUS) y en la Prueba de Confianza en Sistemas Automatizados (TOAST-P), independientemente de las diferencias promedio de la interfaz.

2. Metodología

Fuente de Datos y Diseño
El estudio es un análisis computacional secundario de un conjunto de datos anonimizado de un estudio de usuario previo [1] que involucró a 44 participantes (20 mujeres, 24 hombres) quienes interactuaron con tres condiciones de interfaz: un sitio web curado, una interfaz de texto libre con LLM y una interfaz de LLM guiada con sugerencias de preguntas dependientes del contexto.

• Conjunto de Datos Primario: 88 sesiones asistidas por LLM (2 por participante) utilizadas para el modelado predictivo.
• Conjunto de Datos Secundario: 132 sesiones totales (incluyendo la condición curada) utilizadas para el análisis entre interfaces.
• Resultados (Outcomes): Puntuaciones predichas de SUS (0–100) y TOAST-P (1–7).

Ingeniería de Características (Feature Engineering)
El marco integra tres fuentes de información complementarias:

1. Representación de Interacción Semántica Dinámica (DSIR): Un vector de 28 dimensiones derivado de embeddings multilingües (BGE-M3) de las preguntas del usuario, las respuestas del LLM, el contenido de los Puntos de Interés (POI) y las rutas temáticas. Captura siete descriptores interpretables:
   • Relevancia Contextual Local: Alineación semántica entre la pregunta y el POI actual.
   • Deriva Temática: Desviación de la ruta temática más amplia.
   • Alineación Semántica Respuesta-Contexto (ACSA): Consistencia entre la respuesta y el POI.
   • Alineación Pregunta-Respuesta: Correspondencia semántica entre la consulta y la respuesta.
   • Novedad Semántica: Unicidad de la pregunta en relación con los turnos previos.
   • Continuidad de Seguimiento: Desarrollo de la siguiente pregunta basada en la respuesta anterior.
   • Extensión Semántica con Restricción Cultural (SES): Respuestas que son novedosas pero temáticamente consistentes y no redundantes.
   • Agregación: Cada descriptor se resume mediante la media, la desviación estándar, el máximo y la pendiente temporal.
2. Señales de Comportamiento: Siete características que incluyen la duración de la sesión, el número de POIs explorados, el conteo de clics, la profundidad de desplazamiento normalizada, el total de preguntas enviadas, el intervalo de acción medio y la profundidad de exploración.
3. Datos Psicométricos/Perfil: Puntuaciones continuas del Inventario de Curiosidad y Exploración-II (CEI-II), familiaridad con LLM y familiaridad general con la computación. Las variables demográficas (edad, género, educación) se excluyeron del modelo primario para evitar la inestabilidad de las variables categóricas dispersas.

Arquitectura del Modelo
Se empleó una arquitectura de compuerta adaptativa de baja capacidad para prevenir el sobreajuste debido al pequeño tamaño de la muestra (44 participantes independientes):

• Proyección de Fuente: Los vectores semánticos, de comportamiento y de perfil se proyectan en un espacio latente compartido de 16 dimensiones.
• Compuerta Adaptativa (Adaptive Gating): Un mecanismo de enrutamiento calcula pesos normalizados ($\alpha_s, \alpha_b, \alpha_p$) para cada fuente, permitiendo al modelo asignar atención dinámicamente según la sesión.
• Aprendizaje Multitarea (Multi-Task Learning): Una representación oculta compartida alimenta cabezales de regresión separados para SUS y TOAST-P, optimizados conjuntamente con regularización L2.
• Validación: Una validación cruzada agrupada por participante (5 pliegues) estricta asegura que no haya fuga de datos, ya que todas las sesiones de un mismo participante se mantienen íntegramente dentro de un conjunto de entrenamiento o de prueba.

3. Contribuciones Clave

1. Representación Semántica Dinámica: Introducción de la DSIR, que modela la exploración cultural como una trayectoria semántica que evoluciona temporalmente en lugar de una simple superposición de temas estática, capturando relevancia local, deriva y continuidad.
2. Fusión de Múltiples Fuentes con Control de Fuga: Un marco que integra datos semánticos, de comportamiento y psicométricos continuos mientras previene estrictamente la fuga de datos a nivel de participante.
3. Patrones Predictivos Diferenciados: Demostración de que la usabilidad (SUS) y el desempeño percibido del sistema (TOAST-P) son impulsados por señales de interacción distintas.
4. Predicción de Sesión Temprana: Evidencia de que existe información predictiva sustancial hacia la mitad de una sesión de interacción.

4. Resultados

Desempeño Predictivo

• El modelo de Fusión Adaptativa logró los errores más bajos: MAE = 5.74 para SUS y MAE = 0.49 para TOAST-P.
• En comparación con un baseline de "solo condición", el modelo redujo el MAE en un 21.6% (SUS) y un 23.4% (TOAST-P), probando que la variación individual existe más allá de las diferencias promedio de la interfaz.
• Análisis de Residuales de Condición: Incluso tras eliminar las medias promedio de la condición, el modelo explicó el 30% de la varianza de SUS dentro de la condición y el 26% de la varianza de TOAST-P.

Ablación y Análisis de Fuentes

• Semántica vs. Comportamiento: Eliminar las características de comportamiento aumentó el MAE de SUS en un 11.0%, mientras que eliminar las características semánticas aumentó el MAE de TOAST-P en un 16.3%.
  • Conclusión: Los patrones de comportamiento (intervalos de acción, profundidad de exploración) son predictores primarios de la usabilidad, mientras que la coherencia semántica (ACSA, deriva temática) es primaria para el desempeño percibido.
• Dinámico vs. Estático: Reemplazar las distribuciones de temas estáticas con BGE-M3 mejoró los resultados, pero añadir las características dinámicas de DSIR proporcionó ganancias adicionales, confirmando que la estructura temporal aporta valor más allá de la calidad del codificador.
• Estrategia de Fusión: La compuerta adaptativa superó a la fusión fija (Temprana/Tardía/Igual), aunque el margen fue modesto, sugiriendo que la principal ganancia proviene de la representación de múltiples fuentes en sí misma.

Hallazgos Específicos sobre la Dinámica de Interacción

• Recomendación de Preguntas: En la condición guiada, las preguntas recomendadas seleccionadas mostraron una mayor relevancia local y una menor deriva temática en comparación con las preguntas escritas manualmente. Sin embargo, no aumentaron significativamente la novedad semántica ni la extensión semántica. Las recomendaciones parecen fomentar la coherencia en lugar de aumentar uniformemente la diversidad de la exploración.
• Interacción de la Curiosidad: El beneficio de las interfaces guiadas (vs. texto libre) disminuyó a medida que aumentaba la curiosidad continua (CEI-II). No obstante, esta relación fue continua y no determinista; los usuarios con alta curiosidad aún mostraron variabilidad en su respuesta a la guía.
• Predicción Temprana: Utilizar solo el 50% de los eventos de interacción produjo un desempeño cercano a la predicción de la sesión completa (aumento de MAE de ~8–10%), indicando que el estado del usuario puede inferirse antes de la finalización de la sesión.

5. Significado y Pretensiones

El artículo pretende proporcionar apoyo empírico para el cambio de los sistemas de IA cultural de una asistencia conversacional uniforme hacia una adaptación consciente del estado del usuario.

• Heterogeneidad Individual: El estudio demuestra que los usuarios que interactúan con la misma asistencia de IA exhiben diferencias sistemáticas y predecibles en su experiencia basadas en sus trayectorias de interacción y niveles de curiosidad.
• Cambio Metodológico: Argumenta que la experiencia del usuario debe tratarse como un resultado de un estado de interacción en evolución, en lugar de ser únicamente una función de la pertenencia a una interfaz.
• Implicaciones de Diseño: Los hallazgos sugieren que los sistemas adaptativos deben monitorear la deriva semántica y el esfuerzo conductual para personalizar la guía. Las recomendaciones pueden ser más efectivas para usuarios que luchan por iniciar o mantener la exploración, mientras que la exploración autónoma podría ser preferible para usuarios altamente curiosos.
• Modestia de las Pretensiones: El autor establece explícitamente que estas son asociaciones predictivas, no mecanismos causales. Reconoce limitaciones que incluyen el pequeño tamaño de la muestra (44 participantes), la naturaleza de análisis secundario de los datos y la incapacidad de separar completamente el contenido de la ruta temática de las condiciones de la interfaz. No pretende que el mecanismo de compuerta sea un avance algorítmico decisivo, sino que la representación informada por el dominio es el principal motor del desempeño.

El estudio concluye que, si bien la personalización es prometedora, requiere una representación cuidadosa de los estados de usuario en evolución, una interpretación estadística conservadora y una validación prospectiva futura antes de su implementación.