HORIZON: A Benchmark for In-the-wild User Behaviour Modeling

Resumen Técnico: HORIZON

1. El Problema

La modelización del comportamiento del usuario en el mundo real es diversa, abarca múltiples dominios y se extiende a lo largo de horizontes temporales largos. Sin embargo, los benchmarks existentes en la literatura de recomendación presentan limitaciones críticas:

• Dominio Único: La mayoría se centran en un solo dominio (ej. solo películas o solo libros), ignorando que los usuarios interactúan con múltiples categorías simultáneamente.
• Horizontes Cortos: Se enfocan en la predicción del "siguiente ítem" en sesiones cortas, sin evaluar la capacidad de los modelos para capturar dependencias a largo plazo o la evolución de las preferencias a lo largo de años.
• Evaluación Irrealista: Las métricas actuales suelen utilizar divisiones aleatorias o Leave-One-Out que no simulan el desplazamiento de distribución (distribution shift) real. Esto permite que los modelos obtengan puntuaciones altas al explotar similitudes entre ítems en lugar de comprender la intención del usuario, fallando al generalizar a usuarios no vistos o a periodos temporales futuros.

Existe una brecha fundamental entre los métodos actuales y las demandas de sistemas de personalización robustos en entornos heterogéneos y dinámicos.

2. Metodología

Los autores presentan HORIZON, un nuevo benchmark de código abierto y gran escala diseñado para reformular la modelización de usuarios a lo largo de tres ejes: conjunto de datos, tarea y evaluación.

• Construcción del Dataset:

  • Se basa en una reformulación del dataset Amazon Reviews 2023.
  • A diferencia de las versiones anteriores que segmentan por categorías, HORIZON fusiona todas las interacciones (54.5 millones de usuarios, 34.5 millones de ítems, 485 millones de interacciones) en historias de usuario unificadas y transversales.
  • Incluye marcas de tiempo completas, permitiendo un análisis temporal real.

• Nuevos Protocolos de Evaluación:
  Se propone un marco de evaluación que desacopla la generalización en dos dimensiones ortogonales: identidad del usuario (visto vs. no visto) y posición temporal (dentro del periodo de entrenamiento vs. extrapolación temporal). Esto genera cuatro configuraciones de prueba:

  1. In-Distribution (ID) + Alineado Temporalmente: Evaluación estándar (similar a Leave-One-Out) pero restringida a un subconjunto temporalmente consistente.
  2. ID + Extrapolación Temporal: Evaluar el modelo en interacciones futuras (después del corte temporal) para usuarios ya vistos.
  3. Out-of-Distribution (OOD) + Alineado Temporal: Evaluar en usuarios totalmente nuevos (no vistos en entrenamiento) dentro del mismo periodo temporal.
  4. OOD + Extrapolación Temporal: El escenario más difícil; predecir interacciones futuras para usuarios nunca vistos.

• Tareas Propuestas:

  1. Recomendación del Siguiente Ítem (Task 1): Evaluación de arquitecturas tradicionales basadas en IDs (GRU4Rec, SASRec, BERT4Rec, CORE).
  2. Reformulación de Consultas basada en LLM (Task 2): Uso de Grandes Modelos de Lenguaje (LLM) para generar 10 consultas de búsqueda semánticas a partir del historial del usuario, que luego se usan para recuperar ítems mediante un índice vectorial (BLAIR + FAISS).
  3. Modelado de Usuario a Largo Plazo (Task 3): Los LLM deben generar descripciones en lenguaje natural de los próximos 10 ítems que un usuario podría interactuar, evaluando la capacidad de razonamiento sobre horizontes temporales extensos.

3. Contribuciones Clave

1. Primer Benchmark Abierto y Multidominio: HORIZON es el primer benchmark totalmente abierto que evalúa modelos de recomendación secuencial en configuraciones realistas de múltiples dominios y largos horizontes temporales.
2. Marco de Evaluación Unificado: Introduce un protocolo que separa explícitamente la generalización temporal de la generalización de usuarios, revelando debilidades ocultas por las métricas tradicionales.
3. Estudio Empírico Exhaustivo: Proporciona una comparación rigurosa entre arquitecturas especializadas (basadas en Transformers/IDs) y LLMs, revelando compensaciones (trade-offs) previamente no observadas entre la precisión en distribución y la robustez fuera de distribución.

4. Resultados Principales

• Arquitecturas Tradicionales vs. Generalización:
  • Modelos como BERT4Rec y SASRec obtienen buenos resultados en configuraciones In-Distribution, pero sufren una caída drástica en escenarios Out-of-Distribution (nuevos usuarios).
  • Curiosamente, los modelos basados en IDs muestran cierta capacidad de extrapolación temporal (funcionan mejor en el futuro para usuarios conocidos que para usuarios nuevos en el mismo tiempo), pero fallan ante nuevos ítems debido a la falta de anclaje semántico.
• Limitaciones de los LLMs:
  • Contrario a la intuición, los LLMs (LLaMA-3.1, Qwen3, Gemma2) no superan consistentemente a las arquitecturas especializadas en tareas de modelado de comportamiento.
  • En la tarea de reformulación de consultas (Task 2), los LLMs logran una recuperación modesta (Recall@100 ~3-4%), indicando que capturan cierta intención pero fallan en la precisión de recuperación.
  • En la modelización a largo plazo (Task 3), la precisión es baja, sugiriendo dificultades para predecir evoluciones de preferencias complejas sin fine-tuning específico.
• Fine-tuning de LLMs:
  • El ajuste fino (fine-tuning) de LLMs para predecir el siguiente ítem en espacios de ítems extremadamente largos y de cola larga no mejora significativamente el rendimiento respecto al modo zero-shot, y a menudo es inferior a enfoques de recuperación semántica simples. Esto se debe a la falta de señal de contraste y la naturaleza generativa pura de los LLMs frente a espacios de ítems discretos masivos.

5. Significado e Impacto

El trabajo de HORIZON es fundamental para el avance de la investigación en sistemas de recomendación por varias razones:

• Cambio de Paradigma: Demuestra que las métricas actuales (precisión en next-item en un solo dominio) son insuficientes para medir la utilidad real de un modelo en producción.
• Robustez Realista: Establece que la verdadera prueba de un modelo de usuario no es su capacidad para predecir el siguiente clic en un entorno controlado, sino su habilidad para generalizar a nuevos usuarios y futuros temporales en un entorno de múltiples dominios.
• Dirección Futura: Señala la necesidad de desarrollar modelos que integren representaciones semánticas (texto) con IDs para manejar la novedad de ítems y la evolución temporal, y sugiere que los LLMs requieren nuevos paradigmas de entrenamiento (más allá del fine-tuning estándar) para ser efectivos en recomendación a gran escala.

En resumen, HORIZON proporciona la infraestructura necesaria para desarrollar la próxima generación de modelos de personalización que sean verdaderamente robustos, transversales y capaces de entender el comportamiento humano a largo plazo.