HorizonBench: Long-Horizon Personalization with Evolving Preferences

Resumen Técnico: HORIZONBENCH

1. Definición del Problema: Personalización de Largo Alcance

El artículo aborda el problema de la personalización de largo alcance (long-horizon personalization). A diferencia de las tareas de personalización estática donde los gustos del usuario se asumen fijos, este trabajo se centra en escenarios donde las preferencias del usuario evolucionan a lo largo de meses de interacción debido a eventos vitales (ej. un cambio de carrera, un nacimiento, una enfermedad).

• El Desafío Central: Los modelos de lenguaje actuales a menudo fallan en realizar una actualización de creencias (belief update). Pueden recuperar correctamente una preferencia expresada anteriormente, pero fallan al no inferir que dicha preferencia ha cambiado debido a un evento posterior no re-expresado explícitamente.
• Limitaciones Actuales: La investigación previa carece de datos con "verdad fundamental" (ground truth) sobre cuándo y por qué cambian las preferencias, y los benchmarks existentes no pueden distinguir entre un fallo de recuperación (no encontrar la información) y un fallo de actualización (encontrar la información antigua y no actualizarla).

2. Metodología y Arquitectura del Sistema

Los autores proponen un enfoque basado en la generación de datos sintéticos controlados para superar la falta de observabilidad del estado mental en datos reales.

A. Generador de Datos (State-First Approach)
En lugar de inferir el estado mental a partir de conversaciones (lo cual es ambiguo), el sistema genera conversaciones a partir de una Estructura de Grafo de Estado Mental (Mental State Graph) predefinida.

• Grafo de Estado: Representa el perfil del usuario, conexiones sociales, eventos de vida y preferencias.
• Dependencias Tipadas: Las preferencias están conectadas mediante aristas de dependencia (ej. un cambio de carrera afecta las preferencias laborales, de transporte y financieras simultáneamente).
• Proceso de Evolución:
  1. Se establecen preferencias iniciales en conversaciones.
  2. Ocurren Eventos de Vida que alteran el grafo de estado, actualizando las preferencias de forma implícita (sin que el usuario las reafirme).
  3. Se generan nuevas conversaciones basadas en el estado actualizado.
• Rastreo de Expresión: El sistema rastrea cuándo se expresó una preferencia por última vez. Si una preferencia evoluciona pero no se re-expresa, se considera "obsoleta" y candidata para ser recordada con su nuevo valor.

B. Construcción del Benchmark (HORIZONBENCH)
A partir del generador, se construye HORIZONBENCH con las siguientes características:

• Escala: 4,245 ítems de evaluación derivados de 360 usuarios simulados.
• Historial: Cada usuario tiene un historial de 6 meses, promediando ~4,300 turnos de conversación y ~163,000 tokens.
• Formato de Evaluación: Preguntas de opción múltiple (5 opciones) donde el modelo debe seleccionar la respuesta del asistente que mejor se alinea con la preferencia actual del usuario.
• Distractores de Negativo Duro: Las opciones incorrectas incluyen el valor pre-evolución (la preferencia antigua). Esto permite diagnosticar si el modelo se aferra a la información antigua.
• Filtrado de Consenso (5-LLM): Se utiliza un filtro estricto donde cinco modelos avanzados deben fallar en responder correctamente sin ver el historial completo. Esto garantiza que la respuesta correcta depende estrictamente de la memoria a largo plazo y la actualización de creencias, no de pistas superficiales.
• Dimensiones Controladas: El benchmark varía independientemente tres factores:
  1. Estado de evolución (Estático vs. Evolucionado).
  2. Explicitud de la expresión (Explícito vs. Implícito).
  3. Longitud del contexto.

3. Contribuciones Clave

1. Generador de Datos con Verdad Fundamental: Un sistema que produce conversaciones derivadas de un grafo de estado estructurado, proporcionando la trazabilidad causal de cada cambio de preferencia a lo largo de 6 meses.
2. HORIZONBENCH: El primer benchmark diseñado específicamente para diagnosticar la capacidad de los modelos para rastrear preferencias dinámicas, incluyendo distractores de "negativo duro" (valores antiguos) y dimensiones controladas experimentalmente.
3. Identificación del "Fallo de Actualización de Creencias": La demostración empírica de que el principal cuello de botella no es la recuperación de memoria, sino la incapacidad de los modelos para actualizar su estado interno cuando ocurren eventos de vida, incluso cuando la información de actualización está presente en el contexto.

4. Resultados Experimentales

Se evaluaron 25 modelos de vanguardia (de las familias OpenAI, Gemini y Claude) en el benchmark.

• Rendimiento General: El mejor modelo (Claude-opus-4.5) alcanzó un 52.8% de precisión. La mayoría de los modelos puntuaron en o por debajo del 20% (línea base de azar en una tarea de 5 opciones).
• Fallo de Actualización:
  • Cuando los modelos fallan en preferencias evolucionadas, más de un tercio de las veces seleccionan la opción con el valor original (pre-evolución), ignorando los eventos de vida que la invalidaron.
  • Esta tasa de selección del distractor antiguo es significativamente mayor que la esperada por azar (p < 0.001).
• Análisis de Dimensiones Controladas:
  • Longitud del Contexto: Acortar el historial a 0-14 días no eliminó el fallo. De hecho, la brecha entre preferencias estáticas y evolucionadas se amplió (-5.7 puntos porcentuales), indicando que el problema no es la capacidad de memoria a largo plazo, sino la lógica de actualización.
  • Explicitud: Hacer las preferencias más explícitas mejoró ligeramente la precisión general, pero no eliminó el fallo de actualización. Los modelos siguen anclándose en valores antiguos incluso con señales claras.
  • Subtilidad: Incluso con opciones de respuesta menos sutiles, los modelos persisten en seleccionar la preferencia obsoleta.

5. Significado e Implicaciones

• Diagnóstico de Capacidades: HORIZONBENCH demuestra que la recuperación de memoria y la actualización de creencias son capacidades distintas y medibles. Un modelo puede tener una memoria excelente (recuperar el texto antiguo) pero fallar catastróficamente en la comprensión del estado actual del usuario.
• Cuello de Botella en Agentes de IA: El hallazgo principal es que la capacidad de seguimiento de estado (state-tracking) es el obstáculo principal para la personalización a largo plazo, no la longitud del contexto.
• Futuras Direcciones: El trabajo sugiere que las arquitecturas futuras deben incorporar representaciones explícitas de estados de preferencia que se actualicen automáticamente ante eventos de vida, y estrategias de recuperación que prioricen no solo la semántica de la preferencia, sino también los eventos que la modificaron.

En conclusión, HORIZONBENCH establece un nuevo estándar para evaluar la inteligencia de los agentes de IA en entornos dinámicos, revelando que los modelos actuales carecen de la capacidad fundamental de "olvidar" preferencias obsoletas y adaptarse a la evolución humana.