LATTE: Forecasting Peer Anchored Preference Trajectories for Personalized LLM Generation

Resumen Técnico: LATTE – Predicción de Trayectorias de Preferencia Ancladas a Pares para la Generación Personalizada con LLM

Enunciado del Problema
La generación personalizada con Modelos de Lenguaje Grande (LLM) congelados requiere una señal de condicionamiento que sea tanto compacta como actual. Los enfoques existentes suelen depender de recuperar o resumir historiales de usuarios en texto, o de comprimirlos en perfiles latentes estáticos y prompts suaves. Aunque eficientes, estos métodos tratan el historial del usuario como un perfil agregado, confundiendo la identidad estable, la deriva conductual reciente y el contenido específico de los elementos en una única representación. Esta agregación estática falla al capturar los cambios temporales en las preferencias del usuario (por ejemplo, un revisor que se vuelve más técnico con el tiempo) y a menudo resulta en perfiles obsoletos o dominados por el contenido que no coinciden con el estado actual del usuario. El desafío central consiste en cómo condicionar un LLM congelado al estado de preferencia actual de un usuario sin ajustar finamente el modelo ni añadir parámetros específicos del usuario.

Metodología: Marco LATTE
Los autores proponen Rastreo y Extrapolación de Trayectorias Latentes (LATTE), un marco que reformula la personalización como la predicción de un "estado de preferencia relativa anclado a pares". El método opera en tres etapas distintas y desacopladas:

1. Construcción de Estados Relativos Anclados a Pares:
   Para cada sesión histórica, LATTE construye un estado que aísla la preferencia específica del usuario de las variaciones compartidas de los elementos.

   • Línea Base de Pares: Para la interacción de un usuario objetivo con un elemento $i_t$ en el tiempo $\tau_t$, el sistema identifica un conjunto de usuarios "pares" comparables que revisaron el mismo elemento antes de $\tau_t$.
   • Cálculo de Residuos: El sistema calcula un promedio ponderado de las incrustaciones de respuesta de los pares (la línea base) y resta este valor de la incrustación de respuesta del usuario objetivo.
   • Normalización: El residuo resultante se normaliza para formar un vector de estado relativo anclado a pares. Este proceso elimina matemáticamente el componente compartido del elemento (bajo la suposición de un modelo de incrustación aditivo), dejando una señal que representa cómo el usuario difiere de pares similares bajo el mismo contexto.

2. Predicción de Trayectorias:
   En lugar de agregar estos estados en un promedio estático, LATTE los trata como una secuencia ordenada temporalmente.

   • Un predictor de secuencias ligero (por ejemplo, una GRU, Transformer o un mecanismo de atención aprendido) se entrena fuera de línea para predecir el siguiente estado en la trayectoria basándose en el historial observado de estados anclados a pares.
   • El objetivo de entrenamiento es una pérdida de regresión directa (similitud coseno y MSE) para predecir el estado construido siguiente, desacoplando la predicción del estado de la pérdida de modelado del lenguaje. Esto evita que el vector de condicionamiento colapse en un atajo de bajo rango que dependa únicamente de los metadatos del elemento.

3. Puente Estado-a-Token (STB):
   El estado pronosticado se inyecta en el LLM congelado.

   • Un módulo puente ligero mapea el vector latente predicho al espacio de incrustación de tokens del LLM.
   • Este vector reemplaza un único token marcador de posición ([PREF_TOKEN]) en el prompt.
   • Un ancla en lenguaje natural precede al token para instruir al LLM sobre cómo interpretar el estado inyectado.
   • Crucialmente, los pesos del LLM permanecen congelados; solo se entrenan el puente y el predictor.

Contribuciones Clave

• Formulación: El artículo formula la personalización de LLM congelados como la predicción de un estado de preferencia relativa anclado a pares, transformando el historial del usuario de un perfil estático a una trayectoria latente ordenada temporalmente.
• Diseño del Marco: Introduce un marco modular (LATTE) que construye estados residuales de pares para el mismo elemento, predice el siguiente estado utilizando un modelo de secuencia ligero e inyecta la predicción mediante un único token suave anclado.
• Validación Teórica y Empírica: Los autores proporcionan pruebas analíticas (Proposiciones 1 y 2) que demuestran que el anclaje a pares reduce la variación compartida de los elementos y que la predicción de trayectorias ofrece un compromiso sesgo-varianza superior al promediado estático cuando los estados del usuario derivan. Empíricamente, muestran que las ganancias se deben a la predicción de información de trayectoria específica del usuario y no meramente a añadir una interfaz de prompt suave.

Resultados Experimentales
El método se evaluó en Amazon Reviews 2023 (Libros, Películas, CD) y MemoryCD frente a un conjunto exhaustivo de líneas base, incluidos métodos basados en recuperación, memoria de resumen, perfiles latentes estáticos, perfiles estáticos conscientes de la diferencia (estilo DEP) y compresión de prompts suaves (estilo PERSOMA).

• Rendimiento: LATTE superó consistentemente a todas las líneas base. En Amazon Reviews 2023, LATTE (utilizando un predictor GRU) logró un ROUGE-L promedio de 0.259, superando a la línea base latente estática más fuerte (0.245) y a la línea base de compresión de prompts suaves más fuerte (0.245).
• Fidelidad de Preferencia: Más allá de la superposición léxica, LATTE mostró mejoras significativas en las tasas de victoria por pares conscientes del historial (64.0% frente a 58.6% para PERSOMA) y en métricas de fidelidad de preferencia, particularmente en la alineación de "Recencia", que se vincula directamente con la formulación de la trayectoria.
• Ablación y Diagnósticos:
  • Eliminar el ancla de pares eliminó casi por completo la ganancia de rendimiento sobre la compresión estática, confirmando la necesidad del anclaje a pares.
  • El entrenamiento de extremo a extremo (sin regresión desacoplada) condujo al colapso de la representación y a una generación deficiente, validando la estrategia de entrenamiento desacoplado.
  • Los diagnósticos confirmaron que el modelo no filtra el consenso de los pares ni el contenido del elemento, y que los estados aprendidos retienen la variación del usuario sin colapsar en un vector constante.

Significado y Afirmaciones
El artículo afirma que modelar a los usuarios como trayectorias evolutivas en lugar de agregados fijos es crítico para la generación personalizada, especialmente en configuraciones de historial largo donde el comportamiento reciente importa. El significado de LATTE radica en su capacidad para:

1. Desacoplar Representación de Inyección: Al separar la predicción del estado del condicionamiento del LLM, evita el problema del "atajo" donde el modelo ignora la señal del usuario.
2. Manejar la Deriva Temporal: Al predecir el siguiente estado en lugar de promediar el pasado, se adapta a las preferencias cambiantes del usuario de manera más efectiva que los perfiles estáticos.
3. Controlar el Contenido: Al utilizar el anclaje a pares, aísla la señal de preferencia específica del usuario de las características inherentes del elemento, proporcionando una señal de condicionamiento más limpia para el LLM.

Los autores mantienen un alcance modesto, señalando que el método requiere un historial de usuario suficiente para la estimación de trayectorias y asume la existencia de pares comparables para los elementos históricos. Para usuarios de inicio en frío, el marco recurre a líneas base de texto existentes o latentes estáticas. El trabajo se centra en mejorar el mecanismo de condicionamiento para LLM congelados sin requerir un ajuste fino del modelo.