Optimizing User Profiles via Contextual Bandits for Retrieval-Augmented LLM Personalization

A continuación presento un resumen técnico detallado del artículo "Optimizing User Profiles via Contextual Bandits for Retrieval-Augmented LLM Personalization" (Optimización de Perfiles de Usuario mediante Bandits Contextuales para la Personalización de LLMs con Recuperación Aumentada), traducido y sintetizado al español.

---

1. El Problema: Relevancia vs. Utilidad en la Personalización

Los Modelos de Lenguaje Grandes (LLMs) son excelentes en tareas generales, pero adaptar sus respuestas a usuarios individuales sigue siendo un desafío. Las aproximaciones actuales para la personalización mediante Recuperación Aumentada (RAG) suelen seleccionar registros del historial del usuario basándose en la relevancia semántica (similitud léxica o semántica con la consulta).

Los autores identifican dos limitaciones críticas en este enfoque:

1. La relevancia no es un proxy fiable de la utilidad: Un registro puede ser semánticamente similar a la consulta pero no mejorar la calidad de la generación (o incluso degradarla) debido a redundancia o información conflictiva. La relevancia mide la similitud superficial, mientras que la utilidad mide si el registro apoya la intención subyacente del usuario.
2. La utilidad no es aditiva (no monótona): Seleccionar los registros más útiles de forma individual (greedy top-k) es subóptimo. La combinación de registros puede crear interferencias o restricciones contradictorias que empeoran el resultado final. Por lo tanto, la construcción del perfil requiere un razonamiento consciente de la lista (list-aware) y dependiente del orden, no una selección independiente.

2. Metodología: PURPLE

Para abordar estos desafíos, los autores proponen PURPLE (Profiles User Ranking via Learning Enhanced), un marco basado en Bandits Contextuales que optimiza la selección y el ordenamiento de registros del usuario para maximizar la calidad de la generación downstream.

Formulación del Problema

El problema se formula como un bandit contextual donde:

• Contexto ($C$): La consulta actual ($x$) y el historial completo de registros del usuario ($H$).
• Acción: Seleccionar un subconjunto ordenado de $K$ registros de $H$ para formar un perfil $P$. El espacio de acciones incluye tanto qué registros elegir como su orden (permutaciones).
• Recompensa ($R$): La calidad de la respuesta generada por el LLM congelado al condicionar con el perfil $P$ y la consulta $x$, comparada con una respuesta de referencia personalizada ($y$).

Arquitectura del Modelo

1. Codificador de Registros ($f_\theta$):

   • Utiliza un enfoque de interacción tardía (late interaction). Primero, un codificador preentrenado (Contriever) genera embeddings para la consulta y los registros.
   • Se aplica una atención cruzada a nivel de tokens entre la consulta y cada registro para fusionar la información.
   • Un codificador Transformer procesa los embeddings de los registros fusionados para modelar las dependencias entre registros (redundancia, complementariedad), sin usar codificaciones posicionales para evitar sesgos de orden innecesarios.

2. Modelo de Ranking (Plackett-Luce):

   • En lugar de puntuar registros individualmente, PURPLE utiliza el modelo de ranking Plackett-Luce (PL).
   • Este modelo asigna una probabilidad a cada perfil posible (permutación) basándose en las "puntuaciones de propensión" (propensity scores) de los registros individuales.
   • Esto permite capturar interacciones complejas entre registros y generar un perfil ordenado óptimo.

3. Función de Recompensa y Entrenamiento:

   • Recompensa: Se utiliza la log-verosimilitud (log-likelihood) que el LLM asigna a la respuesta de referencia. A diferencia de métricas superficiales (como ROUGE o exactitud), la log-verosimilitud proporciona una señal de recompensa semánticamente rica y granular.
   • Optimización: Se emplea el método de gradiente de política (Policy Gradient) de aprendizaje por refuerzo. Dado que el espacio de perfiles es combinatorio, se estiman los gradientes muestreando múltiples perfiles (M=32) y normalizando las recompensas.

3. Contribuciones Clave

1. Nuevo Marco Teórico: Introducen PURPLE, el primer enfoque que formula la personalización de LLMs como un problema de bandit contextual, optimizando perfiles de usuario de manera adaptativa en lugar de depender de heurísticas estáticas.
2. Modelado de Dependencias: Demuestran que tratar el perfil como una estructura ordenada y dependiente (mediante Plackett-Luce) es superior a la selección independiente de registros.
3. Señal de Recompensa Superior: Validan que usar la log-verosimilitud de la respuesta de referencia como señal de recompensa es más efectivo que las métricas de evaluación de tareas específicas, permitiendo un entrenamiento más robusto.
4. Eficiencia y Escalabilidad: Proponen una solución que no requiere ajustar los parámetros del LLM (fine-tuning), manteniendo el modelo congelado y siendo computacionalmente eficiente.

4. Resultados Experimentales

Los autores evaluaron PURPLE en 9 tareas de personalización (clasificación, regresión y generación de texto corto/largo) utilizando los benchmarks LaMP y LongLaMP, con LLMs de diferentes tamaños (Phi-4-Mini, Llama-3-8B, Llama-3-70B).

• Rendimiento Superior: PURPLE superó consistentemente a líneas base fuertes, incluyendo:
  • Recuperadores heurísticos (BM25, Contriever).
  • Rerankers basados en LLMs sin entrenamiento específico (RankGPT, ICR).
  • Modelos de lenguaje aumentados por contexto (IC-RALM, REPLUG).
• Eficiencia: PURPLE logró un mejor rendimiento que métodos como RankGPT (que usa LLMs grandes para reranking) con una mayor eficiencia computacional (mayor throughput).
• Robustez: Funcionó bien en tareas de regresión (donde la log-verosimilitud no es una métrica directa de distancia numérica), demostrando la generalidad de su señal de recompensa.
• Evaluación Humana: En una evaluación ciega de parafraseo de tweets, PURPLE fue preferido por evaluadores humanos en un 14.4% sobre el método ICR, capturando mejor el estilo, la voz y el tono informal del usuario.
• Análisis de Orden: Se demostró que el ordenamiento propuesto por PURPLE es crucial; las permutaciones generadas por el modelo superaron a las aleatorias y a las de otros métodos en calidad de generación.

5. Significado e Impacto

Este trabajo establece un nuevo paradigma para la personalización de LLMs:

• Cambio de Paradigma: Mueve el enfoque de "buscar lo más relevante" a "buscar lo más útil para la generación", reconociendo que la utilidad es contextual y dependiente de la interacción entre registros.
• Solución Escalable: Ofrece una vía para personalizar LLMs masivos sin los costos computacionales prohibitivos del ajuste fino (fine-tuning) o el RLHF, manteniendo la transparencia al permitir que los usuarios inspeccionen los registros seleccionados.
• Fundamento Teórico: Proporciona una justificación teórica sólida (vía Bandits Contextuales y PL) para el diseño de sistemas de recuperación que optimizan directamente la calidad de la salida del modelo generativo.

Limitaciones mencionadas: El método asume acceso a respuestas de referencia de alta calidad para el entrenamiento (supervisión explícita), lo cual podría ser un desafío en escenarios de despliegue real donde el feedback es implícito o ruidoso. Además, el entrenamiento actual es específico por tarea, y la generalización a tareas no vistas sigue siendo un área de investigación futura.