Resumen Técnico: Modelado de Usuario Bidireccional mediante Perfiles (BUMP)

Declaración del Problema

La personalización de los Grandes Modelos de Lenguaje (LLMs) es un desafío crítico a medida que estos modelos se despliegan en recomendación, búsqueda, diálogo y generación de contenido. Los métodos tradicionales de representación de usuario, como los embeddings de filtrado colaborativo, no se integran naturalmente con los LLMs ajustados por instrucciones, los cuales dependen de prompts para el condicionamiento. Además, la simple concatenación de todo el historial de interacciones de un usuario en un prompt es inviable a escala debido a los límites de la ventana de contexto, la latencia y el fenómeno de "pérdida en el medio" (lost in the middle), donde las señales salientes se degradan en contextos largos.

Los enfoques existentes para generar perfiles de usuario en lenguaje natural suelen depender de recompensas explícitas derivadas de tareas descendentes etiquetadas (por ejemplo, tasas de clics o etiquetas de clasificación específicas). Esta dependencia crea cuellos de botella significativos:

1. Escalabilidad: Las recompensas son costosas y dispersas, lo que requiere supervisión anotada para cada tarea objetivo.
2. Generalización: Los perfiles optimizados para una tarea etiquetada específica pueden no transferirse bien a otros dominios o escenarios de cero disparos (zero-shot).
3. Sesgo: Los perfiles se convierten en características diseñadas para clasificadores específicos en lugar de descripciones fieles del usuario.

El artículo postula que un generador de perfiles robusto debe ser capaz de entrenarse sin ninguna etiqueta de tarea descendente, basándose únicamente en registros de interacción brutos.

Metodología: BUMP

Los autores introducen el Modelado de Usuario Bidireccional mediante Perfiles (BUMP), un marco de trabajo autosupervisado que entrena un generador de perfiles utilizando únicamente datos de interacción de usuario brutos. La intuición central es que un perfil de alta calidad debe satisfacer dos propiedades complementarias:

1. Predictivo: El perfil debe predecir las futuras (retenidas) interacciones del usuario.
2. Identificable: Las interacciones del usuario deben identificar de forma única al perfil entre otros usuarios.

Marco de Entrenamiento

El sistema emplea un algoritmo de Optimización de Política Relativa de Grupo (GRPO) para entrenar una política $\pi_\theta$ (el generador de perfiles) utilizando un LLM pequeño y congelado como juez ($J$). El proceso de entrenamiento opera sobre un lote de usuarios $\mathcal{B}$:

1. Partición de Datos: Para cada usuario $u$, el historial de interacción se divide en un prefijo visible ($H^{vis}_u$) utilizado para la generación y una porción retenida ($H^{ho}_u$) utilizada para la supervisión.
2. Diseño de Recompensa Bidireccional: El juez congelado $J$ computa una recompensa densa basada en dos direcciones de clasificación:
   • Dirección hacia adelante (Perfil $\to$ Historial): El perfil generado $s_u$ se utiliza como consulta para clasificar los artículos retenidos del usuario ($H^{ho}_u$) frente a artículos del lote de otros usuarios. La recompensa es una puntuación NDCG de múltiples positivos.
   • Dirección hacia atrás (Historial $\to$ Perfil): Un artículo retenido $h^{(p)}_u$ se utiliza como consulta para clasificar el perfil generado del usuario $s_u$ frente a los perfiles de otros usuarios en el lote. La recompensa es una puntuación NDCG de un solo positivo.
3. Regularización:
   • Debias de Posición: Para mitigar el sesgo de posición del clasificador de listas del LLM, los elementos candidatos se presentan en $M$ órdenes aleatorios, y las puntuaciones NDCG se promedian.
   • Penalización de Longitud: Se aplica una penalización suave si el perfil excede un umbral de tokens $T$ para evitar que el modelo realice "hackeo de recompensa" (reward hacking) rellenando los perfiles con texto genérico de relleno.
4. Optimización: La recompensa total $R(s_u)$ combina las puntuaciones NDCG de las direcciones hacia adelante y hacia atrás menos la penalización de longitud. GRPO actualiza $\pi_\theta$ para maximizar esta recompensa.

BUMP+: Minería de Negativos Difíciles

Para abordar el problema donde los negativos aleatorios dentro del lote son demasiado fáciles (temáticamente irrelevantes), los autores proponen BUMP+. Esta variante utiliza un modelo de embeddings congelado (BGE) para minar negativos más difíciles:

• Hacia adelante: Selecciona artículos retenidos del usuario que son temáticamente distintos de su historial visible (baja similitud con el centroide del historial).
• Hacia atrás: Selecciona perfiles de usuarios cuyos historiales visibles son temáticamente similares al usuario objetivo, forzando al juez a distinguir entre perfiles de usuarios altamente similares.

Principales Contribuciones

1. Objetivo Autosupervisado Novedoso: El artículo formula la generación de perfiles de usuario como un problema de clasificación bidireccional dentro del lote, derivando supervisión densa de registros brutos sin etiquetas de tareas descendentes.
2. BUMP y BUMP+: La instanciación de este objetivo utilizando GRPO y un juez de LLM congelado, mejorada con la minería de negativos difíciles para agudizar la señal de aprendizaje.
3. Validación Empírica: Demostrar que un modelo de 4 mil millones de parámetros autosupervisado puede igualar o superar a las API de código cerrado (por ejemplo, Gemini-3-Pro) y a métodos previos que dependen de recompensas etiquetadas.

Resultados Experimentales

El marco fue evaluado en el benchmark LaMP, cubriendo seis tareas en cinco dominios (clasificación, regresión y generación).

• Rendimiento vs. Métodos Supervisados por Tarea: BUMP+ igualó o superó a la línea base de "Recompensa Directa" (que utiliza señales descendentes etiquetadas) en 9 de las 11 filas de métricas. Esto confirma que la autosupervisión puede sustituir a las recompensas etiquetadas.
• Rendimiento vs. APIs de Código Cerrado: BUMP+ superó a Gemini-3-Pro de código cerrado en las 11 filas de métricas, a pesar de utilizar un modelo de pesos abiertos significativamente más pequeño (4B).
• Comparación con el Historial Bruto: Aunque el historial bruto funcionó mejor en tareas de generación (donde se premia el solapamiento de n-gramas superficiales), BUMP+ superó significativamente al historial bruto en tareas de clasificación y calificación, donde las preferencias temáticas son más críticas que el texto literal.
• Estudios de Ablación:
  • Eliminar cualquiera de las dos direcciones (hacia adelante o hacia atrás) degradó el rendimiento, confirmando que ambas son necesarias.
  • La dirección "Hacia adelante" por sí sola fue más efectiva que la dirección "Hacia atrás" por sí sola, lo que sugiere que el término hacia adelante impulsa la señal principal relevante para la tarea, mientras que el término hacia atrás actúa como un regularizador contra perfiles genéricos.
  • La minería de negativos difíciles (BUMP+) proporcionó ganancias significativas sobre los negativos aleatorios, aunque la minería excesiva introdujo ruido.

Significado y Reivindicaciones

El artículo afirma que el aprendizaje autosupervisado puede reemplazar eficazmente las recompensas descendentes etiquetadas para entrenar perfiles de usuario textuales. Al aprovechar la estructura inherente de los registros de interacción de los usuarios mediante la clasificación bidireccional, BUMP genera perfiles que son:

• Agnósticos a la Tarea: Optimizados para ser una descripción fiel del usuario en lugar de una característica para un clasificador específico, lo que permite la transferencia entre tareas sin reentrenamiento.
• Escalables: El presupuesto de supervisión crece automáticamente con la población de usuarios en lugar de requerir anotación manual.
• Eficientes: Los perfiles resultantes son representaciones compactas de tamaño fijo que pueden precomputarse y almacenarse en caché, evitando los costos de latencia y memoria de procesar historiales de interacción completos durante la inferencia.

Los autores reconocen las limitaciones, incluyendo los posibles sesgos inherentes al uso de LLM como juez (por ejemplo, verbosidad, preferencia propia) y la dependencia de la similitud de embeddings como un proxy de la confundibilidad en la minería de negativos difíciles. Sin embargo, los resultados sugieren que la autosupervisión bidireccional es una alternativa viable y poderosa a la generación tradicional de perfiles supervisados.