High Fidelity Textual User Representation over Heterogeneous Sources via Reinforcement Learning

Resumen Técnico: Representación Textual de Alta Fidelidad de Usuarios sobre Fuentes Heterogéneas mediante Aprendizaje por Refuerzo

Este trabajo, realizado por investigadores de LinkedIn, aborda el desafío de crear representaciones de usuario que sean útiles, concisas e interpretables para sistemas de recomendación modernos basados en Grandes Modelos de Lenguaje (LLMs).

1. El Problema: Limitaciones de las Representaciones Actuales

En plataformas de escala masiva como LinkedIn, la personalización depende de la capacidad de modelar a los miembros basándose en fuentes de datos heterogéneas (perfiles profesionales, historial de búsqueda, actividad laboral, etc.). El documento identifica tres problemas principales en los métodos convencionales:

• Embeddings Densos (Vectores): Aunque potentes, carecen de interpretabilidad semántica (son "cajas negras") y cualquier cambio en el modelo requiere reentrenar todos los sistemas descendentes debido al desplazamiento de la distribución de los vectores.
• Características Manuales (Sparse Features): Son interpretables pero difíciles de mantener y tienen una cobertura limitada.
• Incompatibilidad con LLMs: Los LLMs operan de forma nativa en el espacio de texto. Integrar vectores o IDs requiere capas de proyección adicionales que aumentan la latencia y la complejidad técnica.
• Redundancia y Ruido: Concatenar todas las fuentes de texto de un usuario genera secuencias excesivamente largas que diluyen la señal predictiva y aumentan los costos computacionales.

2. Metodología Propuesta

Los autores proponen un marco de Aprendizaje por Refuerzo (RL) para transformar múltiples fuentes de texto heterogéneas en un sinopsis textual compacta y unificada.

• Formulación del Problema: Se trata como una tarea de generación de texto donde una política estocástica ($\pi_\theta$) aprende a producir un resumen que maximice la utilidad para tareas de recomendación (clics, aplicaciones a empleos).
• Arquitectura de RL:
  • Actor: Un LLM de capacidad media (1.7B de parámetros) que genera la representación.
  • Oráculo de Recompensa (Reward Model): Un LLM de gran capacidad (30B de parámetros) que actúa como juez, evaluando la calidad del resumen sin necesidad de etiquetas humanas (supervisión labeling-free).
  • Algoritmo de Optimización: Utilizan GRPO (Group Relative Policy Optimization), que elimina la necesidad de un modelo crítico (critic model) y utiliza comparaciones dentro de un grupo de respuestas para estabilizar el entrenamiento. También integran DAPO para evitar el colapso de la entropía.
• Diseño de Recompensas (Rewards):
  • Pointwise (Puntual): Evalúa la capacidad de predecir si un usuario aplicará a un trabajo específico. Se probaron recompensas basadas en cadenas de texto y en log-probabilidades.
  • Listwise (En lista): Evalúa la capacidad de ordenar una lista de trabajos según la relevancia (usando NDCG). Introducen un pesado por entropía para dar más importancia a las listas con etiquetas diversas (aplicar, ver, omitir).
  • Restricciones de Control: Para evitar el "reward hacking" (donde el modelo genera textos excesivamente largos para engañar al evaluador), implementan una penalización de longitud cuadrática y penalizaciones de formato para asegurar que el texto sea conciso y esté basado en los datos reales.

3. Contribuciones Clave

1. Síntesis de Datos Heterogéneos: Un método para fusionar perfiles, historial de búsqueda y datos profesionales en un único bloque de texto semánticamente rico.
2. Aprendizaje sin Etiquetas Humanas: El uso de un LLM de gran tamaño como oráculo de recompensa permite escalar el entrenamiento utilizando señales de interacción implícitas (clics/aplicaciones).
3. Descubrimiento de Características Emergentes: El modelo demuestra capacidades de "imputación de perfil" (inferir habilidades de datos escasos) y "descubrimiento de características" (identificar intereses latentes que no están explícitos en el perfil).
4. Compatibilidad "Plug & Play": Al ser texto, las representaciones son directamente consumibles por cualquier LLM en la etapa de ranking o recuperación sin necesidad de alineación adicional.

4. Resultados y Evaluación

Los experimentos se realizaron en múltiples productos de LinkedIn y mostraron mejoras significativas:

• Evaluación Offline: El modelo de recompensa pointwise superó significativamente a los embeddings tradicionales y al contexto completo, logrando un aumento del 3.50% en el AUC de clics (pClick).
• Evaluación Online (A/B Testing): En el ranking de búsqueda de empleo, se observaron incrementos en métricas clave de negocio:
  • CTR (Click-Through Rate): +1.48%
  • Aplicaciones a empleos: +1.2%
  • Tasa de éxito de la sesión: +0.8%
• Calidad Cualitativa: Evaluaciones mediante "LLM-as-a-judge" (usando GPT-o1) confirmaron altas puntuaciones en precisión fáctica, cobertura de fuentes y concisión.

5. Significado e Impacto

Este trabajo marca un cambio de paradigma: pasar de vectores opacos a representaciones textuales inteligentes. La capacidad de generar perfiles de usuario compactos y altamente predictivos mediante RL permite que los sistemas de recomendación sean más eficientes, interpretables y fáciles de actualizar, resolviendo problemas críticos de latencia y mantenimiento en sistemas de escala mundial.