Query as Anchor: Scenario-Adaptive User Representation via Large Language Model

1. El Problema

El aprendizaje de representaciones de usuarios a escala industrial enfrenta tres desafíos principales que los métodos actuales no resuelven eficazmente:

• Falta de adaptabilidad al escenario: Los métodos existentes generan incrustaciones (embeddings) estáticas y agnósticas a la tarea. Esto obliga a los sistemas industriales a mantener múltiples modelos específicos para diferentes aplicaciones (ej. evaluación de crédito, marketing, gestión de riesgos), lo que aumenta la complejidad y los costos de mantenimiento.
• Brecha de modalidad y semántica: Los datos de comportamiento del usuario en la industria (logs de transacciones, interacciones en mini-programas, búsquedas) son simbólicos, dispersos y heterogéneos. Esto difiere significativamente de los datos densos y centrados en el lenguaje natural utilizados para el pre-entrenamiento de los Modelos de Lenguaje Grandes (LLM), limitando la capacidad de los LLM para generalizar en dominios especializados.
• Integración de datos heterogéneos: La variabilidad en la relevancia de los datos entre diferentes escenarios requiere mecanismos para atender selectivamente a las señales relevantes y suprimir el ruido sin introducir una sobrecarga de inferencia prohibitiva.

2. Metodología: Query-as-Anchor

Los autores proponen Q-Anchor, un marco unificado que cambia el paradigma de la codificación estática a una síntesis dinámica consciente de la consulta ("query-aware"). La arquitectura se compone de cuatro pilares:

A. Dataset de Pre-entrenamiento: UserU

Para cerrar la brecha entre el comportamiento del usuario y la comprensión semántica, se construyó UserU, un dataset de pre-entrenamiento a escala industrial que alinea comportamientos multimodales con semántica de comprensión de usuarios. Incluye dos componentes:

• Predicción de comportamiento futuro: Pares de consulta-respuesta donde el modelo debe predecir acciones futuras basadas en el historial.
• Generación sintética de QA (UserQA): Utiliza LLMs para generar preguntas y respuestas sobre perfiles de usuarios en temas de la vida real (finanzas, salud), validadas mediante un proceso de reflexión para asegurar la fidelidad con los datos reales.

B. Codificador Jerárquico de Usuario (Coarse-to-Fine)

Para manejar la dispersión de los datos, se propone una arquitectura de codificación jerárquica que transforma las interacciones crudas en una representación de múltiples granularidades:

1. Nivel de Evento: Proyección de eventos atómicos (ej. una transacción específica) a embeddings iniciales.
2. Nivel de Modalidad: Agregación de eventos por modalidad (ej. todas las transacciones de pago, todas las búsquedas) para capturar tendencias intra-modalidad.
3. Nivel de Usuario: Consolidación global de todas las modalidades para obtener un perfil de comportamiento holístico.
   Estos niveles se concatenan para formar el token de entrada estructurado $e_i$.

C. Arquitectura Dual-Tower y Optimización Conjunta

El núcleo es el mecanismo Query-as-Anchor:

• Torre de Anclaje (Anchor Tower): Recibe el perfil jerárquico del usuario ($e_i$) y una consulta en lenguaje natural ($q_i$) al final de la secuencia. El LLM actúa como un agregador consciente de la consulta, extrayendo características relevantes del perfil para generar una representación adaptada al escenario ($u_{i,q}$).
• Torre Semántica: Codifica la respuesta objetivo ($a_i$) en un vector denso.
• Optimización: Se utiliza una función de pérdida combinada:
  • Pérdida Contrastiva (InfoNCE): Alinea la representación del usuario con la respuesta semántica, utilizando un enmascaramiento basado en márgenes para evitar falsos negativos.
  • Predicción de Siguiente Token (NTP): Una tarea auxiliar autoregresiva para reconstruir la respuesta, asegurando que la representación sea semánticamente rica y no solo discriminativa.

D. Ajuste Fino con Prompts Suaves (Soft Prompt Tuning)

Para adaptar el modelo general a lógicas comerciales específicas sin reentrenar todo el modelo, se introduce un mecanismo de soft prompt tuning basado en clústeres. Se añaden tokens de prompt aprendibles que actúan como controladores diferenciables, ajustando la atención del modelo hacia las señales relevantes para un escenario específico (ej. riesgo vs. marketing) sin olvidar el conocimiento general.

E. Aceleración de Inferencia (KV-Cache)

Para el despliegue industrial, se aprovecha la estructura de la consulta al final de la secuencia. El perfil del usuario ($e_i$) se codifica una vez y se almacena en una caché KV-Cache compartida. Para múltiples escenarios (consultas), el modelo solo computa la parte de la consulta (sufijo), reutilizando la caché del prefijo. Esto permite una inferencia de múltiples escenarios con latencia incremental insignificante.

3. Contribuciones Clave

1. UserU: Un dataset de pre-entrenamiento industrial masivo que combina predicción de comportamiento y alineación semántica mediante QA sintético.
2. Query-as-Anchor: Un marco que permite reutilizar un único perfil de usuario en múltiples escenarios de decisión mediante consultas en lenguaje natural, eliminando la necesidad de modelos específicos por tarea.
3. Eficiencia y Escalabilidad: Introducción de soft prompt tuning para especialización rápida y uso de KV-Cache para inferencia de baja latencia en producción.
4. Validación Industrial: Demostración de éxito en el ecosistema de Alipay, superando a modelos de estado del arte (SOTA) en 10 benchmarks y validándose en pruebas A/B en línea.

4. Resultados

• Rendimiento Offline: En 10 tareas de clasificación binaria de Alipay (abarcando participación de usuarios, riesgo y sensibilidad de marketing), Q-Anchor alcanzó un rendimiento SOTA.
  • Promedio de AUC: 0.8225 y KS: 0.5267.
  • Superó a los mejores modelos de incrustación general (como Llama-Embed-Nemotron-8B) en un +9.84% en AUC y +38.4% en KS.
  • Mostró una mejora consistente al aplicar el ajuste fino con prompts (de 0.8104 a 0.8225 en AUC promedio).
• Escalabilidad:
  • El rendimiento mejora con más datos de pre-entrenamiento, pero no necesariamente con modelos más grandes (el modelo de 0.5B funcionó mejor que los de 1.5B y 3B debido a la atenuación del gradiente en tareas de incrustación).
  • El ajuste con prompts alcanza la saturación con muy pocos tokens (6 tokens) y pasos de entrenamiento moderados.
• Pruebas A/B en Línea:
  • Escenario de IVR (Reserva de efectivo): Aumento del 12.5% en la tasa de retiro y 5.3% en el saldo promedio.
  • Identificación de Riesgo de Impago: Mejora del 1.96% en la puntuación KS, crítica para la asignación de crédito.
• Eficiencia de Despliegue: Permite servir a cientos de millones de usuarios reutilizando la caché KV, reduciendo drásticamente los costos computacionales al no necesitar replicar pipelines completos para cada escenario.

5. Significado e Impacto

Este trabajo representa un avance significativo en la inteligencia industrial al demostrar que es posible unificar la representación de usuarios en un solo modelo adaptable, en lugar de depender de arquitecturas fragmentadas.

• Cambio de Paradigma: Pasa de "un modelo por tarea" a "un modelo universal con condicionamiento dinámico".
• Puente Modalidad-Semántica: Resuelve la dificultad de aplicar LLMs a datos de comportamiento industrial dispersos mediante pre-entrenamiento específico y arquitecturas jerárquicas.
• Viabilidad Industrial: Demuestra que las técnicas avanzadas de IA (LLMs, prompts suaves) pueden implementarse a escala masiva con latencia y costos aceptables, ofreciendo una solución práctica y escalable para sistemas financieros y de marketing de alto volumen.