Resumen Técnico: De Clics a la Intención

Declaración del Problema

En los servicios financieros, existe una brecha crítica entre las interacciones web previas al inicio de sesión y las experiencias autenticadas posteriores al inicio de sesión. A diferencia del comercio electrónico o las plataformas sociales, donde las señales de comportamiento más ricas ocurren después del inicio de sesión, la exploración de productos financieros, la comparación y el inicio de solicitudes de productos suelen ocurrir en sitios web públicos antes de la autenticación. Sin embargo, los sistemas de recomendación actuales suelen descartar estas señales previas al inicio de sesión debido a que:

1. Pérdida de Contexto: Identificar a los usuarios antes del inicio de sesión requiere una resolución de entidades compleja, y conectar estos datos con las cuentas posteriores al inicio de sesión es difícil, lo que provoca la pérdida de la intención expresada.
2. Limitaciones de las Representaciones Existentes: Las representaciones de intención actuales suelen ser ad-hoc y limitadas (por ejemplo, simples registros de visitas a páginas). No logran capturar señales de comportamiento matizadas y carecen de la interpretabilidad requerida para el análisis cualitativo, la segmentación de usuarios y el cumplimiento regulatorio en el sector financiero.

El desafío central es transformar los flujos de clics (clickstreams) web multimodales en bruto en una representación que sea tanto cuantitativamente poderosa para tareas de clasificación posteriores como cualitativamente interpretable para la comprensión humana, resolviendo al mismo tiempo el problema de la resolución de entidades entre plataformas.

Metodología

Los autores proponen un marco escalable de doble propósito que genera dos salidas complementarias a partir de los datos de flujo de clics previos al inicio de sesión: un embedding de sesión denso para tareas cuantitativas y etiquetas de intención legibles por humanos para la comprensión cualitativa.

1. Embedding de Sesión Multimodal (Salida Cuantitativa)

El sistema codifica los eventos de flujo de clics en bruto en un embedding de sesión compacto utilizando un Transformer autosupervisado.

• Entrada: Secuencias de eventos ordenadas cronológicamente ($x_1, \dots, x_T$) que contienen características heterogéneas: información de la página, tiempo de permanencia, tipo de evento (clic, scroll, vista) y características semánticamente enriquecidas (contenido HTML de la página).
• Codificación de Características:
  • Características discretas: Mapeadas mediante tablas de embedding aprendidas.
  • Contenido de la página: Vectores precomputados derivados del texto HTML mediante un sentence transformer preentrenado, proyectados a la dimensión del embedding.
  • Posición: Embeddings posicionales aprendidos.
• Arquitectura: Las características se fusionan mediante un MLP, se añaden los embeddings posicionales y un codificador Transformer procesa la secuencia.
• Entrenamiento: El modelo se entrena mediante aprendizaje autosupervisado (prediciendo el siguiente evento o eventos/títulos enmascarados) sin datos etiquetados. El modelo final utiliza atención bidireccional con pooling de media para capturar el contexto completo, ya que la sesión completa está disponible en el momento de la inferencia.

2. Taxonomía Destilada por LLM (Salida Cualitativa)

Para cerrar la brecha entre los vectores densos y la comprensión humana, el sistema genera una taxonomía de intención y la destila en un clasificador ligero.

• Muestreo Basado en Clustering: Los embeddings de sesión se agrupan (usando K-Means) para garantizar un muestreo estratificado. Esto garantiza que el LLM vea toda la diversidad del comportamiento del usuario en lugar de un subconjunto aleatorio.
• Generación Iterativa de Taxonomía: Inspirado en TnT-LLM, un LLM genera, actualiza y revisa una taxonomía de intención a través de minibatches iterativos. Este proceso refina un conjunto fijo de categorías de intención (por ejemplo, "Preaprobación de Tarjeta de Crédito", "Protección contra Fraude") basándose en patrones observados, asegurando la coherencia semántica y la relevancia del dominio.
• Asignación de Etiquetas y Destilación:
  • El LLM asigna múltiples etiquetas de intención con puntuaciones de confianza (prompting zero-shot) a las sesiones muestreadas.
  • Se entrena un modelo estudiante MLP ligero para predecir estas etiquetas directamente desde los embeddings de sesión (vector de 64 dimensiones), utilizando las puntuaciones de confianza del LLM como objetivos suaves (soft targets).
  • Esto permite que el sistema produzca etiquetas interpretables a escala sin necesidad de llamadas al LLM o codificación de texto separada durante la inferencia.

Principales Contribuciones

1. Sistema de Predicción de Intención de Doble Propósito: El marco produce una única representación compartida con dos salidas: un embedding denso para tareas cuantitativas (clasificación, predicción de conversión) y etiquetas legibles por humanos para la comprensión cualitativa (segmentación, analítica).
2. Generación de Taxonomía por LLM Mejorada por Clustering: Al agrupar los embeddings antes del muestreo, el sistema asegura que el LLM observe todo el espectro del comportamiento del usuario durante la generación de la taxonomía, mejorando la robustez y la cobertura de las categorías de intención resultantes.
3. Destilación de Intención en el Espacio de Embedding: El sistema destila las etiquetas generadas por el LLM en un clasificador que opera sobre vectores de dimensión fija en lugar de texto bruto. Esto permite una inferencia de latencia ultra baja a escala (más de 10 millones de sesiones diarias) manteniendo la riqueza semántica del LLM.

Resultados Experimentales

El sistema fue evaluado en dos tareas de clasificación utilizando datos de una importante institución de servicios financieros (aproximadamente 10 millones de sesiones diarias, filtradas a 100,000 sesiones multiplataforma).

1. Clasificación de Tiles de la Página de Inicio Móvil

• Tarea: Predecir en qué tiles de contenido hará clic un usuario en la página de inicio de la aplicación móvil después de iniciar sesión.
• Línea Base: Un modelo LightGBM utilizando características posteriores al inicio de sesión y características de retargeting del sitio previas al inicio de sesión (conteo de visitas a páginas).
• Rendimiento: La adición del embedding de sesión mejoró el Macro Recall@1 en un 1.88% y redujo el Log Loss en un 13.38% en comparación con la línea base.
• Hallazgo: La variante de atención bidireccional con pooling de media funcionó mejor, confirmando que las sesiones previas al inicio de sesión contienen señales ricas más allá de los simples conteos de páginas.

2. Predicción de Conversión de Usuario

• Tarea: Predecir acciones posteriores al inicio de sesión (por ejemplo, solicitudes de tarjetas de crédito) basadas en señales previas al inicio de sesión.
• Comparación de Rendimiento:
  • Características manuales (SRF): Funcionaron significativamente peor (35.8% menos F1) que las representaciones basadas en LLM.
  • Estudiante Destilado (MLP): Alcanzó el 93% del rendimiento del profesor LLM (caída del 7% en F1), validando la transferencia de conocimiento efectiva.
  • Embedding de Sesión: Superó al profesor LLM por un 4.3% en Micro F1. Esto confirma que el embedding captura la señal más rica, mientras que la capa de destilación sacrifica una pequeña cantidad de precisión por la interpretabilidad.
• Calidad de las Etiquetas: Una revisión manual mostró un acuerdo estricto del 97.0% y un acuerdo laxo del 99.5% entre los anotadores humanos y las etiquetas asignadas por el LLM.

3. Eficiencia de Inferencia

• La inferencia directa del LLM para etiquetar 100,000 sesiones tomaría más de 80 horas de forma serial.
• El pipeline propuesto (codificación Transformer + MLP destilado) procesa 100,000 sesiones en menos de 61 segundos, lo que representa una mejora de rendimiento de más de 3,000 veces con solo una caída del 7% en el rendimiento.

Significado y Reivindicaciones

El artículo afirma que este enfoque logra cerrar la brecha entre las señales de comportamiento bruto y la comprensión semántica en los servicios financieros.

• Utilidad Práctica: Demuestra que las representaciones de flujo de clics autosupervisadas combinadas con taxonomías destiladas por LLM pueden servir simultáneamente para tareas cuantitativas de alto nivel (clasificación, predicción de conversión) y casos de uso cualitativos esenciales (segmentación, explicabilidad) en un entorno de producción.
• Escalabilidad: La capa de destilación permite que el sistema escale a millones de sesiones diarias sin el costo prohibitivo y la latencia de la inferencia directa de LLM.
• Eficiencia de Datos: El sistema aprovecha los datos previos al inicio de sesión, que es la única señal disponible para prospectos no autenticados, para impulsar la personalización y la predicción de conversión, abordando una limitación específica en los servicios financieros donde el contexto previo al inicio de sesión suele descartarse.

Los autores reconocen que el sistema se evalúa actualmente con datos de una sola institución y que la generalizabilidad a otros dominios aún debe ser validada. El trabajo futuro incluye pruebas A/B en línea, refinamiento automático de la taxonomía y la extensión del modelo para la predicción de intención a nivel de usuario a través de múltiples sesiones.