Resumen Técnico: STEP – Recomendación de Trayectorias Profesionales mediante el Modelado de Trayectorias Temporales y Educativas

1. Formulación del Problema

El artículo aborda el desafío de la predicción del próximo empleo dentro de las trayectorias profesionales. Aunque los currículums contienen información rica respecto a la historia laboral, educación y habilidades, su naturaleza no estructurada, heterogénea y multilingüe ha dificultado históricamente el análisis sistemático a gran escala. Los autores enmarcan la recomendación de trayectorias profesionales como una tarea de predicción de secuencia de muchos a uno: dada una secuencia observada de empleos $(j_1, \dots, j_{t-1})$ y señales auxiliares (intervalos de tiempo entre empleos $\delta$ y nivel educativo $e$), el objetivo es predecir la siguiente ocupación $j_t$ de un conjunto finito de candidatos (típicamente las 3,007 ocupaciones de nodos hoja de la taxonomía ESCO).

El problema se complica por tres factores:

1. Escasez de Datos: Los benchmarks públicos existentes son pequeños, carecen de metadatos temporales/educativos o dependen de datos propietarios (por ejemplo, LinkedIn) que impiden la replicación independiente.
2. Representación: Los codificadores de frases estándar suelen fallar al capturar la semántica compositiva del texto profesional o las relaciones específicas entre títulos de puestos y la taxonomía ESCO.
3. Dinámicas Temporales y Educativas: Las transiciones de carrera no son uniformes en el tiempo (oscilando entre meses y décadas) y están fuertemente influenciadas por el logro educativo, sin embargo, pocos modelos integran conjuntamente estas señales en una arquitectura secuencial basada en recuperación.

2. Metodología

La solución propuesta consta de dos componentes primarios: ROUTE (para el aprendizaje de representaciones) y STEP (para la predicción secuencial).

2.1 ROUTE: Representación de Trayectorias Profesionales Únicas como Embeddings

ROUTE es un procedimiento de aprendizaje contrastivo de dos etapas diseñado para producir embeddings ocupacionales de alta calidad que sirvan como entrada para el predictor.

• Etapa 1: Adaptación de Dominio No Supervisada (TSDAE): Un codificador multilingüe preentrenado (específicamente multilingual-e5-base) es adaptado al dominio profesional mediante el Autoencoder de Eliminación de Tokens Secuenciales basado en Transformers (TSDAE). El modelo reconstruye el texto profesional a partir de entradas con tokens eliminados, forzando al codificador a capturar el contenido semántico completo de las descripciones de currículums heterogéneos.
• Etapa 2: Ajuste Fino Contrastivo Guiado (GISTEmbedLoss): El codificador adaptado se somete a un ajuste fino contrastivo supervisado sobre pares (historial, siguiente empleo). Para abordar el problema de los "falsos negativos" (donde el muestreo aleatorio de lotes selecciona ocupaciones semánticamente similares como negativas), los autores emplean GISTEmbedLoss. Este utiliza un modelo guía congelado para computar similitudes por pares, filtrando los falsos negativos y enfatizando los negativos difíciles para producir una señal de gradiente más limpia.

2.2 STEP: Predicción de la Secuencia de la Trayectoria de Empleo

STEP es un modelo de predicción secuencial que opera sobre los embeddings generados por ROUTE. Integra cuatro componentes arquitectónicos específicos para modelar la dinámica profesional:

1. Celda GRU con Decaimiento Temporal: A diferencia de las RNN estándar que asumen pasos de tiempo uniformes, STEP incorpora un mecanismo de decaimiento exponencial en la actualización del estado oculto de la GRU. Antes de procesar un nuevo empleo, el estado oculto previo $h_{t-1}$ se decae mediante un factor aprendible $\exp(-\lambda \cdot \delta_t)$, donde $\delta_t$ es el intervalo de tiempo entre empleos. Esto permite al modelo aprender que ciertos atributos profesionales (ej. experiencia en un dominio) decaen más lento que otros (ej. habilidades técnicas específicas).
2. Condicionamiento de Grado mediante FiLM: En lugar de concatenar el nivel educativo como una simple característica de entrada, STEP utiliza Modulación Lineal por Características (FiLM). El nivel educativo se codifica y se proyecta en parámetros de escala ($\gamma$) y desplazamiento ($\beta$) que modulan el estado oculto en cada paso de tiempo ($h'_t = \tanh(\gamma) \odot h_t + \beta$). Esto permite al modelo condicionar los patrones de progresión profesional directamente sobre el logro educativo.
3. Agregación de Secuencia Basada en Atención: En lugar de depender únicamente del último estado oculto, el modelo utiliza un mecanismo de atención aprendible para agregar la secuencia de estados ocultos condicionados por grado en una única representación de trayectoria. Esto pondera los pasos de la carrera según su relevancia predictiva.
4. Escalamiento de Temperatura Aprendible: El embedding de la trayectoria final se compara contra todas las ocupaciones ESCO candidatas mediante similitud de coseno. Un parámetro de temperatura aprendible $\tau$ escala los logits antes de la softmax, controlando la nitidez de la distribución de probabilidad sobre el gran conjunto de candidatos ($K=3,007$).

El modelo se entrena de extremo a extremo utilizando pérdida de entropía cruzada con suavizado de etiquetas.

3. Contribuciones Clave

1. El Modelo STEP: Una novedosa arquitectura secuencial que modela conjuntamente los intervalos temporales y el logro educativo para la predicción del próximo empleo. Logra un rendimiento de vanguardia (state-of-the-art) en cuatro benchmarks.
2. El Procedimiento ROUTE: Un pipeline de embedding de dos etapas (TSDAE + GISTEmbedLoss) que mejora significativamente la calidad de la representación ocupacional, particularmente para tareas de recuperación, al adaptar codificadores multilingües al dominio profesional y mitigar los falsos negativos en el aprendizaje contrastivo.
3. Dataset JobHop v2: Una versión mejorada del dataset JobHop anterior de los autores. Presenta una extracción de mayor calidad mediante LLMs controlados por razonamiento, un esquema más rico (incluyendo tipos de contrato y habilidades) y una taxonomía de educación de cinco niveles (Ninguna, Secundaria, Grado, Máster, Doctorado), reemplazando el flag binario anterior.
4. Evaluación Exhaustiva: El trabajo se evalúa en cuatro conjuntos de datos distintos (Decorte, Karrierewege, JobHop, y JobHop v2), demostrando robustez a través de diferentes escalas, idiomas (inglés, holandés, francés, alemán) y riqueza de anotación.

4. Resultados

Los autores reportan el rendimiento utilizando el Recíproco Medio de Rango (MRR), Recall@5 y Recall@10.

• Rendimiento General: STEP supera a todos los baselines (incluyendo Markov, Lineal, MLP, BiLSTM y recuperación directa) en los cuatro conjuntos de datos.
  • En Decorte, STEP logra un 46.6% R@10, superando al mejor anterior (43.01%) y al baseline de recuperación directa (46.1%).
  • En Karrierewege, STEP alcanza un 70.3% R@10, una ganancia de 1.4 puntos porcentuales sobre el baseline BiLSTM reimplementado.
  • En JobHop v2, STEP logra un 41.1% R@10, superando a BiLSTM (38.2%) y MLP (38.5%).
• Estudios de Ablación:
  • Escalamiento de Temperatura: Eliminar este componente causa una degradación catastrófica (R@10 cae de 41.24% a 24.69% en JobHop v2), resaltando su papel crítico en la calibración de probabilidades sobre el gran espacio de etiquetas ESCO.
  • FiLM vs. Concatenación: El condicionamiento FiLM proporciona una mejora marginal pero consistente sobre la simple concatenación, confirmando que la modulación multiplicativa captura mejor las interacciones entre grado y carrera.
  • Embedding vs. Predictor: Mientras que ROUTE mejora significativamente el rendimiento de la recuperación directa, el predictor STEP es el principal motor de las ganancias de extremo a extremo. El predictor reaprende la función de puntuación, lo que lo hace robusto a variaciones en el stack de embeddings, aunque el pipeline completo de ROUTE sigue siendo la opción más segura por defecto.
• Diversidad y Novedad: El análisis revela un compromiso entre precisión y exploración. Si bien STEP logra una alta precisión, tiende a recomendar ocupaciones cercanas al rol actual (puntuaciones de "Novedad" más bajas) en comparación con las transiciones reales, que suelen ser más exploratorias. Sin embargo, STEP ofrece un mejor equilibrio entre diversidad y precisión que los baselines de pura recuperación.
• Predicción de Múltiples Pasos: En la evaluación autorregresiva de múltiples pasos (horizontes hasta 5), el rendimiento se degrada gradualmente en lugar de forma catastrófica, manteniendo un recall significativo (ej. 28.7% R@10 en el horizonte 5 en JobHop v2).

5. Significado y Reivindicaciones

El artículo afirma que STEP representa un paso significativo hacia adelante en la recomendación de trayectorias profesionales al aprovechar con éxito la "riqueza" de los datos de currículum no estructurados a través de Modelos de Lenguaje de Gran Escala (LLMs) para la extracción y el modelado temporal y educativo.

• Accesibilidad de Datos: Al liberar JobHop v2 y el código, los autores abordan la falta crítica de datasets de trayectorias profesionales ampliamente disponibles y ricamente anotados, permitiendo la investigación reproducible en este dominio.
• Integración Metodológica: El trabajo demuestra que integrar intervalos temporales de valor real y el logro educativo en una arquitectura secuencial basada en recuperación produce resultados superiores en comparación con los modelos secuenciales estándar (LSTM/MLP) o los métodos de pura recuperación.
• Adaptación de Dominio: El estudio valida que el preentrenamiento de adaptación de dominio (TSDAE) y el aprendizaje contrastivo guiado (GISTEmbedLoss) son esenciales para crear embeddings ocupacionales que generalicen bien, particularmente cuando se trata de datos de currículum multilingües y ruidosos.
• Modestia sobre las Limitaciones: Los autores reconocen explícitamente que sus modelos son entrenados con datos históricos y pueden reflejar sesgos existentes en el mercado laboral (ej. segregación ocupacional). Advierten que una alta precisión no equivale a un asesoramiento profesional óptimo, ya que los modelos tienden a ser conservadores y pueden sub-recomendar movimientos de carrera exploratorios. Enfatizan que la evaluación de la equidad es un prerrequisito necesario para cualquier despliegue en el mundo real.

En resumen, el artículo establece un nuevo estado del arte para la predicción del próximo empleo al combinar un aprendizaje de representación avanzado con un modelo secuencial consciente del tiempo y la educación, proporcionando además a la comunidad los datos y herramientas necesarios para construir sobre este trabajo.