JobHop v2: A Large-Scale Career Trajectory Dataset from Unstructured Resumes

Resumen Técnico: JobHop v2

Planteamiento del Problema
Los datos de trayectorias profesionales ricamente anotados y a gran escala son esenciales para la planificación de la fuerza laboral, los sistemas de recomendación de empleo y el análisis del mercado laboral. Sin embargo, el campo carece de un referente público adecuado. Los conjuntos de datos públicos existentes son o bien pequeños (por ejemplo, 2.164 o 301 currículos), o bien derivados de códigos ocupacionales preestandarizados en lugar de texto bruto, o bien construidos a partir de plataformas propietarias inaccesibles para la investigación independiente. Además, los intentos previos de extraer datos de currículos no estructurados suelen sufrir una degradación de la calidad en entradas ruidosas y multilingües, y no logran producir salidas consistentes que sean procesables por máquinas.

Metodología
Los autores presentan JobHop v2, un conjunto de datos construido mediante un flujo de extracción basado en Modelos de Lenguaje de Gran Escala (LLM) de extremo a extremo a partir de un corpus de aproximadamente 440.000 currículos multilingües y seudonimizados proporcionados por la VDAB (el Servicio Público de Empleo de Flandes).

• Fuente de Datos y Ética: Los datos brutos consisten en currículos en neerlandés, francés e inglés. Para garantizar la privacidad, la VDAB reemplazó la información de identificación personal (PII) y los términos de baja frecuencia con tokens <MASK>. Todo el procesamiento se realizó en infraestructura local (dos GPUs NVIDIA H200) para evitar la transmisión de datos a servicios externos. El conjunto de datos final elimina los campos de ubicación y generaliza todas las fechas a un nivel de granularidad trimestral.
• Flujo de Extracción: La innovación central es un flujo de inferencia de LLM controlado por razonamiento utilizando el modelo openai/gpt-oss-120b.
  • Prompting: Un prompt de instrucción estricto y rico en reglas guía al modelo para extraer JSON estructurado sin alucinaciones. Este gestiona desafíos específicos del corpus como los tokens <MASK>, contenido multilingüe, formatos de fecha inconsistentes y diseños de múltiples columnas.
  • Mecanismo de Reintento: Un bucle de reintento persistente vuelve a procesar las muestras que fallan en la validación de JSON utilizando un presupuesto de generación extendido y una penalización de repetición incrementada. Esto asegura una tasa de procesamiento de JSON del 100% en los aproximadamente 400.000 currículos de entrada (recuperando ~12,6% de los fallos iniciales).
  • Esquema: El esquema de salida es significativamente más rico que el de JobHop original, capturando experiencias laborales (con títulos estandarizados alineados con ESCO, tipos de contrato y habilidades técnicas), educación (mapeada a una taxonomía de cinco niveles), idiomas y certificados.
• Limpieza y Normalización: Un flujo de limpieza de cinco etapas sigue a la extracción, abordando artefactos de procesamiento, rangos de fechas inválidos, duplicados exactos y filtrado de calidad. Un flujo de normalización posterior mapea los títulos de puestos a códigos ESCO (usando una política híbrida de dos pasos con umbrales de confianza), convierte las fechas a granularidad de trimestre-año y mapea la educación a una taxonomía estándar de niveles de grado.
• Protocolo de Evaluación: Los autores introducen un protocolo de evaluación revisado utilizando 200 currículos de referencia. En lugar de una puntuación binaria, emplean una puntuación de crédito parcial graduada, comparación de cadenas con puertas de ratio de longitud y ponderación de importancia de campos. Para desentrañar los errores de extracción del ruido de anotación, el rendimiento se mide frente a tres líneas base complementarias: anotaciones manuales originales, etiquetas editadas por IA y etiquetas generadas de forma independiente por IA.

Contribuciones Clave

1. Conjunto de Datos JobHop v2: Una publicación de 355.315 trayectorias profesionales únicas que contienen 1,99 millones de experiencias laborales y 923.981 entradas de educación. Se distingue por ser el primer conjunto de datos público a gran escala que empareja códigos ocupacionales ESCO con información temporal y niveles educativos normalizados, todos extraídos de extremo a extremo de currículos reales no estructurados.
2. Flujo de Extracción Robusto: Un flujo de LLM controlado por razonamiento con un mecanismo de reintento de múltiples pasos que logra una tasa de procesamiento de JSON del 100%. El modelo con mejor rendimiento (GPT-OSS-120B con alto esfuerzo de razonamiento) se sitúa a tan solo 1,1–2,7 puntos porcentuales del techo de acuerdo entre anotadores en todas las tres líneas base.
3. Protocolo de Evaluación Revisado: Un sistema de puntuación que utiliza tres líneas base de anotación para proporcionar una evaluación más fiel de la calidad de la extracción, distinguiendo entre errores genuinos del modelo y la ambigüedad inherente de la anotación.

Resultados

• Calidad de la Extracción: En la evaluación frente a las tres líneas base, GPT-OSS-120B (alto razonamiento) alcanzó las puntuaciones más altas, situándose solo entre 1,1 y 2,7 puntos porcentuales por debajo del techo de acuerdo. Esto sugiere que los errores residuales se deben en gran medida a la ambigüedad de la anotación y no a un fallo sistemático del modelo.
• Comparación con JobHop v1: En una comparación por pares ciega de 1.000 currículos juzgada por un LLM (Kimi K2.6), JobHop v2 fue preferido sobre el flujo de trabajo de JobHop original en el 68,3% de los currículos (frente al 29,9% para v1). La mejora fue más significativa en la extracción de experiencia laboral, con puntuaciones de precisión media de 8,60 para v2 frente a 7,81 para v1.
• Estadísticas del Conjunto de Datos: El conjunto de datos cubre un amplio espectro ocupacional, siendo los Profesionales, Técnicos y trabajadores de Servicios y Ventas los más frecuentes. Las longitudes de las trayectorias profesionales presentan un sesgo a la derecha, con una mediana de 5 empleos por currículo.

Significación
El artículo afirma que JobHop v2 llena un vacío crítico en el campo al proporcionar un referente público a gran escala derivado de texto real no estructurado en lugar de datos sintetizados o preestandarizados. El conjunto de datos y su flujo de extracción acompañante están destinados a apoyar la investigación reproducible en el análisis de trayectorias profesionales, la predicción de la siguiente ocupación y el modelado del mercado laboral. Los autores enfatizan que el conjunto de datos preserva la base de currículos reales de la publicación original, mientras mejora sustancialmente la calidad de la extracción, la amplitud de la anotación y el rigor de la evaluación. También señalan que, si bien la estandarización ESCO proporciona un vocabulario neutro, el conjunto de datos retiene las inequidades estructurales del mercado laboral subyacente, lo que requiere una evaluación de equidad rigurosa en futuros despliegues.