JobHop v2: A Large-Scale Career Trajectory Dataset from Unstructured Resumes

Resumo Técnico: JobHop v2

Declaração do Problema
Dados de trajetórias de carreira ricamente anotados e em larga escala são essenciais para o planejamento da força de trabalho, sistemas de recomendação de empregos e análise do mercado de trabalho. No entanto, a área carece de um benchmark público adequado. Os conjuntos de dados públicos existentes são pequenos (ex: 2.164 ou 301 currículos), derivados de códigos ocupacionais pré-padronizados em vez de texto bruto, ou construídos a partir de plataformas proprietárias inacessíveis para pesquisa independente. Além disso, tentativas anteriores de extrair dados de currículos não estruturados frequentemente sofrem com a degradação da qualidade em entradas multilingues ruidosas e falham em produzir saídas consistentemente analisáveis por máquina.

Metodologia
Os autores apresentam o JobHop v2, um conjunto de dados construído através de um pipeline de extração por Large Language Model (LLM) de ponta a ponta a partir de um corpus de aproximadamente 440.000 currículos pseudonimizados e multilingues fornecidos pelo VDAB (o Serviço Público de Emprego de Flandres).

• Fonte de Dados e Ética: Os dados brutos consistem em currículos em holandês, francês e inglês. Para garantir a privacidade, informações de identificação pessoal (PII) e termos de baixa frequência foram substituídos por tokens <MASK> pelo VDAB. Todo o processamento ocorreu em infraestrutura local (duas GPUs NVIDIA H200) para evitar a transmissão de dados para serviços externos. O conjunto de dados final remove campos de localização e torna os campos de data mais genéricos para o nível de trimestres.
• Pipeline de Extração: A inovação central é um pipeline de inferência de LLM controlado por raciocínio usando o modelo openai/gpt-oss-120b.
  • Prompting: Um prompt de instrução estrito e rico em regras guia o modelo para extrair JSON estruturado sem alucinação. Ele lida com desafios específicos do corpus, como tokens <MASK>, conteúdo multilingue, formatos de data inconsistentes e layouts de múltiplu colunas.
  • Mecanismo de Tentativa (Retry): Um loop de tentativa persistente reprocessa amostras que falham na validação de JSON usando um orçamento de geração estendido e uma penalidade de repetição aumentada. Isso garante uma taxa de análise de JSON de 100% em todos os ~400.000 currículos de entrada (recuperando ~12,6% das falhas iniciais).
  • Esquema: O esquema de saída é significativamente mais rico que o JobHop original, capturando experiências de trabalho (com títulos padronizados alinhados ao ESCO, tipos de contrato e competências técnicas), educação (mapeada para uma taxonomia de cinco níveis), línguas e certificados.
• Limpeza e Normalização: Um pipeline de limpeza de cinco estágios segue a extração, abordando artefatos de análise, intervalos de datas inválidos, duplicatas exatas e filtragem de qualidade. Um pipeline de normalização subsequente mapeia títulos de cargos para códigos ESCO (usando uma política híbrida de dois passos com limiares de confiança), converte datas para granularidade de trimestre-ano e mapeia a educação para uma taxonomia padrão de nível de grau.
• Protocolo de Avaliação: Os autores introduzem um protocolo de avaliação revisado usando 200 currículos de referência. Em vez de pontuação binária, eles empregam pontuação de crédito parcial graduada, comparação de strings com controle de razão de comprimento e ponderação de importância de campo. Para desvincular erros de extração de ruído de anotação, o desempenho é medido contra três baselines complementares: anotações manuais originais, rótulos editados por IA e rótulos gerados de forma independente por IA.

Principais Contribuições

1. Dataset JobHop v2: Um lançamento público de 355.315 trajetórias de carreira únicas contendo 1,99 milhão de experiências de trabalho e 923.981 entradas de educação. Ele se distingue por ser o primeiro dataset público de larga escala que combina códigos ocupacionais ESCO com informações temporais e níveis de educação normalizados, todos extraídos de ponta a ponta de currículos reais e não estruturados.
2. Pipeline de Extração Robusto: Um pipeline de LLM controlado por raciocínio com um mecanismo de tentativa de múltiplos passos que alcança uma taxa de análise de JSON de 100%. O modelo com melhor desempenho (GPT-OSS-120B com alto esforço de raciocínio) fica a apenas 1,1–2,7 pontos percentuais do teto de concordância entre anotadores em todas as três baselines.
3. Protocolo de Avaliação Revisado: Um sistema de pontuação que utiliza três baselines de anotação para fornecer uma avaliação mais fiel da qualidade da extração, distinguindo entre erros genuínos do modelo e ambiguidade inerente da anotação.

Resultados

• Qualidade da Extração: Na avaliação contra as três baselines, o GPT-OSS-120B (alto raciocínio) alcançou as pontuações mais altas, ficando atrás do teto de concordância por apenas 1,1–2,7 pontos percentuais. Isso sugere que os erros residuais devem-se majoritariamente à ambiguidade da anotação, e não a uma falha sistemática do modelo.
• Comparação com JobHop v1: Em uma comparação pareada cega de 1.000 currículos julgada por um LLM (Kimi K2.6), o JobHop v2 foi preferido em relação ao pipeline original do JobHop em 68,3% dos currículos (vs. 29,9% para o v1). A melhoria foi mais significativa na extração de experiência de trabalho, com pontuações médias de precisão de 8,60 para o v2 contra 7,81 para o v1.
• Estatísticas do Dataset: O dataset cobre um amplo espectro ocupacional, sendo Profissionais, Técnicos e Trabalhadores de Serviços e Vendas os mais frequentes. As trajetórias de carreira apresentam uma distribuição assimétrica à direita, com uma mediana de 5 empregos por currículo.

Significância
O artigo afirma que o JobHop v2 preenche uma lacuna crítica no campo ao fornecer um benchmark público de larga escala derivado de texto autêntico e não estruturado, em vez de dados sintetizados ou pré-padronizados. O dataset e seu respectivo pipeline de extração pretendem apoiar a pesquisa reproduzível em análise de trajetória de carreira, previsão de próxima ocupação e modelagem do mercado de trabalho. Os autores enfatem que o dataset preserva a base de currículos reais do lançamento original, ao mesmo tempo em que melhora substancialmente a qualidade da extração, a amplitude da anotação e o rigor da avaliação. Eles também observam que, embora a padronização ESCO forneça um vocabulário neutro, o dataset retém as desigualdades estruturais do mercado de trabalho subjacente, exigindo uma avaliação de equidade rigorosa em implementações futuras.