JobHop v2: A Large-Scale Career Trajectory Dataset from Unstructured Resumes

Sintesi Tecnica: JobHop v2

Problematica
Dati sulle traiettorie di carriera ampiamente strutturati e riccamente annotati sono essenziali per la pianificazione della forza lavoro, i sistemi di raccomandazione dei lavori e l'analisi del mercato del lavoro. Tuttavia, il settore manca di un benchmark pubblico adeguato. I dataset pubblici esistenti sono o piccoli (ad esempio, 2.164 o 301 curricula) o derivati da codici professionali pre-standardizzati anziché da testo grezzo, oppure costruiti su piattaforme proprietarie inaccessibili per la ricerca indipendente. Inoltre, i precedenti tentativi di estrazione di dati da curricula non strutturati soffrono spesso di una qualità degradata su input multilingue rumorosi e non riescono a produrre output costantemente analizzabili dalle macchine.

Metodologia
Gli autori presentano JobHop v2, un dataset costruito attraverso una pipeline di estrazione basata su Large Language Models (LLM) end-to-end da un corpus di circa 440.000 curricula pseudonimizzati e multilingue forniti da VDAB (il Servizio Pubblico per l'Impiego delle Fiandre).

• Fonte dei Dati ed Etica: I dati grezzi consistono in curricula in olandese, francese e inglese. Per garantire la privacy, le informazioni identificative personali (PII) e i termini a bassa frequenza sono stati sostituiti con token <MASK> da VDAB. Tutto il processo è avvenuto su infrastrutture locali (due GPU NVIDIA H200) per evitare la trasmissione dei dati a servizi esterni. Il dataset finale rimuove i campi relativi alla posizione geografica e approssima tutte le date a una granularità trimestrale.
• Pipeline di Estrazione: L'innovazione principale è una pipeline di inferenza LLM controllata dal ragionamento utilizzando il modello openai/gpt-oss-120b.
  • Prompting: Un istruzione rigorosa e ricca di regole guida il modello nell'estrarre JSON strutturato senza allucinazioni. Gestisce le sfide specifiche del corpus come i token <MASK>, i contenuti multilingue, i formati di data incoerenti e i layout a più colonne.
  • Meccanismo di Retry: Un ciclo di riprova persistente rielabora i campioni che falliscono la validazione JSON utilizzando un budget di generazione esteso e una penalità di ripetizione aumentata. Ciò garantisce un tasso di parsing JSON del 100% attraverso i circa 400.000 curricula in input (recuperando circa il 12,6% dei fallimenti iniziali).
  • Schema: Lo schema di output è significativamente più ricco rispetto al JobHop originale, catturando esperienze lavorative (con titoli standardizzati allineati a ESCO, tipi di contratto e competenze tecniche), istruzione (mappata su una tassonomia a cinque livelli), lingue e certificazioni.
• Pulizia e Normalizzazione: Una pipeline di pulizia in cinque fasi segue l'estrazione, affrontando artefatti di parsing, intervalli di date non validi, duplicati esatti e filtraggio della qualità. Una successiva pipeline di normalizzazione mappa i titoli lavorativi ai codici ESCO (utilizzando una politica ibrida a due fasi con soglie di confidenza), converte le date in granularità trimestre-anno e mappa l'istruzione a una tassonomia standard di livello di laurea/diploma.
• Protocollo di Valutazione: Gli autori introducono un protocollo di valutazione rivisto utilizzando 200 curricula di benchmark. Invece di un punteggio binario, utilizzano un punteggio parziale graduato, un confronto tra stringhe con gate sul rapporto di lunghezza e pesatura dell'importanza del campo. Per distinguere gli errori di estrazione dal rumore di annotazione, le prestazioni sono misurate rispetto a tre baseline complementari: annotazioni manuali originali, etichette editate da AI e etichette generate indipendentemente da AI.

Contributi Chiave

1. Dataset JobHop v2: Un rilascio pubblico di 355.315 traiettorie di carriera uniche contenenti 1,99 milioni di esperienze lavorative e 923.981 voci di istruzione. Si distingue per essere il primo dataset pubblico su larga scala che accoppia i codici professionali ESCO con informazioni temporali e livelli di istruzione normalizzati, tutti estratti end-to-end da veri curricula non strutturati.
2. Pipeline di Estrazione Robusta: Una pipeline LLM controllata dal ragionamento con un meccanismo di retry multi-step che raggiunge un tasso di parsing JSON del 100%. Il modello con le migliori prestazioni (GPT-OSS-120B con alto sforzo di ragionamento) si colloca entro 1,1–2,7 punti percentuali del tetto dell'accordo tra annotatori attraverso tutte e tre le baseline.
3. Protocollo di Valutazione Rivisto: Un sistema di punteggio che utilizza tre baseline di annotazione per fornire una valutazione più fedele della qualità dell'estrazione, distinguendo tra errori reali del modello e ambiguità intrinseca dell'annotazione.

Risultati

• Qualità dell'Estrazione: Nella valutazione contro le tre baseline, GPT-OSS-120B (alto ragionamento) ha ottenuto i punteggi più alti, restando a soli 1,1–2,7 punti percentuali dal tetto dell'accordo. Ciò suggerisce che gli errori residui sono in gran parte dovuti all'ambiguità dell'annotazione piuttosto che a un fallimento sistematico del modello.
• Confronto con JobHop v1: In un confronto a coppie cieco di 1.000 curricula giudicato da un LLM (Kimi K2.6), JobHop v2 è stato preferito rispetto alla pipeline originale di JobHop nel 68,3% dei casi (rispetto al 29,9% per v1). Il miglioramento è stato più significativo nell'estrazione dell'esperienza lavorativa, con punteggi di accuratezza media di 8,60 per v2 rispetto a 7,81 per v1.
• Statistiche del Dataset: Il dataset copre un ampio spettro occupazionale, con Professionisti, Tecnici e Lavoratori del settore Servizi e Vendite come le categorie più frequenti. Le lunghezze delle traiettorie di carriera sono asimmetriche a destra, con una mediana di 5 lavori per curriculum.

Significatività
L'articolo sostiene che JobHop v2 colma una lacuna critica nel campo fornendo un benchmark pubblico su larga scala derivato da testi autentici e non strutturati, piuttosto che da dati sintetizzati o pre-standardizzati. Il dataset e la relativa pipeline di estrazione sono destinati a supportare la ricerca riproducibile nell'analisi delle traiettorie di carriera, nella previsione della prossima occupazione e nella modellazione del mercato del lavoro. Gli autori sottolineano che il dataset preserva la base di curricula reali del rilascio originale pur migliorando sostanzialmente la qualità dell'estrazione, l'ampiezza delle annotazioni e il rigore della valutazione. Notano inoltre che, sebbene la standardizzazione ESCO fornisca un vocabolario neutro, il dataset conserva le disuguaglianze strutturali del mercato del lavoro sottostante, richiedendo una rigorosa valutazione dell'equità nei futuri utilizzi.