VietJobs: A Vietnamese Job Advertisement Dataset

Il paper presenta VietJobs, il primo corpus pubblico su larga scala di annunci di lavoro vietnamiti contenente oltre 48.000 pubblicazioni, e ne valuta l'utilità per l'analisi del mercato del lavoro e l'elaborazione del linguaggio naturale attraverso il benchmarking di diversi modelli linguistici generativi su compiti di classificazione e stima salariale.

L'essenziale

Immagina di voler capire come funziona il mercato del lavoro in Vietnam, ma invece di leggere milioni di annunci di lavoro noiosi e dispersi per il web, hai bisogno di una biblioteca magica che li raccoglie tutti, li organizza e ti permette di fare domande intelligenti.

Questo è esattamente ciò che fanno gli autori di questo paper con VietJobs.

Ecco una spiegazione semplice, usando qualche metafora creativa:

1. Il Problema: La "Giungla" degli Annunci

Fino a poco tempo fa, studiare gli annunci di lavoro in vietnamita era come cercare di capire il meteo guardando singole gocce di pioggia sparse in una foresta pluviale. C'era molta acqua (dati), ma era difficile vederne il modello. Inoltre, la lingua vietnamita è complessa (ha toni, come la musica, e mescola parole inglesi), il che rendeva difficile per i computer "capire" cosa significassero gli annunci.

2. La Soluzione: VietJobs, il "Super-Organizzatore"

Gli autori hanno creato VietJobs, che è come un grande archivio digitale (un dataset) che contiene 48.092 annunci di lavoro raccolti da tutto il Vietnam (dalle grandi città come Hanoi alle province più piccole).

• La grandezza: È come se avessero letto e catalogato più di 15 milioni di parole.
• La varietà: Hanno coperto 16 settori diversi, dai meccanici agli ingegneri informatici, fino ai traduttori.
• Il dettaglio: Non hanno solo salvato il testo, ma hanno anche etichettato cose importanti come lo stipendio, il tipo di contratto e le competenze richieste.

3. L'Esperimento: I "Robot Inteligenti" (LLM)

Una volta costruita questa biblioteca, gli autori hanno messo alla prova dei robot intelligenti (chiamati modelli linguistici o LLM, come Qwen o Llama). Immagina questi robot come dottori specializzati che devono fare due diagnosi:

• Diagnosi 1: "Che lavoro è?" (Classificazione)
  Il robot legge l'annuncio e deve indovinare a quale categoria appartiene (es. "È un lavoro di vendita o di ingegneria?").

  • Risultato: I robot più grandi e addestrati su molte lingue (come Qwen2.5) sono stati bravi, specialmente se gli davamo qualche esempio prima (come un insegnante che mostra un compito svolto).

• Diagnosi 2: "Quanto pagano?" (Stima dello stipendio)
  Il robot deve indovinare lo stipendio basandosi solo sulla descrizione del lavoro.

  • Risultato: È stato più difficile. I robot hanno imparato molto meglio quando sono stati "allenati" specificamente su questi dati (come uno studente che ripassa gli appunti) rispetto a quando hanno solo "guardato" gli annunci senza preparazione. Il modello Llama-SEA-LION (progettato specificamente per l'Asia del Sud-Est) si è comportato come un campione, capendo meglio le sfumature locali.

4. Perché è importante? (La Metafora della Mappa)

Prima di VietJobs, studiare il lavoro in Vietnam era come cercare di navigare in un mare sconosciuto senza una mappa.
Ora, con questo dataset:

• I ricercatori hanno una mappa dettagliata per vedere dove ci sono più opportunità o dove ci sono discriminazioni (es. annunci che chiedono "giovani" o "belli", cosa che succede spesso).
• Le aziende potrebbero usare questi robot per capire meglio quanto pagare per certi ruoli.
• La società può capire meglio come la lingua e la cultura influenzano chi viene assunto e chi no.

In Sintesi

Questo paper ci dice: "Abbiamo raccolto tutti gli annunci di lavoro vietnamiti in un unico posto, li abbiamo puliti e organizzati, e abbiamo testato i migliori robot AI per vedere se riescono a capire il mercato del lavoro vietnamita."

Il risultato è che sì, i robot possono farlo, ma funzionano meglio se sono stati "allenati" specificamente su questi dati e se conoscono bene la cultura locale. VietJobs è la prima grande base di dati pubblica che permette a chiunque di fare queste ricerche, aprendo la strada a un futuro in cui l'Intelligenza Artificiale aiuta a rendere il mercato del lavoro più trasparente ed equo.

Sommario tecnico

Ecco un riassunto tecnico dettagliato del paper "VietJobs: A Vietnamese Job Advertisement Dataset", strutturato secondo le sezioni richieste.

1. Il Problema

Il mercato del lavoro vietnamita sta subendo una rapida trasformazione digitale, con piattaforme di reclutamento online che giocano un ruolo centrale. Tuttavia, la ricerca linguistica e computazionale su questo settore presenta gravi lacune:

• Scarsità di risorse: A differenza dell'inglese o di altre lingue ad alta risorsa, il vietnamita è considerato una lingua a bassa risorsa nel campo del NLP (Natural Language Processing). Mancano dataset pubblici, su larga scala e ben annotati specifici per gli annunci di lavoro.
• Complessità linguistica: La struttura tonale, la morfologia complessa e il frequente code-switching (mescolanza di vietnamita e inglese) rendono difficile la tokenizzazione e l'interpretazione semantica.
• Analisi limitata: Le ricerche precedenti si sono concentrate su dataset in inglese, lasciando inesplorati aspetti cruciali come le norme sociali, i bias di genere, le disparità salariali regionali e le dinamiche occupazionali specifiche del Vietnam.
• Mancanza di standardizzazione: I dati esistenti (es. dataset Kaggle) spesso contengono solo titoli di lavoro senza descrizioni testuali complete, limitando l'analisi NLP avanzata.

2. Metodologia

Gli autori hanno sviluppato VietJobs, il primo corpus pubblico su larga scala di annunci di lavoro vietnamiti, seguendo un processo rigoroso:

• Raccolta Dati:
  • Fonte: Dati estratti dalla piattaforma TopCV (la principale piattaforma di reclutamento in Vietnam) tra luglio 2025.
  • Strumenti: Utilizzo del framework open-source Crawl4AI per la raccolta, integrato con modelli LLM (GPT-4o e Gemini 2.5) per il parsing e l'estrazione strutturata dei dati da template HTML eterogenei.
  • Copertura: 48.092 annunci provenienti da tutte le 34 province e municipalità del Vietnam.
• Preprocessing e Normalizzazione:
  • Categorizzazione: Le 24 categorie originali sono state normalizzate in un tassonomia unificata di 16 domini occupazionali (basata su standard ISCO-08, O*NET e ESCO) per garantire coerenza analitica.
  • Dati Strutturati: Estrazione di campi chiave come titolo del lavoro, salario (minimo, massimo, medio in milioni di VND), tipo di contratto, località e competenze.
  • Statistiche: Il corpus contiene oltre 15 milioni di parole e un vocabolario di 78.002 token unici. Circa il 71,5% degli annunci include informazioni salariali esplicite.
• Sperimentazione con LLM:
  • Sono stati valutati diversi modelli LLM generativi (multilingue globali, focalizzati sull'ASEAN e specializzati in vietnamita) in tre configurazioni: Zero-shot, Few-shot e Fine-tuning.
  • Task: Due compiti principali:
    1. Classificazione delle categorie lavorative: Predizione della categoria tra 16 classi.
    2. Stima del salario: Predizione del range salariale basata su attributi strutturati (titolo, contratto, esperienza, ecc.).
  • Configurazione di Fine-tuning: Utilizzo di LoRA (Low-Rank Adaptation) su GPU NVIDIA A40 con parametri ottimizzati (rank=8, batch size=64, 2 epoche).

3. Contributi Chiave

• Dataset VietJobs: La creazione del primo dataset pubblico, diversificato e strutturato di annunci di lavoro vietnamiti, che copre l'intero spettro geografico e occupazionale del paese.
• Benchmark per il NLP vietnamita: Stabilisce un nuovo standard di riferimento per l'analisi linguistica del mercato del lavoro in Vietnam, permettendo studi su bias, codici linguistici e variazioni socio-economiche.
• Valutazione Comparativa degli LLM: Fornisce una valutazione sistematica di come diversi modelli (globali vs. regionali vs. locali) performano su compiti specifici del mercato del lavoro vietnamita, evidenziando i vantaggi dei modelli instruction-tuned.
• Risorsa per l'Analisi Economica: La disponibilità di dati salariali strutturati (min/max/avg) per la maggior parte degli annunci permette analisi predittive robuste e studi sulla trasparenza salariale.

4. Risultati

Gli esperimenti hanno rivelato tendenze significative nelle prestazioni dei modelli:

• Classificazione delle Categorie:
  • Il modello Qwen2.5-7B-Instruct ha ottenuto le prestazioni migliori in Zero-shot (Accuracy: 0.31, Macro F1: 0.32) e Few-shot (Accuracy: 0.47), superando i modelli specificamente addestrati sul vietnamita.
  • Il Few-shot prompting ha migliorato drasticamente le prestazioni rispetto allo Zero-shot per tutti i modelli, dimostrando la capacità degli LLM di inferire strutture di task complessi con pochi esempi.
  • Il Fine-tuning ha portato a guadagni moderati, ma in alcuni casi (es. Ministral-8B) ha mostrato un leggero calo, suggerendo possibili problemi di overfitting o la superiorità dell'apprendimento contestuale (in-context learning) in questo dominio.
• Stima del Salario:
  • Il modello Llama-SEA-LION-v3-8B-IT (focalizzato sull'ASEAN) ha dimostrato la maggiore robustezza e coerenza, ottenendo il miglior RMSE (Root Mean Square Error) e R² in tutte le configurazioni, incluso lo Zero-shot (RMSE: 11.72, R²: 0.07).
  • Il Fine-tuning su dataset combinati (VietJobs + Vietnam Jobs Dataset) ha prodotto i risultati più accurati, riducendo l'errore di previsione e migliorando la generalizzazione.
  • I modelli multilingue addestrati su larga scala hanno mostrato una forte capacità di adattamento, spesso superando i modelli nativi vietnamiti non ottimizzati per task specifici.

5. Significato e Implicazioni

• Avanzamento del NLP a Bassa Risorsa: VietJobs colma un vuoto critico, fornendo una base solida per lo sviluppo di applicazioni NLP specifiche per il Vietnam, un mercato emergente con caratteristiche linguistiche uniche.
• Analisi del Mercato del Lavoro: Il dataset permette di studiare scientificamente le disuguaglianze, i bias (es. riferimenti a genere o età negli annunci) e le dinamiche salariali in un contesto in rapida evoluzione.
• Impatto sull'IA Applicata: Dimostra che modelli LLM instruction-tuned, specialmente quelli con una forte copertura multilingue o regionale (come Llama-SEA-LION e Qwen), sono strumenti efficaci per l'analisi automatizzata del mercato del lavoro, superando le limitazioni dei modelli puramente locali.
• Futuro della Ricerca: Il lavoro apre la strada a studi su modelli di generazione per la creazione di annunci, rilevamento di offerte di lavoro false, e analisi più approfondite delle competenze richieste, promuovendo un approccio etico e basato sui dati alle risorse umane in Asia Sud-orientale.

In sintesi, il paper non solo rilascia una risorsa dati fondamentale, ma valida l'efficacia delle moderne architetture LLM nell'interpretare e analizzare il complesso ecosistema del lavoro vietnamita, ponendo le basi per future ricerche interdisciplinari tra linguistica computazionale ed economia del lavoro.