Building a Custom Taxonomy of AI Skills and Tasks from the Ground Up with Job Postings

Riepilogo Tecnico: Costruire una Tassonomia Personalizzata di Competenze e Compiti dell'IA dal Basso verso l'Alto tramite Annunci di Lavoro

Dichiarazione del Problema
L'evoluzione rapida del mercato del lavoro, in particolare per quanto riguarda l'Intelligenza Artificiale (IA), rende necessaria la creazione di tassonomie aperte e granulari per tracciare i cambiamenti nelle competenze e nei compiti. Sebbene esistano tassonomie proprietarie, queste soffrono spesso di restrizioni nell'accesso ai dati e di una mancanza di standardizzazione, limitando la loro utilità per beni pubblici come lo sviluppo della forza lavoro e la progettazione educativa. Sebbene i Modelli Linguistici di Grandi Dimensioni (LLM) offrano una via per automatizzare la costruzione di tassonomie a partire da massicci corpora testuali (ad esempio, annunci di lavoro), persiste un divario critico nella comprensione di come sfruttare al meglio tali dati su larga scala. Nello specifico, non è chiaro se includere più dati (tramite augmentation) o filtrare i dati in modo rigoroso produca una copertura e una chiarezza migliori per domini specifici. I lavori precedenti si sono concentrati su dataset più piccoli o si sono basati su tassonomie iniziali (seed), lasciando inesplorata la valutazione sistematica dei parametri di progettazione per corpora massicci e non strutturati.

Metodologia: TAXONOMYBUILDER
Gli autori propongono TAXONOMYBUILDER, una pipeline sistematica progettata per trasformare testi non strutturati su larga scala di annunci di lavoro in tassonomie gerarchiche. Il metodo opera in tre fasi principali:

1. Setup e Miniera del Contesto:

   • Estrazione dei Candidati: Il sistema esegue una ricerca basata su parole chiave utilizzando un elenco curato di 590 parole chiave relative all'IA per estrarre frasi candidate da massicci corpora di annunci di lavoro.
   • Punteggio e Filtraggio: Per mitigare i falsi positivi (ad esempio, "torch" come strumento per saldatura rispetto a una libreria), i candidati vengono valutati utilizzando un metodo ibrido basato sulla similarità coseno tra gli embedding delle frasi e gli embedding delle parole chiave. Tre modelli di embedding (ALL-MINILM-L12-V2, GTE-LARGE, EMBEDDINGGEMMA-300M) vengono mediati per garantire stabilità.
   • Variabili di Configurazione: Lo studio indaga tre decisioni chiave di progettazione:
     • Data Augmentation: Aggiunta di frasi semanticamente simili dal corpus al set di candidati (soglia > 0.9).
     • Filtraggio per Percentili: Mantenimento solo del top 25°, 50° o 75° percentile dei candidati valutati per ridurre il rumore.
     • Clustering Soft: Riassegnazione dei punti "rumorosi" (quelli che non rientrano in un cluster) al centroide del cluster più vicino.

2. Formazione della Base (Livello Foglia):

   • Clustering: Le frasi candidate vengono raggruppate utilizzando HDBSCAN (con riduzione della dimensionalità UMAP a 10 dimensioni).
   • Etichettatura Generativa: Un LLM (GPT-4o-mini) genera etichette concise per ogni cluster, riassumendo le frasi candidate.
   • Potatura: Le etichette generate subiscono un controllo basato sulla similarità; etichette altamente simili (similarità coseno > 0.95) vengono aggregate per rimuovere la ridondanza.

3. Costruzione verso l'Alto (Costruzione Gerarchica):

   • Il processo itera verticalmente: le etichette del livello corrente servono come input per il successivo livello di clustering ed etichettatura.
   • Il processo si arresta quando il numero di etichette scende sotto una soglia (predefinita 10) o quando viene raggiunta una profondità massima (predefinita 5).

Dataset
La pipeline è stata valutata su due grandi corpora di annunci di lavoro statunitensi:

• NLx: 32,12 milioni di annunci di lavoro dal 2024 al 2025.
• USAJOBS: 1,54 milioni di annunci di lavoro federali dal 2017 al 2023.
  Una porzione dei dati più recenti di ciascun corpus è stata mantenuta come set di test per la valutazione della validità esterna.

Metriche di Valutazione
Gli autori hanno adottato una strategia di valutazione multifacciale su 24 configurazioni sperimentali (12 per dataset):

• Qualità del Clustering: Punteggio Silhouette per misurare la definizione del cluster.
• LLM-as-a-Judge: Un LLM (GPT-5.4-Nano) ha valutato le tassonomie su quattro categorie: Chiarezza (precisione, ambiguità, coerenza, accessibilità), Coerenza Gerarchica, Ortogonalità (distintività, non sovrapposizione) e Completezza (copertura, profondità, equilibrio).
• Copertura del Dominio: Misurata dalla capacità delle etichette della tassonomia risultante di classificare frasi di lavoro tenute fuori come relative all'IA. Ciò includeva tassi di copertura "Lassisti" (almeno un LLM concorda) e "Rigorosi" (entrambi gli LLM concordano) a varie soglie di similarità ($\tau$), insieme a una metrica di "Utilizzo delle Etichette".

Risultati Chiave
I risultati sperimentali, analizzati tramite ANOVA fattoriale, rivelano una scoperta controintuitiva: "Meno è di più."

• Data Augmentation: Contrariamente all'intuizione secondo cui più dati migliorano la copertura, l'augmentation dei dati ha ridotto significativamente i tassi di copertura rigorosa e l'utilizzo delle etichette. Ha introdotto rumore che ha degradato la qualità della tassonomia risultante.
• Filtraggio: Un filtraggio più rigoroso (percentili più alti, ad esempio, mantenere solo il top 25° o 50° percentile dei punteggi) ha generalmente migliorato l'adattamento del cluster, l'ortogonalità e l'utilizzo delle etichette.
• Clustering Soft: Il clustering soft (riassegnazione dei punti rumorosi) è stato benefico solo quando l'augmentation dei dati non è stata utilizzata. Se combinato con l'augmentation, non ha prodotto miglioramenti significativi.
• Trade-off: Lo studio ha identificato una relazione inversa tra inclusione dei dati e prestazioni di copertura a seconda della rigidità della soglia di valutazione. Mentre tassonomie più grandi e rumorose (basso filtraggio) hanno ottenuto risultati migliori a soglie di similarità molto elevate (ad esempio, $\tau=0.9$), tassonomie più concise e filtrate le hanno superate a soglie più basse (ad esempio, $\tau=0.6$) grazie a concetti meglio definiti.

Contributi e Significato
Il paper apporta quattro contributi principali:

1. Indagine Sistematica: Affronta la questione inesplorata dell'uso ottimale dei dati (augmentation vs. filtraggio) nella costruzione automatizzata di tassonomie per domini massicci.
2. TAXONOMYBUILDER: Introduce una pipeline generalizzabile e open-source per costruire tassonomie gerarchiche da testo non strutturato, dimostrata sul complesso dominio delle competenze lavorative nell'IA.
3. Evidenza Empirica: Fornisce raccomandazioni chiare secondo cui un'attenta augmentation, un clustering rigoroso e un filtraggio selettivo producono tassonomie più complete ma concise rispetto all'inclusione indiscriminata dei dati.
4. Risorse Aperte: Gli autori rilasciano le tassonomie delle competenze nell'IA costruite e lo strumento TAXONOMYBUILDER (disponibile come pacchetto Python e su GitHub) per supportare ulteriori ricerche e lo sviluppo della forza lavoro.

Conclusione
Gli autori concludono che, sebbene i massicci corpora di dati offrano una base fertile per la costruzione di tassonomie, l'inclusione indiscriminata dei dati può essere dannosa. Lo studio sostiene una filosofia del "meno è di più", in cui il filtraggio selettivo e la gestione attenta del rumore sono essenziali per creare tassonomie di alta qualità, interpretabili e pertinenti al dominio. Il lavoro avverte che questi risultati sono specifici del caso e che la ricerca futura dovrebbe continuare a esplorare i trade-off di progettazione e formalizzare le metriche di valutazione per la generalizzabilità nel mondo reale.