Building a Custom Taxonomy of AI Skills and Tasks from the Ground Up with Job Postings

Resumo Técnico: Construindo uma Taxonomia Personalizada de Habilidades e Tarefas de IA do Zero com Anúncios de Emprego

Declaração do Problema
A evolução rápida do mercado de trabalho, particularmente no que diz respeito à Inteligência Artificial (IA), torna necessária a criação de taxonomias abertas e granulares para rastrear mudanças em habilidades e tarefas. Embora taxonomias proprietárias existam, elas frequentemente sofrem com restrições de acesso a dados e falta de padronização, limitando sua utilidade para bens públicos, como desenvolvimento da força de trabalho e design educacional. Embora os Modelos de Linguagem de Grande Escala (LLMs) ofereçam um caminho para automatizar a construção de taxonomias a partir de corpora textuais massivos (por exemplo, anúncios de emprego), uma lacuna crítica permanece na compreensão de como aproveitar melhor esses dados em grande escala. Especificamente, não está claro se incluir mais dados (via augmentação) ou filtrar dados estritamente resulta em melhor cobertura e clareza específicas do domínio. Trabalhos anteriores focaram em conjuntos de dados menores ou confiaram em taxonomias de semente, deixando a avaliação sistemática de parâmetros de design para corpora massivos e não estruturados inexplorada.

Metodologia: TAXONOMYBUILDER
Os autores propõem o TAXONOMYBUILDER, um pipeline sistemático projetado para transformar texto não estruturado de anúncios de emprego em grande escala em taxonomias hierárquicas. O método opera em três etapas principais:

1. Configuração e Mineração de Contexto:

   • Extração de Candidatos: O sistema realiza uma busca baseada em palavras-chave usando uma lista curada de 590 palavras-chave relacionadas à IA para extrair frases candidatas de corpora massivos de anúncios de emprego.
   • Pontuação e Filtragem: Para mitigar falsos positivos (por exemplo, "torch" como ferramenta de soldagem versus uma biblioteca), os candidatos são pontuados usando um método híbrido baseado na similaridade de cosseno entre embeddings de frases e embeddings de palavras-chave. Três modelos de embedding (ALL-MINILM-L12-V2, GTE-LARGE, EMBEDDINGGEMMA-300M) são mediados para estabilidade.
   • Variáveis de Configuração: O estudo investiga três decisões de design chave:
     • Augmentação de Dados: Adicionar frases semanticamente similares do corpus ao conjunto de candidatos (limiar > 0,9).
     • Filtragem por Percentil: Retendo apenas o percentil superior 25º, 50º ou 75º dos candidatos pontuados para reduzir ruído.
     • Agrupamento Suave (Soft Clustering): Reatribuir pontos de "ruído" (aqueles que não se encaixam em um agrupamento) ao centróide do agrupamento mais próximo.

2. Formando a Fundação (Nível Folha):

   • Agrupamento: Frases candidatas são agrupadas usando HDBSCAN (com redução de dimensionalidade UMAP para 10 dimensões).
   • Rotulagem Generativa: Um LLM (GPT-4o-mini) gera rótulos concisos para cada agrupamento, resumindo as frases candidatas.
   • Poda: Rótulos gerados passam por uma verificação baseada em similaridade; rótulos altamente similares (similaridade de cosseno > 0,95) são agregados para remover redundância.

3. Construindo para Cima (Construção Hierárquica):

   • O processo itera verticalmente: os rótulos do nível atual servem como entrada para o próximo nível de agrupamento e rotulagem.
   • O processo para quando o número de rótulos cai abaixo de um limiar (padrão 10) ou uma profundidade máxima (padrão 5) é alcançada.

Conjuntos de Dados
O pipeline foi avaliado em dois grandes corpora de anúncios de emprego dos EUA:

• NLx: 32,12 milhões de anúncios de emprego de 2024–2025.
• USAJOBS: 1,54 milhão de anúncios de emprego federais de 2017–2023.
  Uma porção dos dados mais recentes de cada corpus foi mantida de lado como conjunto de teste para avaliação de validade externa.

Métricas de Avaliação
Os autores empregaram uma estratégia de avaliação multifacetada em 24 configurações experimentais (12 por conjunto de dados):

• Qualidade de Agrupamento: Pontuação de silhueta para medir a definição do agrupamento.
• LLM como Juiz: Um LLM (GPT-5.4-Nano) avaliou as taxonomias em quatro categorias: Clareza (precisão, ambiguidade, consistência, acessibilidade), Coerência Hierárquica, Ortogonalidade (distintividade, não sobreposição) e Completude (cobertura, profundidade, equilíbrio).
• Cobertura do Domínio: Medida pela capacidade dos rótulos da taxonomia resultante de classificar frases de emprego mantidas de lado como relacionadas à IA. Isso incluiu taxas de cobertura "Laxista" (pelo menos um LLM concorda) e "Estrita" (ambos os LLMs concordam) em vários limiares de similaridade ($\tau$), juntamente com uma métrica de "Utilização de Rótulo".

Resultados Chave
Os resultados experimentais, analisados via ANOVA fatorial, revelam uma descoberta contra-intuitiva: "Menos é mais."

• Augmentação de Dados: Contrariamente à intuição de que mais dados melhoram a cobertura, a augmentação de dados reduziu significativamente as taxas de cobertura estrita e a utilização de rótulos. Introduziu ruído que degradou a qualidade da taxonomia resultante.
• Filtragem: Filtragem mais estrita (percentis mais altos, por exemplo, mantendo apenas o percentil superior 25º ou 50º das pontuações) geralmente melhorou o ajuste do agrupamento, a ortogonalidade e a utilização de rótulos.
• Agrupamento Suave: O agrupamento suave (reatribuição de pontos de ruído) foi benéfico apenas quando a augmentação de dados não foi utilizada. Quando combinado com augmentação, não produziu melhorias significativas.
• Compensações: O estudo identificou uma relação inversa entre inclusão de dados e desempenho de cobertura dependendo da estricteza do limiar de avaliação. Enquanto taxonomias maiores e mais ruidosas (baixa filtragem) performaram melhor em limiares de similaridade muito altos (por exemplo, $\tau=0,9$), taxonomias mais concisas e filtradas as superaram em limiares mais baixos (por exemplo, $\tau=0,6$) devido a conceitos melhor definidos.

Contribuições e Significado
O artigo faz quatro contribuições principais:

1. Investigação Sistemática: Aborda a questão inexplorada do uso ótimo de dados (augmentação versus filtragem) na construção automatizada de taxonomias para domínios massivos.
2. TAXONOMYBUILDER: Introduz um pipeline generalizável e de código aberto para construir taxonomias hierárquicas a partir de texto não estruturado, demonstrado no domínio complexo de habilidades de trabalho em IA.
3. Evidência Empírica: Fornece recomendações claras de que augmentação cuidadosa, agrupamento estrito e filtragem seletiva produzem taxonomias mais abrangentes, porém concisas, do que a inclusão desenfreada de dados.
4. Recursos Abertos: Os autores liberam as taxonomias de habilidades de IA construídas e a ferramenta TAXONOMYBUILDER (disponível como um pacote Python e no GitHub) para apoiar pesquisas futuras e desenvolvimento da força de trabalho.

Conclusão
Os autores concluem que, embora corpora de dados massivos ofereçam uma fundação fértil para a construção de taxonomias, a inclusão indiscriminada de dados pode ser prejudicial. O estudo defende uma filosofia de "menos é mais", onde a filtragem seletiva e o manuseio cuidadoso de ruído são essenciais para criar taxonomias de alta qualidade, interpretáveis e relevantes para o domínio. O trabalho alerta que essas descobertas são específicas do caso e que pesquisas futuras devem continuar a explorar compensações de design e formalizar métricas de avaliação para generalizabilidade no mundo real.