Building a Custom Taxonomy of AI Skills and Tasks from the Ground Up with Job Postings

Resumen Técnico: Construcción de una Taxonomía Personalizada de Habilidades y Tareas de IA desde Cero con Ofertas de Empleo

Planteamiento del Problema
La rápida evolución del mercado laboral, particularmente en lo referente a la Inteligencia Artificial (IA), hace necesaria la creación de taxonomías abiertas y granulares para rastrear los cambios en habilidades y tareas. Aunque existen taxonomías propietarias, a menudo adolecen de restricciones en el acceso a los datos y de una falta de estandarización, lo que limita su utilidad para bienes públicos como el desarrollo de la fuerza laboral y el diseño educativo. Si bien los Modelos de Lenguaje Grande (LLM) ofrecen una vía para automatizar la construcción de taxonomías a partir de corpus textuales masivos (por ejemplo, ofertas de empleo), persiste una brecha crítica en la comprensión de cómo aprovechar mejor dichos datos a gran escala. Específicamente, no está claro si incluir más datos (mediante aumento) o filtrar los datos estrictamente produce una cobertura y claridad específicas del dominio superiores. Trabajos anteriores se han centrado en conjuntos de datos más pequeños o han dependido de taxonomías semilla, dejando sin explorar la evaluación sistemática de los parámetros de diseño para corpus masivos y no estructurados.

Metodología: TAXONOMYBUILDER
Los autores proponen TAXONOMYBUILDER, una pipeline sistemática diseñada para transformar texto de ofertas de empleo a gran escala y no estructurado en taxonomías jerárquicas. El método opera en tres etapas principales:

1. Configuración y Minería de Contexto:

   • Extracción de Candidatos: El sistema realiza una búsqueda basada en palabras clave utilizando una lista curada de 590 palabras clave relacionadas con la IA para extraer oraciones candidatas de corpus masivos de ofertas de empleo.
   • Puntuación y Filtrado: Para mitigar los falsos positivos (por ejemplo, "torch" como herramienta de soldadura frente a una biblioteca), los candidatos se puntúan mediante un método híbrido basado en la similitud coseno entre las incrustaciones de las oraciones y las incrustaciones de las palabras clave. Se promedian tres modelos de incrustación (ALL-MINILM-L12-V2, GTE-LARGE, EMBEDDINGGEMMA-300M) para garantizar estabilidad.
   • Variables de Configuración: El estudio investiga tres decisiones clave de diseño:
     • Aumento de Datos: Añadir oraciones semánticamente similares del corpus al conjunto de candidatos (umbral > 0.9).
     • Filtrado por Percentil: Retener únicamente el percentil superior 25, 50 o 75 de los candidatos puntuados para reducir el ruido.
     • Agrupación Suave: Reasignar puntos de "ruido" (aquellos que no encajan en un clúster) al centroide del clúster más cercano.

2. Formación de la Base (Nivel Hoja):

   • Agrupación: Las oraciones candidatas se agrupan utilizando HDBSCAN (con reducción de dimensionalidad UMAP a 10 dimensiones).
   • Etiquetado Generativo: Un LLM (GPT-4o-mini) genera etiquetas concisas para cada clúster, resumiendo las oraciones candidatas.
   • Poda: Las etiquetas generadas pasan por una verificación basada en similitud; las etiquetas muy similares (similitud coseno > 0.95) se agregan para eliminar redundancias.

3. Construcción Ascendente (Construcción Jerárquica):

   • El proceso itera verticalmente: las etiquetas del nivel actual sirven como entrada para el siguiente nivel de agrupación y etiquetado.
   • El proceso se detiene cuando el número de etiquetas cae por debajo de un umbral (predeterminado 10) o se alcanza una profundidad máxima (predeterminada 5).

Conjuntos de Datos
La pipeline se evaluó en dos grandes corpus de ofertas de empleo de EE. UU.:

• NLx: 32.12 millones de ofertas de empleo de 2024–2025.
• USAJOBS: 1.54 millones de ofertas de empleo federales de 2017–2023.
  Una porción de los datos más recientes de cada corpus se reservó como conjunto de prueba para la evaluación de validez externa.

Métricas de Evaluación
Los autores emplearon una estrategia de evaluación multifacética en 24 configuraciones experimentales (12 por conjunto de datos):

• Calidad de la Agrupación: Puntuación de silueta para medir la definición del clúster.
• LLM como Juez: Un LLM (GPT-5.4-Nano) evaluó las taxonomías en cuatro categorías: Claridad (precisión, ambigüedad, consistencia, accesibilidad), Coherencia Jerárquica, Ortogonalidad (distintividad, no superposición) y Completitud (cobertura, profundidad, equilibrio).
• Cobertura del Dominio: Medida por la capacidad de las etiquetas de la taxonomía resultante para clasificar oraciones de ofertas de empleo retenidas como relacionadas con la IA. Esto incluyó tasas de cobertura "Laxa" (al menos un LLM está de acuerdo) y "Estricta" (ambos LLMs están de acuerdo) en varios umbrales de similitud ($\tau$), junto con una métrica de "Utilización de Etiquetas".

Resultados Clave
Los resultados experimentales, analizados mediante ANOVA factorial, revelan un hallazgo contra intuitivo: "Menos es más".

• Aumento de Datos: Contrario a la intuición de que más datos mejoran la cobertura, el aumento de datos redujo significativamente las tasas de cobertura estricta y la utilización de etiquetas. Introdujo ruido que degradó la calidad de la taxonomía resultante.
• Filtrado: Un filtrado más estricto (percentiles más altos, por ejemplo, mantener solo el percentil superior 25 o 50 de las puntuaciones) generalmente mejoró el ajuste del clúster, la ortogonalidad y la utilización de etiquetas.
• Agrupación Suave: La agrupación suave (reasignación de puntos de ruido) fue beneficiosa solo cuando no se utilizó aumento de datos. Cuando se combinó con aumento, no produjo mejoras significativas.
• Compensaciones: El estudio identificó una relación inversa entre la inclusión de datos y el rendimiento de la cobertura dependiendo de la estrictitud del umbral de evaluación. Mientras que taxonomías más grandes y ruidosas (filtrado bajo) funcionaron mejor en umbrales de similitud muy altos (por ejemplo, $\tau=0.9$), taxonomías más concisas y filtradas las superaron en umbrales más bajos (por ejemplo, $\tau=0.6$) debido a conceptos mejor definidos.

Contribuciones y Significado
El artículo presenta cuatro contribuciones principales:

1. Investigación Sistemática: Aborda la pregunta inexplorada sobre el uso óptimo de datos (aumento frente a filtrado) en la construcción automatizada de taxonomías para dominios masivos.
2. TAXONOMYBUILDER: Introduce una pipeline generalizable y de código abierto para construir taxonomías jerárquicas a partir de texto no estructurado, demostrada en el dominio complejo de las habilidades laborales en IA.
3. Evidencia Empírica: Proporciona recomendaciones claras de que un aumento cuidadoso, una agrupación estricta y un filtrado selectivo producen taxonomías más completas y concisas que la inclusión de datos sin restricciones.
4. Recursos Abiertos: Los autores publican las taxonomías de habilidades en IA construidas y la herramienta TAXONOMYBUILDER (disponible como paquete de Python y en GitHub) para apoyar la investigación futura y el desarrollo de la fuerza laboral.

Conclusión
Los autores concluyen que, si bien los corpus de datos masivos ofrecen una base fértil para la construcción de taxonomías, la inclusión indiscriminada de datos puede ser perjudicial. El estudio aboga por una filosofía de "menos es más", donde el filtrado selectivo y el manejo cuidadoso del ruido son esenciales para crear taxonomías de alta calidad, interpretables y relevantes para el dominio. El trabajo advierte que estos hallazgos son específicos del caso y que la investigación futura debe continuar explorando las compensaciones de diseño y formalizar las métricas de evaluación para la generalizabilidad en el mundo real.