When LLM meets Fuzzy-TOPSIS for Personnel Selection through Automated Profile Analysis

Resumen Técnico: Cuando el LLM se encuentra con Fuzzy-TOPSIS para la Selección de Personal mediante el Análisis Automatizado de Perfiles

Planteamiento del Problema
El artículo aborda los desafíos inherentes a la selección de personal tradicional, particularmente dentro del sector de la ingeniería de software. Los métodos de reclutamiento convencionales dependen en gran medida del juicio subjetivo humano, lo que genera inconsistencias, sesgos e ineficiencias. Si bien la Inteligencia Artificial (IA) y el Procesamiento de Lenguaje Natural (NLP) han avanzado, las soluciones existentes a menudo fallan al no considerar adecuadamente la incertidumbre y la subjetividad inherentes en las evaluaciones humanas. Además, existe una brecha en la integración de modelos sofisticados de NLP con marcos de toma de decisiones robustos capaces de manejar criterios vagos. Los autores identifican la necesidad de un sistema inteligente que combine un análisis exhaustivo de los candidatos con una toma de decisiones consistente, interpretable y sin sesgos para automatizar y mejorar los resultados del reclutamiento.

Metodología
La solución propuesta es un marco híbrido denominado LLM-TOPSIS, que integra Modelos de Lenguaje de Gran Escala (LLMs) con la Toma de Decisiones Multicriterio Difusa (Fuzzy MCDM). La metodología se desarrolla a través de tres fases primarias:

1. Construcción del Conjunto de Datos y Anotación de Expertos:

   • Se construyó un conjunto de datos a partir de 100 perfiles de LinkedIn de desarrolladores de software, centrándose en cuatro atributos clave: Experiencia, Habilidades, Educación y Acerca de (presentación personal).
   • Tres expertos sénior de la industria evaluaron cada perfil utilizando una escala de Likert estandarizada de cinco puntos, que posteriormente se mapeó a tres clases de competencia: Deficiente, Aceptable y Excelente.
   • Para abordar la escasez de datos y el desequilibrio de clases, el conjunto de datos se aumentó mediante el parafraseo, la sustitución de sinónimos y la expansión contextual, resultando en 10,000 muestras por subconjunto de datos. Los datos se equilibraron mediante sobremuestreo aleatorio.

2. Clasificación Multiclase Basada en Transformers:

   • El modelo DistilRoBERTa fue ajustado (fine-tuned) para realizar una clasificación multiclase para cada atributo del candidato. Se eligió DistilRoBERTa por su eficiencia (40% más pequeño y 60% más rápido que RoBERTa-base) manteniendo un alto rendimiento.
   • Se realizaron experimentos comparativos con RoBERTa-base y LastBERT para evaluar arquitecturas destiladas ligeras.
   • Los modelos predicen los niveles de competencia basados en entradas textuales, generando puntuaciones estables por cada aspecto.

3. Ranking Basado en Fuzzy-TOPSIS:

   • Para agregar las predicciones a nivel de atributo en un ranking final de candidatos, se aplicó la Técnica de Orden de Preferencia por Similitud a la Solución Ideal Difusa (Fuzzy TOPSIS).
   • Se utilizaron Números Difusos Triangulares (TFNs) para modelar la incertidumbre y la subjetividad de los juicios de los expertos. Los términos lingüísticos (por ejemplo, "Muy Alto") se mapearon a TFNs.
   • Los pesos de los criterios se determinaron mediante una comparación por pares inspirada en el Proceso de Jerarquía Analítica (AHP) por parte de los expertos, resultando en los siguientes pesos: Habilidades (0.60), Experiencia (0.20), Educación (0.15) y Acerca de (0.05).
   • El algoritmo calcula la distancia de cada candidato respecto a la Solución Ideal Positiva Difusa (FPIS) y la Solución Ideal Negativa Difusa (FNIS) para derivar un coeficiente de cercanía para el ranking.

Contribuciones Clave
El artículo describe cinco contribuciones primarias:

• Creación de Conjunto de Datos: Desarrollo de un conjunto de datos único que comprende perfiles de LinkedIn aumentados con evaluaciones de expertos a través de múltiples atributos.
• Marco Híbrido: Integración de puntuaciones de competencia generadas por LLM (vía DistilRoBERTa ajustado) con Fuzzy TOPSIS para abordar explícitamente la subjetividad y la incertidumbre, produciendo rankings fiables.
• Validación del Modelo: Validación empírica y ajuste sistemático de DistilRoBERTa como un núcleo ligero y escalable adecuado para el despliegue en el mundo real.
• Alta Precisión: Demostración de una alta concordancia entre los rankings generados por el modelo y los juicios de los expertos, con DistilRoBERTa alcanzando hasta un 91% de precisión en los atributos de Experiencia y General.
• Marco Escalable: Establecimiento de un marco de reclutamiento impulsado por IA interpretable que fusiona NLP con la toma de decisiones difusa para una selección de personal consistente.

Resultos

• Desempeño de Clasificación: El modelo DistilRoBERTa logró una precisión general del 91% para los atributos de Experiencia y General, y del 87% para Habilidades. El atributo "Acerca de" alcanzó un 99% de precisión. El modelo demostró alta precisión y exhaustividad (recall), particularmente en las categorías "Deficiente" y "Excelente", aunque se observó cierto solapamiento en la categoría "Aceptable".
• Estudio de Ablación: El estudio confirmó que el aumento de datos y el ajuste fino fueron críticos, ya que el modelo base sobre datos no aumentados tuvo un desempeño pobre (F1-score de 0.16). La integración de Fuzzy-TOPSIS mejoró las métricas de ranking (el MAP aumentó de 0.93 a 0.99) sin alterar la precisión de la clasificación.
• Alineación de Rankings: Los rankings de LLM-Fuzzy TOPSIS mostraron una fuerte alineación con Human-TOPSIS y los rankings directos de Expertos Humanos. Las métricas clave incluyeron:
  • Similitud de Coseno: 0.983 (LLM-Fuzzy TOPSIS) vs. 0.981 (Human-TOPSIS).
  • Precisión Media Promedio (MAP) y Rango Recíproco Medio (MRR): Ambos superaron el 0.99.
  • RMSE: 0.043, lo que indica una desviación mínima en el error de ranking.
• Comparación de Modelos: DistilRoBERTa y LastBERT superaron al modelo completo RoBERta-base en términos de F1-score y tasa de error bajo condiciones de datos limitados, validando la eficacia de las arquitecturas destiladas.

Significancia y Reivindicaciones
El artículo sostiene que fusionar el NLP con métodos de decisión difusa ofrece una solución escalable, transparente e imparcial para las dificultades del reclutamiento. El estudio destaca que:

• El marco propuesto puede replicar eficazmente los patrones de juicio de los expertos humanos con consistencia estadística.
• Aborda la naturaleza de "caja negra" de algunas herramientas de reclutamiento de IA al proporcionar un proceso de decisión interpretable a través del mecanismo Fuzzy TOPSIS.
• El sistema reduce la dependencia de metodologías humanas subjetivas, potencialmente minimizando el prejuicio y mejorando la eficiencia.
• Aunque el estudio actual se centra en la ingeniería de software, los autores sugieren que el marco tiene potencial de aplicabilidad en otros sectores que involucren decisiones multicriterio complejas bajo incertidumbre, como la defensa, la salud, la educación y las finanzas.

Los autores mantienen un tono modesto respecto a las implicaciones futuras, señalando que el conjunto de datos actual está limitado a la ingeniería de software y requiere expansión para una mayor generalizabilidad. Enfatizan que el trabajo futuro se centrará en aumentar el conjunto de datos, mejorar la interpretabilidad del modelo (por ejemplo, usando SHAP o LIME) y verificar el sistema en escenarios de reclutamiento reales.