When LLM meets Fuzzy-TOPSIS for Personnel Selection through Automated Profile Analysis

Resumo Técnico: Quando o LLM encontra o Fuzzy-TOPSIS para Seleção de Pessoal através da Análise Automatizada de Perfis

Definição do Problema
O artigo aborda os desafios inerentes à seleção de pessoal tradicional, particularmente no setor de engenharia de software. Os métodos de recrutamento convencionais dependem fortemente do julgamento humano subjetivo, o que leva a inconsistências, vieses e ineficiências. Embora a Inteligência Artificial (IA) e o Processamento de Linguagem Natural (PLN) tenham avançado, as soluções existentes muitas vezes falham em considerar adequadamente a incerteza e a subjetividade inerentes às avaliações humanas. Além disso, há uma lacuna na integração de modelos sofisticados de PLN com estruturas de tomada de decisão robustas, capazes de lidar com critérios vagos. Os autores identificam a necessidade de um sistema inteligente que combine uma análise abrangente de candidatos com uma tomada de decisão consistente, interpretável e imparcial para automatizar e melhorar os resultados do recrutamento.

Metodologia
A solução proposta é um framework híbrido denominado LLM-TOPSIS, que integra Modelos de Linguagem de Grande Escala (LLMs) com a Tomada de Decisão Multicritério Difusa (Fuzzy MCDM). A metodologia procede através de três fases primárias:

1. Construção do Dataset e Anotação de Especialistas:

   • Um dataset foi construído a partir de 100 perfis do LinkedIn de desenvolvedores de software, focando em quatro atributos principais: Experiência, Habilidades, Educação e Sobre (autopresentação).
   • Três especialistas seniores do setor avaliaram cada perfil usando uma escala Likert de cinco pontos padronizada, que foi posteriormente mapeada para três classes de proficiência: Pobre, Regular e Excelente.
   • Para lidar com a escassez de dados e o desbalanceamento de classes, o dataset foi aumentado utilizando paráfrase, substituição de sinônimos e expansão contextual, resultando em 10.000 amostras por sub-dataset. Os dados foram balanceados usando sobreamostragem aleatória (random oversampling).

2. Classificação Multiclasse Baseada em Transformer:

   • O modelo DistilRoBERTa foi ajustado (fine-tuned) para realizar a classificação multiclasse para cada atributo do candidato. O DistilRoBERTa foi escolhido por sua eficiência (40% menor e 60% mais rápido que o RoBERTa-base) mantendo um alto desempenho.
   • Experimentos comparativos foram conduzidos com RoBERba-base e LastBERT para avaliar arquiteturas destiladas leves.
   • Os modelos preveem níveis de proficiência com base em entradas textuais, gerando pontuações estáveis por aspecto.

3. Ranking Baseado em Fuzzy-TOPSIS:

   • Para agregar as previsões de nível de atributo em um ranking final de candidatos, aplicou-se a Técnica Fuzzy para Ordenação de Preferência por Similaridade à Solução Ideal (Fuzzy TOPSIS).
   • Números Difusos Triangulares (TFNs) foram utilizados para modelar a incerteza e a subjetividade dos julgamentos dos especialistas. Termos linguísticos (ex: "Muito Alto") foram mapeados para TFNs.
   • Os pesos dos critérios foram determinados via comparação par a par inspirada no Processo de Hierarquia Analítica (AHP) por especialistas, resultando nos seguintes pesos: Habilidades (0,60), Experiência (0,20), Educação (0,15) e Sobre (0,05).
   • O algoritmo calcula a distância de cada candidato da Solução Ideal Positiva Difusa (FPIS) e da Solução Negativa Ideal Difusa (FNIS) para derivar um coeficiente de proximidade para o ranking.

Principais Contribuições
O artigo delineia cinco contribuições primárias:

• Criação de Dataset: Desenvolvimento de um dataset único composto por perfis do LinkedIn aumentados com avaliações de especialistas em múltiplos atributos.
• Framework Híbrido: Integração de pontuações de proficiência geradas por LLM (via DistilRoBERTa ajustado) com Fuzzy TOPSIS para abordar explicitamente a subjetividade e a incerteza, produzindo rankings confiáveis.
• Validação do Modelo: Validação sistemática e empírica do DistilRoBERTa como um backbone leve e escalável adequado para implantação no mundo real.
• Alta Precisão: Demonstração de alta concordância entre os rankings gerados pelo modelo e os julgamentos dos especialistas, com o DistilRoBERTa atingindo até 91% de precisão nos atributos de Experiência e Geral.
• Framework Escalável: Estabelecimento de um framework de recrutamento impulsionado por IA interpretável que funde PLN com tomada de decisão difusa para uma seleção de pessoal consistente.

Resultos

• Desempenho de Classificação: O modelo DistilRoBERTa alcançou uma precisão geral de 91% para os atributos de Experiência e Geral, e 87% para Habilidades. O atributo "Sobre" alcançou 99% de precisão. O modelo demonstrou alta precisão e recall, particularmente nas categorias "Pobre" e "Excelente", embora alguma sobreposição tenha sido observada na categoria "Regular".
• Estudo de Ablação: O estudo confirmou que o aumento de dados e o ajuste fino foram críticos, pois o modelo base em dados não aumentados teve um desempenho ruim (F1-score de 0,16). A integração do Fuzzy-TOPSIS melhorou as métricas de ranking (MAP aumentou de 0,93 para 0,99) sem alterar a precisão da classificação.
• Alinhamento de Ranking: Os rankings do LLM-Fuzzy TOPSIS mostraram forte alinhamento com o Human-TOPSIS e o ranking direto do Especialista Humano. As principais métricas incluíram:
  • Similaridade de Cosseno: 0,983 (LLM-Fuzzy TOPSIS) vs. 0,981 (Human-TOPSIS).
  • Precisão Média (MAP) e Posto Recíproco Médio (MRR): Ambos excederam 0,99.
  • RMSE: 0,043, indicando desvio mínimo de erro no ranking.
• Comparação de Modelos: DistilRoBERTa e LastBERT superaram o modelo RoBERTa-base completo em termos de F1-score e taxa de erro sob condições de dados limitados, validando a eficácia das arquiteturas destiladas.

Significância e Alegações
O artigo afirma que a fusão de PLN com métodos de tomada de decisão difusa oferece uma solução escalável, transparente e imparcial para as dificuldades de recrutamento. O estudo destaca que:

• O framework proposto pode replicar efetivamente os padrões de julgamento de especialistas humanos com consistência estatística.
• Ele aborda a natureza de "caixa preta" de algumas ferramentas de recrutamento por IA ao fornecer um processo de decisão interpretável através do mecanismo Fuzzy TOPSIS.
• O sistema reduz a dependência de metodologias humanas subjetivas, potencialmente minimizando o preconceito e melhorando a eficiência.
• Embora o estudo atual se concentre em engenharia de software, os autores sugerem que o framework tem potencial de aplicabilidade em outros setores que envolvem decisões multicritério complexas sob incerteza, como defesa, saúde, educação e finanças.

Os autores mantêm um tom modesto quanto às implicações futuras, observando que o dataset atual é limitado à engenharia de software e requer expansão para maior generalização. Eles enfatizam que o trabalho futuro focará no aumento do dataset, no aprimoramento da interpretabilidade do modelo (ex: usando SHAP ou LIME) e na verificação do sistema em cenários reais de recrutamento.