When LLM meets Fuzzy-TOPSIS for Personnel Selection through Automated Profile Analysis

기술 요약: 자동화된 프로필 분석을 통한 인력 선발을 위한 LLM과 Fuzzy-TOPSIS의 결unan

문제 정의
본 논문은 특히 소프트웨어 엔지니어링 분야 내에서의 전통적인 인력 선발에 내재된 과제를 다룹다. 기존의 채용 방식은 주관적인 인간의 판단에 크게 의존하며, 이는 불일치, 편향 및 비효율성을 초래한다. 인공지능(AI)과 자연어 처리(NLP)가 발전했음에도 불구하고, 기존 솔루션들은 인간 평가의 본질적인 불확실성과 주관성을 충분히 고려하지 못하는 경우가 많다. 또한, 정교한 NLP 모델과 모호한 기준을 처리할 수 있는 강력한 의사결정 프레임워크를 통합하는 데에도 격차가 존재한다. 저자들은 포괄적인 후보자 분석과 일관되고 해석 가능하며 편향되지 않은 의사결정을 결합하여 채용 결과를 자동화하고 개선할 수 있는 지능형 시스템의 필요성을 식별하였다.

방법론
제안된 솔루션은 LLM과 Fuzzy 다기준 의사결정(MCDM)을 통합하는 LLM-TOPSIS라는 하이브리드 프레임워크이다. 방법론은 세 가지 주요 단계로 진행된다:

1. 데이터셋 구축 및 전문가 주석 달기:

   • 100개의 링크드인(LinkedIn) 소프트웨어 개발자 프로필로부터 경험(Experience), 기술(Skills), 교육(Education), 소개(About)의 네 가지 핵심 속성에 집중하여 데이터셋을 구축하였다.
   • 세 명의 시니어 업계 전문가가 표준화된 5점 리커트 척도(Likert scale)를 사용하여 각 프로파일을 평가하였으며, 이는 이후 Poor(미흡), Fair(보통), Excellent(우수)의 세 가지 숙련도 클래스로 매핑되었다.
   • 데이터 부족 및 클래스 불균형 문제를 해결하기 위해 패러프레이징(paraphrasing), 유의어 교체, 문맥적 확장을 사용하여 데이터셋을 증강하였으며, 그 결과 각 서브 데이터셋당 10,000개의 샘플을 확보하였다. 데이터는 랜덤 오버샘플링을 통해 균형을 맞추었다.

2. Transformer 기반 다중 클래스 분류:

   • DistilRoBERTa 모델을 미세 조정(fine-tuning)하여 각 후보자 속성에 대한 다중 클래스 분류를 수행하였다. DistilRoBERTa는 높은 성능을 유지하면서도 효율성(RoBERTa-base보다 40% 작고 60% 빠름)을 갖추고 있어 선택되었다.
   • 경량화된 증류 아키텍처를 평가하기 위해 RoBERTa-base 및 LastBERT와 비교 실험을 수행하였다.
   • 모델은 텍스트 입력을 바탕으로 숙련도 수준을 예측하여 안정적인 속성별 점수를 생성한다.

3. Fuzzy-TOPSIS 기반 순위 결정:

   • 속성 수준의 예측치를 최종 후보자 순위로 집계하기 위해 **Fuzzy Technique for Order of Preference by Similarity to Ideal Solution (Fuzzy TOPSIS)**를 적용하였다.
   • 전문가 판단의 불확실성과 주관성을 모델링하기 위해 **삼각 퍼지 수(Triangular Fuzzy Numbers, TFNs)**를 활용하였다. 언어적 표현(예: "매우 높음")은 TFN으로 매핑되었다.
   • 기준 가중치는 전문가에 의한 AHP(Analytic Hierarchy Process) 방식의 쌍체 비교를 통해 결정되었으며, 다음과 같은 가중치가 도출되었다: 기술(0.60), 경험(0.20), 교육(0.15), 소개(0.05).
   • 알고리즘은 각 후보자와 퍼지 양의 이상해(Fuzzy Positive Ideal Solution, FPIS) 및 퍼지 음의 이상해(Fuzzy Negative Ideal Solution, FNIS) 사이의 거리를 계산하여 순위를 위한 근접 계수를 도출한다.

주요 기여
본 논문은 다섯 가지 주요 기여를 설명한다:

• 데이터셋 생성: 전문가 평가가 포함된 링크드인 프로필로 구성된 독특한 데이터셋을 개발하였다.
• 하이브리드 프레임워크: (미세 조정된 DistilRoBERTa를 통한) LLM 생성 숙련도 점수와 Fuzzy TOPSIS를 통합하여 주관성과 불확실성을 명시적으로 해결하고 신뢰할 수 있는 순위를 생성하였다.
• 모델 검증: 실세계 배포에 적합한 경량화되고 확장 가능한 백본으로서 DistilRoBERTa의 체계적인 미세 조정 및 경험적 검증을 수행하였다.
• 높 높은 정확도: DistilRoBERTa가 경험 및 전체 속성에서 최대 91%의 정확도를 달성함으로써 모델 생성 순위와 전문가 판단 사이의 높은 일치도를 입증하였다.
• 확장 가능한 프레임워크: NLP와 퍼지 의사결정을 결합하여 일관된 인력 선발을 위한 해석 가능한 AI 기반 채용 프레임워크를 구축하였다.

결과

• 분류 성능: DistilRoBERTa 모델은 경험 및 전체 속성에서 91%, 기술 속성에서 **87%**의 전체 정확도를 달성하였다. "소개" 속성은 **99%**의 정확도를 기록하였다. 모델은 특히 "Poor"와 "Excellent" 범주에서 높은 정밀도(precision)와 재현율(recall)을 보였으나, "Fair" 범주에서는 일부 중첩이 관찰되었다.
• 절제 연구(Ablation Study): 데이터 증강과 미세 조정이 결정적이었음을 확인하였다. 증강되지 않은 데이터 기반의 베이스라인 모델은 성능이 저조했다(F1-score 0.16). Fuzzy-TOPSIS의 통합은 분류 정확도를 변경하지 않으면서 순위 지표(MAP가 0.93에서 0.99로 증가)를 개선하였다.
• 순위 일치도: LLM-Fuzzy TOPSIS 순위는 Human-TOPSIS 및 직접적인 인간 전문가 순위와 강력한 일치성을 보였다. 주요 지표는 다음과 같다:
  • 코사인 유사도(Cosine Similarity): 0.983 (LLM-Fuzzy TOPSIS) vs. 0.981 (Human-TOPSIS).
  • 평균 정밀도(MAP) 및 평균 역순위(MRR): 둘 다 0.99를 초과하였다.
  • RMSE: 0.043으로, 순위 편차에 대한 오류가 최소임을 나타낸다.
• 모델 비교: 제한된 데이터 조건에서 DistilRoBERTa와 LastBERT가 전체 RoBERTa-base 모델보다 F1-score 및 에러율 측면에서 우수한 성능을 보여, 증류된 아키텍처의 효용성을 입증하였다.

의의 및 주장
본 논문은 NLP와 퍼지 의사결정 방법을 결 결합하는 것이 채용 문제에 대해 확장 가능하고 투명하며 편향되지 않은 솔루션을 제공한다고 주장한다. 연구의 핵심 사항은 다음과 같다:

• 제안된 프레임워크는 통계적 일관성을 가지고 인간 전문가의 판단 패턴을 효과적으로 복제할 수 있다.
• 이 시스템은 Fuzzy TOPSIS 메커니즘을 통해 해석 가능한 의사결정 과정을 제공함으로써 일부 AI 채용 도구의 "블랙박스" 특성을 해결한다.
• 주관적인 인간 방법론에 대한 의존도를 낮추어 잠재적으로 편견을 최소화하고 효율성을 개선할 수 있다.
• 현재 연구는 소프트웨어 엔지니어링에 집중되어 있으나, 저자들은 이 프레임워크가 국방, 의료, 교육, 금융 등 불확실성 하의 복잡한 다기준 의사결정이 수반되는 다른 분야에도 적용될 가능성이 있다고 제안한다.

저자들은 현재 데이터셋이 소프트웨어 엔지니어링으로 제한되어 있으며 일반화 가능성을 높이기 위해 확장이 필요하다는 점을 언급하며, 향후 연구 방향에 대해 신중한 태도를 유지하고 있다. 향-후 작업은 데이터셋 증강, 모델 해석 가능성(예: SHAP 또는 LIME 사용) 강화, 그리고 실제 채용 현장에서의 시스템 검증에 중점을 둘 것임을 강조한다.