Explainable Machine Learning for Detecting Fraudulent Online Job Postings in Ghana: A SHAP-Based Approach

기술 요약: 가나의 온라인 구인 광고 사기 탐지를 위한 설명 가능한 머신러닝

문제 정의
고용 사기, 특히 온라인 구인 광고를 통한 사기는 가짜 광고, 선입금 요구, 데이터 수집 등을 통해 구직자를 착취하는 기만적 행위로 특징지어지는 가나의 심각한 사회적 문제입니다. 수동 모니터링이나 정기적인 감사와 같은 전통적인 탐지 방식은 사후 대응적이며 노동 집약적일 뿐만 아니라, 매일 발생하는 게시물의 양에 대응하여 규모를 확장하는 데 한계가 있습니다. 또한, 인공지능(AI)은 강력한 탐지 능력을 제공하지만, 복잡한 모델의 "블랙박스" 특성은 고용과 같이 민감한 영역에서의 도입을 저해합니다. 이해관계자들은 높은 정확도뿐만 아니라, 신뢰, 책임성 및 규제 준수를 보장하기 위해 특정 게시물을 사기로 분류한 투명하고 해석 가능한 근거를 필요로 합니다.

방법론
본 연구는 사기성 구인 광고를 탐지하기 위해 지도 학습 기반의 머신러닝 분류와 설명 가능한 인공지능(XAI)을 결합한 프레임워크를 제안합니다.

• 데이터셋: 본 연구는 Jobweb Ghana에서 추출한 499개의 구인 광고 데이터셋을 활용하였으며, 여기에는 360개의 정상 게시물과 139개의 사기 사례가 포함되어 있습니다. 데이터에는 회사명, 직무 기술서, 급여 공개 여부, 지원 마감일, 고용 형태, 학력 요구 사항 등의 특성이 포함되었습니다.
• 전처리: 데이터셋은 80%의 훈련 세트(399개 행)와 20%의 테스트 세트(100개 행)로 분할되었습니다. 범주형 변수는 모델링을 준비하기 위해 원-핫 인코딩(one-hot encoding)을 사용하여 변환되었습니다.
• 평가된 모델: 다섯 가지 분류 알고리즘이 개발 및 비교되었습니다:
  1. 다항 나이브 베이즈 (Multinomial Naive Bayes)
  2. 로지스틱 회귀 (Logistic Regression)
  3. 랜덤 포레스트 (Random Forest)
  4. K-최근접 이웃 (K-Nearest Neighbors, KNN)
  5. 결정 트리 (Decision Tree)
• 평가 지표: 성능은 정확도(Accuracy), 정밀도(Precision), 재현율(Recall), F1-score, ROC-AUC를 사용하여 평가되었습니다.
• 설명 가능성: 해석 가능성의 간극을 해결하기 위해, 최적의 성능을 보인 모델에 SHAP(SHapley Additive exPlanations)을 적용하여 각 특성이 예측에 기여하는 정도를 정량화하였습니다.

주요 결과

• 모델 성능: 다섯 가지 모델 모두 0.88에서 0.92 사이의 정확도를 기록하며 강력한 예측 능력을 입증했습니다.
  • 다항 나이브 베이즈가 가장 우수한 성능을 보였으며, 가장 높은 정확도(0.92), ROC-AUC(0.9635), F1-score(0.8621)를 달성했습니다. 이는 정밀도(0.8333)와 재현율(0.8929) 사이의 강력한 균형을 보여줍니다.
  • 로지스틱 회귀 또한 0.91의 정확도와 0.9457의 견고한 ROC-AUC를 기록하며 우수한 성능을 보였습니다.
  • 랜덤 포레스트는 0.92의 정확도를 달성했으나, 다항 나이브 베이즈에 비해 ROC-AUC(0.9303)는 다소 낮았습니다.
  • 결정 트리는 가장 낮은 성능(정확도 0.88)을 보였으며, 이는 앙상블 또는 확률적 방법론에 비해 과적합(overfitting)되거나 일반화 능력이 제한적임을 시사합니다.
• SHAP 분석 통찰: 다항 나이브 베이즈 모델에 대한 SHAP 적용 결과, 사기 탐지의 주요 동인은 다음과 같습니다:
  • 학력 요구 사항: 학위 요구 사항(특히 "낮음" 및 "표준" 요구 사항)과 관련된 특성들이 가장 영향력 있는 예측 변수였으며, 게시물을 사기로 분류하는 데 크게 기여했습니다.
  • 투명성 지표: 지원 마감일 및 급여 정보의 공개 여부는 핵심적인 요소로 식별되었습니다. 이러한 세부 정보의 존재 여부 자체가 모델의 출력에 상당한 영향을 미쳤습니다.
  • 직무 범주화: 직무 게시물에 할당된 카테고리의 수는 중간 정도의 예측 변수였습니다.
  • 브랜딩의 제한적 영향: 로고, 회사명 또는 연락처와 같은 회사 브랜딩 관련 특성은 예측에 미치는 영향이 미미했으며, 이는 조직적 제시 방식보다 콘텐츠 기반의 특성이 사기를 더 잘 나타낸다는 것을 의미합니다.

주요 기여

1. 맥락적 적용: 본 연구는 가나의 온라인 채용 사기라는 구체적인 맥락에 머신러닝을 적용하여, 현지 고용 사기에 관한 문헌적 공백을 메웠습니다.
2. XAI의 통합: 예측 정확도에만 집중하는 많은 연구와 달리, 본 연구는 SHAP를 통합하여 모델 결정에 대한 투명한 설명을 제공함으로써 "블랙박스" 문제를 해결했습니다.
3. 특성 식별: 본 연구는 규칙 기반 필터링이나 인간의 검토에 사용할 수 있는 해석 가능한 사기 지표(학력 요구 사항, 마감일 투명성 등)를 실증적으로 식별했습니다.
4. 모델 비교: 확률적, 앙상블 및 트리 기반 모델의 비교 분석을 통해, 이 특정 범주형 데이터셋에는 확률적 접근 방식(다항 나이브 베이즈)이 특히 효과적일 수 있음을 입증했습니다.

의의 및 주장
본 논문은 설명 가능한 머신러닝 모델이 고용 사기를 효과적으로 탐지하는 동시에, 이해관계자의 신뢰를 얻기 위해 필요한 투명한 통찰력을 제공할 수 있다고 주장합니다. 본 연구는 다음을 입증했습니다:

• 머신러닝 기법은 가나의 실제 및 사기성 구인 광고를 구분하는 데 실행 가능하며 효과적입니다.
• 다항 나이브 베이즈와 같은 확률적 모델은 이 작업에 있어 민감도와 신뢰성 사이의 최적의 균형을 제공합니다.
• 설명 가능성은 단순한 부가 기능이 아니라 실질적인 배포를 위한 전제 조건입니다. SHAP 분석은 복잡한 모델 출력을 학력 요구 사항 및 투명성 신호와 같은 실행 가능한 통찰력으로 성공적으로 변환했습니다.
• 사기성 게시물은 표면적인 조직적 특징보다는 콘텐츠 기반의 이상 징징(예: 모호한 요구 사항, 누락된 마감일)을 통해 더 효과적으로 식별됩니다.

저자들은 설명 가능한 모델을 채용 플랫폼에 통합함으로써 관리자와 규제 기관의 의사결정을 개선하고, 온라인 고용 사기에 대한 조기 경보 메커니즘을 제공할 수 있다고 결론짓습니다.