Explainable Machine Learning for Detecting Fraudulent Online Job Postings in Ghana: A SHAP-Based Approach

Sintesi Tecnica: Apprendimento Automatico Spiegabile per il Rilevamento di Annunci di Lavoro Fraudolenti Online in Ghana

Definizione del Problema
La frode occupazionale, in particolare attraverso gli annunci di lavoro online, è una preoccupazione crescente in Ghana, caratterizzata da pratiche ingannevoli che sfruttano i cercatori di lavoro attraverso pubblicità false, richieste di pagamenti anticipati e raccolta di dati. I metodi di rilevamento tradizionali, come la moderazione manuale e gli audit periodici, sono reattivi, laboriosi e faticano a scalare rispetto al volume degli annunci quotidiani. Inoltre, sebbene l'Intelligenza Artificiale (IA) offra potenti capacità di rilevamento, la natura a "scatola nera" dei modelli complessi ne ostacola l'adozione in domini sensibili come quello dell'impiego. Gli stakeholder richiedono non solo un'elevata accuratezza, ma anche ragioni interpretabili e trasparenti per segnalare un annuncio come fraudolento, al fine di garantire fiducia, responsabilità e conformità normativa.

Metodologia
Questo studio propone un framework che combina la classificazione tramite apprendimento automatico supervisionato con l'Intelligenza Artificiale Spiegabile (XAI) per rilevare annunci di lavoro fraudolenti.

• Dataset: La ricerca ha utilizzato un dataset di 499 annunci di lavoro estratti da Jobweb Ghana, comprendente 360 istanze legittime e 139 fraudolente. I dati includevano caratteristiche quali nome dell'azienda, descrizione del lavoro, informativa sullo stipendio, scadenze per la candidatura, tipo di impiego e requisiti educativi.
• Pre-elaborazione: Il dataset è stato suddiviso in un set di addestramento dell'80% (399 righe) e un set di test del 20% (100 righe). Le variabili categoriche sono state trasformate tramite one-hot encoding per preparare i dati alla modellazione.
• Modelli Valutati: Sono stati sviluppati e confrontati cinque algoritmi di classificazione:
  1. Naive Bayes Multinomiale
  2. Regressione Logistica
  3. Random Forest
  4. K-Nearest Neighbors (KNN)
  5. Albero di Decisione (Decision Tree)
• Metriche di Valutazione: Le prestazioni sono state valutate utilizzando Accuratezza, Precisione, Recall, F1-score e ROC-AUC.
• Spiegabilità: Per affrontare il divario di interpretabilità, sono stati applicati gli SHapley Additive exPlanations (SHAP) al miglior modello per quantificare il contributo di ogni caratteristica alle previsioni.

Risultati Chiave

• Prestazioni del Modello: Tutti e cinque i modelli hanno dimostrato forti capacità predittive, con punteggi di accuratezza compresi tra 0,88 e 0,92.
  • Il Naive Bayes Multinomiale è emerso come il top performer, raggiungendo l'accuratezza più elevata (0,92), l'ROC-AUC più alto (0,9635) e il F1-score più alto (0,8621). Ha mostrato un forte equilibrio tra precisione (0,8333) e recall (0,8929).
  • La Regressione Logistica ha performato bene anche con un'accuratezza di 0,91 e un robusto ROC-AUC di 0,9457.
  • La Random Forest ha raggiunto un'accuratezza di 0,92 ma un ROC-AUC leggermente inferiore (0,9303) rispetto al Naive Bayes Multinomiale.
  • L'Albero di Decisione ha mostrato le prestazioni più basse (Accuratezza: 0,88), suggerendo un potenziale overfitting o una limitata generalizzazione rispetto ai metodi probabilistici ed ensemble.
• Approfondimenti dall'Analisi SHAP: L'applicazione di SHAP al modello Naive Bayes Multinomiale ha rivelato i seguenti driver chiave per il rilevamento delle frodi:
  • Requisiti Educativi: Le caratteristiche relative ai requisiti di laurea (specificamente i requisiti "Bassi" e "Standard") sono stati i predittori più influenti, contribuendo significativamente alla classificazione di un annuncio come fraudolento.
  • Indicatori di Trasparenza: La divulgazione (o la mancanza di essa) delle scadenze per la candidatura e delle informazioni sullo stipendio sono stati identificati come fattori critici. La mera presenza o assenza di tali dettagli ha influenzato significativamente l'output del modello.
  • Categorizzazione del Lavoro: Il numero di categorie assegnate a un annuncio di lavoro è stato un predittore moderato.
  • Impatto Limitato del Branding: Le caratteristiche relative al branding aziendale, come la presenza di un logo, del nome dell'azienda o dei dettagli di contatto, hanno avuto un impatto minimo sulle previsioni, indicando che le caratteristiche basate sul contenuto sono più indicative di frode rispetto alla presentazione organizzativa.

Contributi Chiave

1. Applicazione Contestuale: Lo studio applica l'apprendimento automatico specificamente al contesto ghanese delle frodi nel reclutamento online, affrontando una lacuna nella letteratura riguardante le truffe occupazionali locali.
2. Integrazione di XAI: A differenza di molti studi che si concentrano esclusivamente sull'accuratezza predittiva, questo lavoro integra SHAP per fornire spiegazioni trasparenti sulle decisioni del modello, affrontando il problema della "scatola nera".
3. Identificazione delle Caratteristiche: La ricerca identifica empiricamente indicatori specifici e interpretabili di frode (requisiti educativi, trasparenza delle scadenze) che possono essere utilizzati per il filtraggio basato su regole o la revisione umana.
4. Confronto tra Modelli: Fornisce un'analisi comparativa di modelli probabilistici, ensemble e basati su alberi, dimostrando che gli approcci probabilistici (Naive Bayes Multinomiale) possono essere particolarmente efficaci per questo specifico dataset categorico.

Significato e Rivendicazioni
L'articolo sostiene che i modelli di apprendimento automatico spiegabili possono rilevare efficacemente le frodi occupazionali fornendo al contempo le intuizioni trasparenti necessarie per la fiducia degli stakeholder. Lo studio dimostra che:

• Le tecniche di apprendimento automatico sono vitali ed efficaci per distinguere tra annunci di lavoro genuini e fraudolenti in Ghana.
• I modelli probabilistici come il Naive Bayes Multinomiale offrono un equilibrio ottimale tra sensibilità e affidabilità per questo compito.
• La spiegabilità non è un semplice modulo aggiuntivo, ma un prerequisito per l'implementazione pratica; l'analisi SHAP ha avuto successo nel tradurre gli output complessi del modello in intuizioni azionabili riguardanti i requisiti educativi e i segnali di trasparenza.
• Gli annunci fraudolenti sono identificati più efficacemente attraverso anomalie basate sul contenuto (ad esempio, requisiti vaghi, scadenze mancanti) piuttosto che attraverso caratteristiche organizzative superficiali.

Gli autori concludono che l'integrazione di questi modelli spiegabili nelle piattaforme di reclutamento può migliorare il processo decisionale per amministratori e regolatori, offrendo meccanismi di allerta precoce contro le truffe occupazionali online.