Explainable Machine Learning for Detecting Fraudulent Online Job Postings in Ghana: A SHAP-Based Approach

Technische Samenvatting: Uitlegbare Machine Learning voor het Detecteren van Frauduleuze Online Vacatures in Ghana

Probleemstelling
Arbeidsfraude, met name via online vacatures, is een groeiend probleem in Ghana, gekenmerkt door misleidende praktijken die werkzoekenden uitbuiten via valse advertenties, verzoeken om aanbetalingen en het oogsten van gegevens. Traditionele detectiemethoden, zoals handmatige moderatie en periodieke controles, zijn reactief, arbeidsintensief en hebben moeite om op te schalen tegen het volume van dagelijkse plaatsingen. Bovendien, hoewel Kunstmatige Intelligentie (AI) krachtige detectiecapaciteiten biedt, belemmert het "black box"-karakter van complexe modellen de adoptie in gevoelige domeinen zoals werkgelegenheid. Belanghebbenden vereisen niet alleen een hoge nauwkeurigheid, maar ook transparante, interpreteerbare redenen voor het markeren van een vacature als frauduleus om vertrouwen, verantwoording en naleving van regelgeving te waarborgen.

Methodologie
Deze studie stelt een raamwerk voor dat supervised machine learning classificatie combineert met Explainable Artificial Intelligence (XAI) om frauduleuze vacatures te detecteren.

• Dataset: Het onderzoek maakte gebruik van een dataset van 499 vacatures geëxtraheerd uit Jobweb Ghana, bestaande uit 360 legitieme en 139 frauduleuze instanties. De data bevatten kenmerken zoals bedrijfsnaam, functiebeschrijving, salarisvermelding, sollicitatiedeadlines, type dienstverband en opleidingsvereisten.
• Preprocessing: De dataset werd gesplitst in een trainingsset van 80% (399 rijen) en een testset van 20% (100 rijen). Categorische variabelen werden getransformeerd met behulp van one-hot encoding om de data voor modellering voor te bereiden.
• Geëvalueerde Modellen: Vijf classificatiealgoritmen werden ontwikkeld en vergeleken:
  1. Multinomial Naive Bayes
  2. Logistische Regressie
  3. Random Forest
  4. K-Nearest Neighbors (KNN)
  5. Decision Tree (Beslisboom)
• Evaluatiemetrieken: Prestaties werden beoordeeld aan de hand van Accuracy (nauwkeurigheid), Precision (precisie), Recall (voorspellende waarde), F1-score en ROC-AUC.
• Uitlegbaarheid: Om het interpretatiegat te overbruggen, werd SHapley Additive exPlanations (SHAP) toegepast op het best presterende model om de bijdrage van elk kenmerk aan de voorspellingen te kwantificeren.

Belangrijkste Resultaten

• Modelprestaties: Alle vijf de modellen vertoonden sterke voorspellende capaciteiten, met nauwkeurigheidsscores variërend van 0,88 tot 0,92.
  • Multinomial Naive Bayes kwam als de beste presteerder uit de bus, met de hoogste Accuracy (0,92), ROC-AUC (0,9635) en F1-score (0,8621). Het vertoonde een sterke balans tussen precisie (0,8333) en recall (0,8929).
  • Logistische Regressie presteerde ook goed met een nauwkeurigheid van 0,91 en een robuuste ROC-AUC van 0,9457.
  • Random Forest behaalde 0,92 nauwkeurigheid, maar een iets lagere ROC-AUC (0,9303) vergeleken met Multinomial Naive Bayes.
  • Decision Tree vertoonde de laagste prestatie (Accuracy: 0,88), wat wijst op potentiële overfitting of beperkte generalisatie vergeleken met ensemble- en probabilistische methoden.
• Inzichten uit SHAP-analyse: De toepassing van SHAP op het Multinomial Naive Bayes-model onthulde de volgende belangrijke drijfveren voor fraudedetectie:
  • Opleidingseisen: Kenmerken gerelateerd aan diploma-eisen (specifiek "Lage" en "Standaard" eisen) waren de meest invloedrijke voorspellers, die significant bijdroegen aan de classificatie van een plaatsing als frauduleus.
  • Transparantie-indicatoren: De openbaarmaking (of het gebrek daaraan) van sollicitatiedeadlines en salarisinformatie werd geïdentificeerd als kritieke factoren. De aanwezigheid of afwezigheid van deze details beïnvloedde de output van het model aanzienlijk.
  • Job Categorization: Het aantal categorieën toegewezen aan een vacature was een matige voorspeller.
  • Beperkte Impact van Branding: Kenmerken gerelateerd aan bedrijfsbranding, zoals de aanwezigheid van een logo, bedrijfsnaam of contactgegevens, hadden minimale impact op de voorspellingen, wat aangeeft dat inhoudelijke kenmerken meer indicatief zijn voor fraude dan de organisatorische presentatie.

Belangrijkste Bijdragen

1. Contextuele Toepassing: De studie past machine learning specifiek toe op de Ghanese context van online wervingsfraude, waarmee een gat in de literatuur over lokale werkgelegeningsscams wordt gedicht.
2. Integratie van XAI: In tegen tegenstelling tot veel studies die zich uitsluitend richten op voorspellende nauwkeurigheid, integreert dit werk SHAP om transparante verklaringen te bieden voor modelbeslissingen, waarmee het "black box"-probleem in fraudedetectie wordt aangepakt.
3. Identificatie van Kenmerken: Het onderzoek identificeert empirisch specifieke, interpreteerbare indicatoren van fraude (opleidingseisen, deadline-transparantie) die kunnen worden gebruikt voor regelgebaseerde filtering of menselijke controle.
4. Modelvergelijking: Het biedt een vergelijkende analyse van probabilistische, ensemble- en boomgebaseerde modellen, en demonstreert dat probabilistische benaderingen (Multinomial Naive Bayes) bijzonder effectief kunnen zijn voor deze specifieke categorische dataset.

Betekenis en Claims
Het artikel beweert dat uitlegbare machine learning-modellen effectief frauduleuze vacatures kunnen detecteren terwijl ze de transparante inzichten bieden die nodig zijn voor vertrouwen bij belanghebbenden. De studie toont aan dat:

• Machine learning-technieken levensvatbaar en effectief zijn om tussen legitieme en frauduleuze vacatures in Ghana te onderscheiden.
• Probabilistische modellen zoals Multinomial Naive Bayes een optimaal evenwicht bieden tussen sensitiviteit en betrouwbaarheid voor deze taak.
• Uitlegbaarheid niet slechts een toevoeging is, maar een vereiste voor praktische implementatie; SHAP-analyse vertaalde complexe modeloutputs succesvol naar actiegerichte inzichten met betrekking tot opleidingseisen en transparantiesignalen.
• Frauduleuze plaatsingen effectiever worden geïdentificeerd door inhoudelijke anomalieën (bijv. vage eisen, ontbrekende deadlines) dan door oppervlakkige organisatorische kenmerken.

De auteurs concluderen dat de integratie van deze uitlegbare modellen in wervingsplatforms de besluitvorming voor beheerders en toezichthouders kan verbeteren, waarbij zij vroegtijdige waarschuwingsmechanismen bieden tegen online werkgelegeningsscams.