Grey Wolf Optimizer-Based Feature Selection with Mutual Information Refinement for Machine Learning-Based Bot Detection on Social Media

In het uitgestrekte, luidruchtige landschap van sociale media heeft zich een stil maar aanzienlijk probleem genesteld: de opkomst van geautomatiseerde accounts, of "bots". Dit zijn softwareprogramma's die ontworpen zijn om menselijke gebruikers na te bootsen door berichten te plaatsen, inhoud te liken en anderen te volgen om alles te verspreiden, van onschuldige nieuwsupdates tot gevaarlijke desinformatie en spam. Hoewel sommige van deze geautomatiseerde accounts legitieme doeleinden dienen, zijn velen kwaadwillend en in staat om de publieke opinie te beïnvloeden en het vertrouwen in online gemeenschappen te ondermijnen. Jarenlang hebben onderzoekers geprobeerd systemen te bouwen die het verschil kunnen zien tussen een echt persoon en een robot. De uitdaging ligt in de enorme hoeveelheid data; sociale mediaplatforms genereren miljoenen gebruikersprofielen, elk met tientallen verschillende kenmerken, van het aantal tweets dat ze sturen tot de lengte van hun gebruikersnaam. Het doorzoeken van deze informatie om de weinige aanwijzingen te vinden die er echt toe doen, is als het proberen te vinden van een specifieke naald in een hooiberg, maar de hooiberg groeit en verandert voortdurend.

Een team onderzoekers van het Dayalbagh Educational Institute in India heeft een nieuwe methode ontwikkeld om dit sorteerprobleem op te lossen, met als doel botdetectie sneller en nauwkeuriger te maken. In plaats van elk stukje informatie over een gebruiker in een computerprogramma te voeren, hebben zij een tweestaps-proces gecreëerd om de ruis te verwijderen en alleen de meest veelzeggende details over te houden. Hun aanpak combineert een zoekstrategie geïnspireerd door de natuur met een statistische methode die meet hoeveel het ene stukje informatie ons vertelt over het andere. Door deze hybride techniek te gebruiken, waren zij in staat om een enorme lijst van zesentachtig verschillende gebruikerskenmerken terug te brengen naar een veel kleinere, krachtigere groep van slechts vijfentwintig, en uiteindelijk naar een nog compactere selectie van tien kenmerken die het meest effectief bleken voor identificatie.

De onderzoekers begonnen met een grote dataset met informatie over 8.386 Twitter-accounts, waarvan de helft bekende bots waren en de andere helft echte mensen. Elk account werd beschreven door zesentachtig verschillende kenmerken, zoals het aantal volgers, de frequentie van retweets en de lengte van de bio van de gebruiker. Om de beste combinatie van deze eigenschappen te vinden, maakte het team eerst gebruik van een methode genaamd de Grey Wolf Optimizer. Dit is een computeralgoritme dat de sociale hiërarchie en het jachtgedrag van grijze wolven nabootst. In de digitale versie verkent een groep "wolven" de enorme ruimte van mogelijke kenmerkcombinaties, waarbij de beste oplossingen de groep naar het meest veelbelovende gebied leiden. Dit proces fungeert als een filter, waardoor de oorspronkelijke zesentachtig kenmerken worden teruggebracht tot een hanteerbaarder set van vijfentwintig die de meeste belofte toonden voor het onderscheiden van bots van mensen.

Zodra deze initiële groep van vijfentwintig kenmerken was geïdentificeerd, pasten de onderzoekers een tweede laag van verfijning toe met behulp van een concept genaamd Mutual Information. Denk hierbij aan een manier om te meten hoe nauw twee dingen met elkaar verbonden zijn; in dit geval mat het hoeveel het weten van een specifiek gebruikerskenmerk hielp bij het voorspellen of die gebruiker een bot was. Door de vijfentwintig kenmerken te rangschikken op basis van deze relatie, konden de onderzoekers zien welke echt essentieel waren en welke slechts redundant waren. Ze testten verschillende groepsgroottes, van de top vier kenmerken tot de top twintig, om te zien hoeveel er nodig waren voor de beste resultaten. Deze stap zorgde ervoor dat de definitieve lijst met kenmerken niet alleen klein was, maar ook vol zat met de meest relevante informatie, waardoor de resterende rommel die het detectiesysteem zou kunnen verwarren, werd verwijderd.

Om te zien of deze gestroomlijnde aanpak daadwerkelijk werkte, testten de onderzoekers het tegen vijf verschillende typen machine learning-modellen, oftewel computerprogramma's die getraind zijn om patronen te herkennen. Ze gebruikten standaardinstrumenten zoals beslissingsbomen en support vector machines, maar namen ook een krachtig model genaamd XGBoost op. De resultaten lieten zien dat door hun verfijnde lijst met kenmerken te gebruiken, de systemen uitzonderlijk goed presteerden. Het XGBoost-model bereikte in het bijzonder een classificatienauwkeurigheid van 98,87% wanneer het een subset van slechts acht tot twaalf kenmerken gebruikte. Dit betekent dat het systeem in bijna alle gevallen correct identificeerde of een account een bot of een mens was. Zelfs met een zeer klein aantal kenmerken behield het systeem een hoge prestatie, wat bewees dat het mogelijk is om deze geautomatiseerde accounts te detecteren zonder elke individuele detail van een gebruikersprofiel te hoeven analyseren.

De studie vergeleek hun nieuwe methode ook met oudere technieken die andere zoekstrategieën gebruikten, zoals genetische algoritmen en particle swarm optimization. Hoewel die oudere methoden in staat waren om goede oplossingen te vinden, bleek de Grey Wolf Optimizer efficiënter te zijn, omdat deze een betere set kenmerken vond terwijl het het totaal aantal kenmerken met meer dan 63 procent verminderde. Deze reductie is aanzienlijk omdat het betekent dat het detectiesysteem veel sneller kan draaien en minder rekenkracht vereist, wat het praktischer maakt voor echt gebruik op grote sociale mediaplatforms. De onderzoekers ontdekten dat terwijl sommige modellen moeite hadden wanneer ze te weinig kenmerken kregen, andere, zoals de beslissingsboom en XGBoost, juist floreerden op de compacte, hoogwaardige data die door hun nieuwe framework werd geleverd.

Uiteindelijk toont dit werk aan dat effectieve botdetectie geen noodzaak heeft om door bergen data te ploeteren. Door zorgvuldig de juiste aanwijzingen te selecteren, kunnen onderzoekers systemen bouwen die zowel sneller als nauwkeuriger zijn. De studie bevestigt dat een combinatie van een door de natuur geïnspireerde zoekmethode en een statistisch rangschikkingsinstrument succesvol de specifieke gedragingen kan isoleren die een social media-bot definiëren. Hoewel de onderzoekers opmerken dat toekomstig werk de voortdurend evoluerende tactieken van botmakers moet aanpakken en mogelijk complexere datatypen moet incorporeren, biedt hun huidige bevinding een duidelijk pad vooruit. Ze hebben aangetoond dat het met de juiste aanpak mogelijk is om door de digitale ruis heen te snijden en de geautomatiseerde accounts te identificeren die de integriteit van online gemeenschappen bedreigen.