Semantic Hashtag LDA for Clustering Short Texts: Twitter Use Case

Sociale media hebben de manier waarop we ons leven delen getransformeerd, waardoor elk moment een potentiële uitzending wordt. Op platforms zoals Twitter plaatsen gebruikers korte berichten, vaak slechts enkele zinnen lang, om nieuws, meningen of dagelijkse observaties te delen. Omdat deze berichten zo kort zijn, missen ze vaak de context die in langere artikelen of boeken te vinden is, wat het voor computers moeilijk maakt om te begrijpen waar ze echt over gaan. Om te helpen bij het organiseren van deze vloedgolf aan informatie, voegen gebruikers vaak speciale labels toe die hashtags worden genoemd—woorden voorafgegaan door een hekje die fungeren als een snelle samenvatting van het thema van het bericht. Deze labels worden echter gemaakt door mensen, niet door machines, wat betekent dat dezelfde gebeurtenis op tientallen verschillende manieren getagd kan worden, of dat een enkele tag voor totaal ongerelateerde onderwerpen gebruikt kan worden. Onderzoekers in het vakgebied van data science zoeken voortdurend naar betere manieren om deze korte, chaotische berichten in betekenisvolle categorieën te groeperen, een proces dat clustering wordt genoemd, zodat de onderliggende verhalen en trends ontdekt en begrepen kunnen worden.

Een team van onderzoekers van de Universiteit van Urmia en de Vrije Universiteit van Bozen-Bolzano pakte deze uitdaging aan door een nieuwe methode te ontwikkelen om deze korte berichten te sorteren. Ze richtten zich op een specifiek probleem: standaard computermodellen, die goed werken voor lange documenten, falen vaak bij het groeperen van korte teksten omdat er simpelweg niet genoeg informatie in een enkele tweet zit om het onderwerp te bepalen. De onderzoekers realiseerden zich dat hoewel een enkele tweet te kort kan zijn, een verzameling tweets die dezelfde hashtag delen voldoende context kan bieden om een duidelijk thema te onthullen. Hun doel was om een systeem te bouwen dat deze gerelateerde berichten kon verzamelen, de ruis eruit kon filteren en de hashtags als gids kon gebruiken om grotere, meer informatieve tekstgroepen te creëren.

Om hun idee te testen, verzamelde het team bijna negen miljoen tweets over een periode van tien dagen in oktober 2017. Ze realiseerden zich snel dat niet al deze data nuttig was. Een overweldigende meerderheid van de tweets, ongeveer 81 procent, bevatte helemaal geen hashtags, waardoor ze onbruikbaar waren voor hun specifieke methode. Ze moesten ook omgaan met spam en berichten van lage kwaliteit, zoals berichten die alleen uit hashtags bestonden of een excessief aantal ervan bevatten. Om de data te filteren, pasten ze een reeks regels toe om deze uitschieters te verwijderen. Ze verwierpen tweets zonder hashtags, tweets met meer dan tien hashtags, en tweets die enkel uit labels bestonden zonder werkelijke tekst. Ze gebruikten ook een wiskundige maatstaf om hashtags te identificeren en te verwijderen die te algemeen waren, zoals generieke termen als "vrijdag", die in zo veel verschillende contexten voorkwamen dat ze geen specifere onderwerpen hielpen definiëren. Ze maakten echter een uitzondering voor hashtags die trending waren voor een specifieke, kortstondige gebeurtenis, om ervoor te zorgen dat belangrijke, tijdsgevoelige gesprekken niet verloren gingen. Na dit grondige reinigingsproces bleven ze over met een dataset van meer dan 684.000 hoogwaardige tweets.

De kern van hun nieuwe aanpak, die ze Semantic Hashtag LDA noemden, omvat een slimme manier om deze opgeschoonde tweets te organiseren. In plaats van elke tweet als een apart, geïsoleerd document te behandelen, groepeert het systeem alle tweets die dezelfde hashtag delen. Dit creëert een veel groter "document" voor de computer om te analyseren, waarbij de woorden van veel verschillende gebruikers die over dezelfde gebeurtenis praatten, worden gecombineerd. De onderzoekers voegden vervolgens een laag intelligentie toe aan deze groepering. Ze leerden het systeem dat woorden die vaak samen worden gebruikt in deze groepen semantisch vergelijkbaar zijn, wat betekent dat ze een gemeenschappelijke betekenis of context delen, zelfs als ze niet identiek zijn. Door de kracht van deze grotere, op hashtags gebaseerde groepen te combineren met een begrip van woordrelaties, kon het systeem een veel duidelijker beeld vormen van de onderwerpen die besproken werden.

De resultaten toonden aan dat deze nieuwe methode aanzienlijk effectiever was dan eerdere technieken. Toen de onderzoekers hun systeem vergeleken met andere standaardmethoden voor het clusteren van korte teksten, produceerde hun aanpak groepen die veel coherenter en logischer consistent waren. In eenvoudige bewoordingen waren de onderwerpen die de computer identificeerde duidelijker en minder verwarrend. Het systeem demonstreerde succesvol een significante vermindering van de foutmarge, met resultaten die een daling lieten zien van tot wel -0,02, wat betekent dat het veel minder waarschijnlijk was dat het ongerelateerde onderwerpen door elkaar haalde of het hoofdonderwerp van een gesprek miste. De onderzoekers kwamen tot de conclusie dat door de hashtags als gids te gebruiken en de data zorgvuldig te filteren, zij de beperkingen van korte tekst konden overwinnen en een chaotische stroom van miljoenen korte berichten konden omzetten in georganiseerde, begrijpelijke clusters van informatie. Dit werk laat zien dat computers, door gebruik te maken van de manier waarop mensen hun eigen inhoud natuurlijk labelen, kunnen leren om de lawaaierige, snelle wereld van sociale media te begrijpen.