Like Article, Like Audience: Enforcing Multimodal Correlations for Disinformation Detection

Stel je het internet voor als een enorm, bruisend dorpsplein waar iedereen schreeuwt, deelt en ruziet. In dit digitale dorp is "desinformatie" als een geruchtenmachine die wilde, onware verhalen verspreidt om mensen te misleiden of onrust te stoken. Lange tijd hebben wetenschappers die deze geruchten probeerden te stoppen, zich vooral gericht op de woorden zelf, waarbij ze nieuwsartikelen onderzochten als een detective die een enkel stuk papier onderzoekt op spelfouten of verdachte formuleringen. Maar dit artikel suggereert dat kijken naar alleen het papier niet genoeg is. Het stelt een nieuw idee voor: om een verhaal te begrijpen, moet je ook de menigte begrijpen die er dol op is. Het kernconcept hier is "multimodale leerprocessen", wat gewoon een chique manier is om te zeggen dat we verschillende soorten aanwijzingen samen moeten bekijken—zoals de tekst van het artikel en de tekst van de mensen die het delen. De grote vraag die de onderzoekers stellen is simpel: zien de mensen die een nepverhaal delen er anders uit en klinken ze anders dan de mensen die een echt verhaal delen? Als we een computer kunnen leren om die connectie op te merken, kan hij leugenaars misschien sneller ontmaskeren.

De auteurs van dit artikel, werkend met gegevens van Twitter, besloten een slim computerprogramma te bouitsen dat werkt als een detective die niet alleen de kop leest, maar ook de legitimatiebewijzen controleert van de mensen die hem vasthouden. Ze creëerden een systeem dat leert door naar twee dingen tegelijk te kijken: het nieuwsartikel zelf en de "door gebruikers gegenereerde inhoud" van de mensen die het deelden. Door gebruikers gegenereerde inhoud is simpelweg de dingen die gewone mensen maken, zoals hun Twitter-bio (profielbeschrijving) en hun recente tweets. De onderzoekers merkten op dat mensen meestal een consistente online persoonlijkheid hebben; als je over muziek schrijft in je bio, deel je waarschijnlijk ook muziekartikelen. Ze vroegen zich af of een nepnieuwsartikel een specif kind "type" persoon zou aantrekken, en of die mensen een vergelijkbare vibe met elkaar zouden delen.

Om dit te testen, bouwden ze een leeralgoritme dat drie specifieke regels, of "doelstellingen", gebruikt om de computer te trainen. Ten eerste moet de computer leren het verschil te zien tussen een echt verhaal en een nepverhaal, net als een normale detective. Ten tweede, en dit is het slimme deel, wordt de computer gedwongen om te leren dat de "vibe" van het artikel moet overeenkomen met de "vibe" van de mensen die het delen. Als een nepartikel wordt gedeeld, leert de computer dat het artikel en de deelers er hetzelfde uit moeten zien in een verborgen, wiskundige ruimte. Ten derde leert de computer dat de mensen die hetzelfde artikel delen, ook op elkaar moeten lijken. Het is alsof je zegt: "Als een groep vreemden allemaal naar dit ene vreemde verhaal grijpt om het te delen, dan hebben ze waarschijnlijk iets gemeen, dus laten we ervoor zorgen dat de computer die connectie ziet."

De onderzoekers testten dit idee op drie verschillende soorten computerbreinen (neurale classificators) met echte gegevens van fact-checking websites en nieuws over COVID-19. Ze ontdekten dat wanneer ze deze "sociale aanwijzingen" toevoegden aan het trainingsproces, de computers beter werden in het opsporen van nepnieuws. De resultaten lieten zien dat de modellen leerden om echte en nepverhalen duidelijker van elkaar te scheiden. Sterker nog, toen ze naar de wiskunde achter de schermen keken, zagen ze dat de nepverhalen en de echte verhalen verder van elkaar werden weggeduwd in de geest van de computer wanneer deze de gebruikersaanwijzingen gebruikte.

Echter, het artikel heeft ook een paar wendingen die het realistisch houden. De onderzoekers probeerden te zien of het uitmaakte welke mensen ze kozen. Ze dachten misschien dat de allereerste mensen die een verhaal deelden (de "early adopters") de beste aanwijzingen zouden zijn, maar verrassenderwijs maakte het niet veel uit of ze de eerste deelers of de laatste deelers kozen. Ze probeerden de computer ook te foppen door de artikelen willekeurig te verwisselen met de verkeerde groepen mensen. Zelfs toen ze de verbindingen verstoorden, presteerde de computer nog steeds beter dan wanneer hij geen gebruikersaanwijzingen had, wat suggereert dat de enorme hoeveelheid extra data helpt, zelfs als de specifieke links niet perfect zijn.

Een interessant bevinding kwam van het kijken naar een specifiek voorbeeld waarbij de computer alleen het juiste antwoord gaf wanneer hij naar de bio van de gebruiker keek, maar het fout had wanneer hij naar hun tweets keek. De tweets waren luidruchtig en gingen over te veel verschillende dingen, terwijl de bio gefocust was. Dit suggereert dat hoewel gebruikersgegevens nuttig zijn, ze rommelig kunnen zijn, en toekomstig werk de ruis wellicht moet wegfilteren.

Uiteindelijk suggereert het artikel dat door computers te leren de relatie tussen een verhaal en zijn publiek te respecteren, we betere instrumenten kunnen bouwen om desinformatie te bestrijden. De auteurs merken er voorzichtig bij op dat deze methode alleen gebruikersinformatie gebruikt terwijl de computer leert, niet wanneer hij daadwerkelijk een voorspelling doet. Dit betekent dat de computer niet hoeft te weten wie je bent om een nieuwsartikel te beoordelen; hij hoeft alleen maar patronen te hebben geleerd van hoe mensen en verhalen met elkaar verbonden zijn. Hoewel de resultaten veelbelovend zijn en de methode nieuw is, geven de auteurs toe dat naarmate de tijd verstrijkt, gebruikersprofielen veranderen en makers van nepnieuws verdwijnen, waardoor de gegevens verouderd kunnen raken. Maar voor nu is het een speelse en krachtige herinnering dat, in de strijd tegen nepnieuws, soms de beste manier om een leugen te ontdekken, is door te kijken naar wie hem vertelt.