Like Article, Like Audience: Enforcing Multimodal Correlations for Disinformation Detection

Stellen Sie sich das Internet wie einen riesigen, belebten Marktplatz vor, auf dem alle schreien, teilen und streiten. In dieser digitalen Stadt ist „Desinformation“ wie eine Gerüchteküche, die wilde, unwahre Geschichten verbreitet, um Menschen zu täuschen oder Unruhe zu stiften. Lange Zeit haben Wissenschaftler, die versuchen, diese Gerüchte zu stoppen, sich hauptsächlich auf die Worte selbst konzentriert und die Nachrichtenartikel wie ein Detektiv untersucht, der ein einzelnes Blatt Papier auf Rechtschreibfehler oder verdächtige Formulierungen prüft. Aber dieses Paper legt nahe, dass es nicht ausreicht, nur das Papier zu betrachten. Es schlägt eine neue Idee vor: Um eine Geschichte zu verstehen, muss man auch die Menge verstehen, die sie liebt. Das Kernkonzept hier ist das „multimodale Lernen“, was nur eine schicke Art zu sagen ist, dass wir verschiedene Arten von Hinweisen zusammen betrachten sollten – wie den Text des Artikels und den Text der Menschen, die ihn teilen. Die große Frage, die die Forscher stellen, ist simpel: Sehen und klingen die Menschen, die eine Fake-Story teilen, anders als die Menschen, die eine echte teilen? Wenn wir einem Computer beibringen können, diese Verbindung zu bemerken, kann er Lügner vielleicht schneller entlarven.

Die Autoren dieses Papers, die mit Daten von Twitter arbeiteten, beschlossen, ein smartes Computerprogramm zu bauen, das wie ein Detektiv agiert, der nicht nur die Schlagzeile liest, sondern auch die Ausweise der Leute überprüft, die sie halten. Sie entwickelten ein System, das lernt, indem es zwei Dinge gleichzeitig betrachtet: den Nachrichtenartikel selbst und den „nutzergenerierten Inhalt“ der Menschen, die ihn geteilt haben. Nutzergenerierter Inhalt ist einfach das Zeug, das normale Menschen erstellen, wie ihre Twitter-Bio (Profilbeschreibung) und ihre jüngsten Tweets. Die Forscher bemerkten, dass Menschen meist eine konsistente Online-Persönlichkeit haben; wenn man in seiner Bio über Musik schreibt, teilt man wahrscheinlich auch Musikartikel. Sie fragten sich, ob ein Fake-News-Artikel eine bestimmte „Art“ von Mensch anziehen würde und ob diese Menschen eine ähnliche Ausstrahlung (Vibe) miteinander hätten.

Um dies zu testen, bauten sie einen Lernalgorithmus, der drei spezifische Regeln oder „Ziele“ nutzt, um den Computer zu trainieren. Erstens muss der Computer lernen, den Unterschied zwischen einer wahren Geschichte und einer falschen zu erkennen, genau wie ein normaler Detektiv. Zweitens – und das ist der clevere Teil – wird der Computer gezwungen zu lernen, dass der „Vibe“ des Artikels mit dem „Vibe“ der Menschen übereinstimmen sollte, die ihn geteilt haben. Wenn ein Fake-Artikel geteilt wird, lernt der Computer, dass der Artikel und die Teiler in einem verborgenen, mathematischen Raum ähnlich aussehen sollten. Drittens lernt der Computer, dass die Menschen, die denselben Artikel teilen, auch einander ähnlich sehen sollten. Es ist wie die Aussage: „Wenn eine Gruppe von Fremden alle dieselbe seltsame Geschichte teilt, haben sie wahrscheinlich etwas gemeinsam, also lassen Sie uns sicherstellen, dass der Computer diese Verbindung sieht.“

Die Forscher testeten diese Idee mit drei verschiedenen Arten von Computergehirnen (neuronalen Klassifikatoren) unter Verwendung von Echtzeitdaten von Faktencheck-Websites und Nachrichten über COVID-19. Sie fanden heraus, dass die Computer besser darin wurden, Fake News zu erkennen, wenn sie diese „sozialen Hinweise“ in den Trainingsprozess einbezogen. Die Ergebnisse zeigten, dass die Modelle lernten, echte und falsche Geschichten deutlicher voneinander zu trennen. Tatsächlich sahen sie bei der Betrachtung der Mathematik hinter den Kulissen, dass die Fake-Geschichten und die echten Geschichten im Geist des Computers weiter auseinandergeschoben wurden, wenn er diese Nutzerhinweise verwendete.

Das Paper hat jedoch auch einige Wendungen, die es bodenständig halten. Die Forscher versuchten zu sehen, ob es einen Unterschied machte, welche Menschen sie auswählten. Sie dachten, dass vielleicht die ersten Menschen, die eine Geschichte teilten (die „Early Adopter“), die besten Hinweise wären, aber überraschenderweise machte es keinen großen Unterschied, ob sie die ersten oder die letzten Teiler wählten. Sie versuchten auch, den Computer auszutricksen, indem sie die Artikel zufällig mit den falschen Gruppen von Menschen vertauschten. Selbst als sie die Verbindungen durcheinanderbrachten, schnitt der Computer immer noch besser ab, als wenn er gar keine Nutzerhinweise gehabt hätte, was darauf hindeutet, dass die schiere Menge an Zusatzdaten hilft, selbst wenn die spezifischen Verknüpfungen nicht perfekt sind.

Ein interessanter Befund war die Beobachtung eines spezifischen Beispiels, bei dem der Computer nur dann die richtige Antwort gab, wenn er auf die Bio des Nutzers schaute, aber falsch lag, wenn er auf deren Tweets schaute. Die Tweets waren verrauscht und sprachen über zu viele verschiedene Dinge, während die Bio fokussiert war. Dies deutet darauf hin, dass Nutzerdaten zwar hilfreich sein können, aber auch chaotisch sein können, und dass zukünftige Arbeiten möglicherweise den „Lärm“ herausfiltern müssen.

Letztendlich legt das Paper nahe, dass wir durch die Lehre des Computers, die Beziehung zwischen einer Geschichte und ihrem Publikum zu respektieren, bessere Werkzeuge im Kampf gegen Desinformation bauen können. Die Autoren merken vorsichtig an, dass diese Methode die Nutzerinformationen nur während des Lernens verwendet, nicht aber bei der eigentlichen Vorhersage. Das bedeutet, der Computer muss nicht wissen, wer Sie sind, um einen Nachrichtenartikel zu beurteilen; er muss nur aus den Mustern gelernt haben, wie Menschen und Geschichten miteinander verknüpft sind. Während die Ergebnisse vielversprechend und die Methode neu ist, geben die Autoren zu, dass sich mit der Zeit Nutzerprofile ändern und Schöpfer von Fake News verschwinden, sodass die Daten veralten könnten. Aber für den Moment ist es eine spielerische und kraftvolle Erinnerung daran, dass man im Kampf gegen Fake News manchmal die beste Art und Weise, eine Lüge zu erkennen, darin findet, darauf zu schauen, wer sie erzählt.