CrediBench: Building Web-Scale Network Datasets for Information Integrity
Dieses Paper führt CrediBench ein, einen web-skaligen multimodalen Datensatz, der acht Monate an Graph-, Text- und Temporaldaten von über 40 Millionen Domänen umfasst, welcher die Leistung von Modellen zur Vorhersage der Glaubwürdigkeit signifikant verbessert, indem er strukturelle und dynamische Signale erfasst, die von bestehenden Ansätzen auf Claim-Ebene oft übersehen werden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich das Internet als eine riesige, belebte Stadt vor, in der jede Website ein Gebäude ist. Einige Gebäude sind ehrliche Bibliotheken, einige sind zwielichtige Hinterhofläden und einige sind regelrechte Fallen. Im Moment wird es immer schwieriger, sie voneinander zu unterscheiden, weil böswillige Akteure überzeugende Fake-Geschäfte bauen und ständig neue „Gebäude“ auftauchen.
Dieses Paper stellt CrediBench vor, ein riesiges neues Werkzeug, das uns helfen soll, durch diese Stadt zu navigieren und herauszufinden, welche Gebäude vertrauenswürdig sind.
Hier ist die Aufschlüsselung dessen, was sie getan haben, unter Verwendung einfacher Analogien:
1. Das Problem: Die alten Karten sind zu klein
Bisher hatten Forscher, die versuchten, Fake News oder gefährliche Websites zu entlarven, zwei Hauptprobleme:
- Sie betrachteten nur die „Speisekarte“: Die meisten Tools lasen nur den Text auf einer einzelnen Webseite (die Speisekarte), um zu entscheiden, ob es sich um ein gutes Restaurant handelt. Sie ignorierten dabei, wer der Besitzer war oder mit wem er befreundet war.
- Die Karten waren winzig: Bestehende Datensätze waren wie eine Karte eines einzelnen Stadtviertels. Sie verfügten nicht über genügend Daten, um die gesamte Stadt zu sehen, insbesondere wie sich die Verbindungen zwischen den Gebäuden im Laufe der Zeit verändern.
2. Die Lösung: Eine riesige, lebendige Stadtkarte
Die Autoren bauten CrediBench, was wie eine hochauflösende Zeitraffer-Karte des gesamten Internets über acht Monate hinweg ist.
- Die Größenordnung: Es ist gewaltig. Es verfolgt über 40 Millionen „Gebäude“ (Domains) und 1 Milliarde „Straßen“ (Hyperlinks), die sie miteinander verbinden. Um dies einzuordnen: Es ist um Größenordnungen größer als jede bisherige Karte ihrer Art.
- Die drei Ebenen: Anstatt nur den Text zu betrachten, betrachtet CrediBench drei Dinge gleichzeitig:
- Der Text: Was steht auf den Seiten geschrieben? (Die Speisekarte).
- Die Struktur: Wer verlinkt wen? (Der Klatsch und Tratsch sowie die Allianzen in der Nachbarschaft).
- Die Zeit: Wie verändern sich diese Verbindungen? (Hat eine seriöse Bibliothek letzte Woche plötzlich einen zwielichtigen Laden verlinkt?).
3. Der „Glaubwürdigkeitswert“
Die Forscher brachten Computern bei, wie Experten-Inspektoren zu agieren. Sie entwickelten zwei Wege, um das System zu testen:
- Das „Vertrauensmeter“ (Regression): Anstatt nur „Gut“ oder „Schlecht“ zu sagen, gibt das System einen Wert von 0 bis 1 an, der angibt, wie glaubwürdig eine Seite ist.
- Der „Bestanden/Nicht bestanden“-Test (Klassifizierung): Ein einfaches „Ja, das ist sicher“ oder „Nein, das ist gefährlich“.
Um diese Inspektoren zu trainieren, haben sie nicht einfach nur geraten. Sie sammelten eine massive Liste von 662.000 Websites, die bereits von Experten, der Öffentlichkeit und Sicherheitsfirmen als entweder „glaubwürdig“ oder „unzuverlässig“ (umfassend Themen wie Desinformation, Malware und Phishing) eingestuft wurden. Dies ist die größte Liste ihrer Art, die jemals zusammengestellt wurde.
4. Die Ergebnisse: Teamarbeit gewinnt
Das Team führte Experimente durch, um zu sehen, welcher „Sinn“ am wichtigsten war: das Lesen des Textes, das Betrachten der Links oder das Beobachten des Zeitverlaufs.
- Die Erkenntnis: Man kann sich nicht auf nur einen Sinn verlassen. Ein Modell, das nur Text liest, ist okay, aber ein Modell, das nur Links betrachtet, ist ebenfalls nur okay.
- Der Gewinner: Der Super-Inspektor, der alle drei kombiniert (Text + Links + Zeit), war der klare Champion.
- Bei der Aufgabe „Vertrauensmeter“ reduzierte er die Fehlerquote erheblich (von 16 % Fehlerrate auf 10 %).
- Beim „Bestanden/Nicht bestanden“-Test sprang die Trefferrate von 56 % auf 85 %.
5. Warum das wichtig ist
Das Paper argumenttiert, dass sich Desinformation wie ein Virus durch die Verbindungen zwischen Websites verbreitet, nicht nur durch die Worte auf einer Seite. Indem wir die gesamte Stadtkarte und deren Bewegung über die Zeit betrachten, können wir „schlechte Viertel“ viel schneller identifizieren.
Kurz gesagt: Die Autoren haben die detaillierteste Karte des Vertrauensnetzwerks des Internets gebaut, die je erstellt wurde. Sie haben bewiesen, dass man, um einen Lügner zu entlarven, lesen muss, was er sagt, sehen muss, mit wem er abhängt, und beobachten muss, wie sich seine Beziehungen verändern. Sie haben diese Karte und die Trainingswerkzeuge für jeden zur Verfügung gestellt, damit zukünftige Forscher bessere „Stadt-Inspektoren“ bauen können, um das Internet sicher zu halten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.